Data Engineer

Das Unternehmen ist spezialisiert auf die Entwicklung von Elektronik im Automobil – und das seit über 30 Jahren. An 31 Standorten weltweit unterstützen über 3.000 Mitarbeiter Hersteller und Zulieferer der Automobilindustrie und verwandter Branchen mit einer professionellen Plattform aus Werkzeugen, Softwarekomponenten und Dienstleistungen zur Entwicklung von eingebetteten Systemen.
Im Rahmen von einer Vielzahl von Projekten unterstütze ich den Kunden im Bereich Infrastruktur bei der Optimierung

• Erstellung einer Web-Anwendung für die automatische Erstellung von Virtuellen Maschinen in verschiedenen Hypervisor-Umgebungen (Vmware und Nutanix)
• SQL Server-Projekte
  • Aktualisieren der bestehenden SQL Server Landschaft (Windows- und SQL Server-Updates)
  • Datenbankmigrationen
  • Außerbetriebnahme von SQL Server-Systemen
• Windows Server Deployment: Erstellung von individuellen Server Images, Installations- und Konfigurationen für automatisches Deployment
• Reorganisation der File Services: Überarbeitung Berechtigungen und Zugriffe

Als ein wichtiger Baustein für die Unternehmenssteuerung hat der Kunde im Rahmen eines Projekts den Aufbau einer Data Warehouse-Plattform (Data Science Hub) gestartet, an dem Daten von internen Systemen wie IoT-Devices zur Messung z. B. von Estrichfeuchtigkeit, über Maschinendaten z. B. Verbrauchswerte von Asphaltmischanlagen bis zu Finanzdaten mit externen Daten wie z. B. Wetter-Informationen aufbereitet und zusammengeführt werden.
Meine Aufgaben als Data Engineer und Data Architect im Projekt bestehen in:

• Planung und Optimierung der Datenarchitektur: nächster Schritt: Umstellung der vorhandenen Umgebung auf Cloud-scale analytics als Teil des Cloud Adoption Frameworks
• Umsetzung von hochverfügbaren und performanten Daten-Pipelines (ETL/ELT) zur Verarbeitung von Datenströmen aus verschiedenen Datenquellen in ein Data Warehouse.
• Analyse und Aufbereitung strukturierter und unstrukturierter Daten
• Entwicklung von Azure DevOps-Pipelines für Build, Test und Deployment
• Auswahl von Daten-Infrastrukturen und Weiterentwicklung der Data Science-Umgebung
• Erschließung neuer Datenquellen
• Identifizierung von Use Cases und Klassifizierung geeigneter Technologien
• Einführung von Azure DevOps und Scrum in das Projekt

Das Projekt „Big Data & Analytics Platform“ wurde mit dem Ziel einer zentralen Lösung zur Bewertung von Risiken in der Versicherungsbranche durch den Kunden initiiert. Dazu wurde Daten von weltweit tätigen Versicherungs­unternehmen zusammengeführt, relational, mit Machine Learning-Algorithmen aufbereitet und Auswertungen in einem speziellen Power BI-Portal zur Verfügung gestellt.
Als Data Engineer im Projekt bestand meine Hauptaufgabe in der Entwicklung von Daten-Pipelines in der Microsoft Azure Cloud und deren Automatisierung mit dem Ziel der Bereitstellung eines analytischen Modells. Dies beinhaltete:

• Fachliche Beratung und Erstellung von IT-Spezifikationen
• Konzeption und Optimierung der technischen Architektur des Gesamtsystems
• Anforderungsanalyse mit Fach-Architekten des Kunden und seiner Partner
• Erstellung von Systemdokumentationen
• Präsentation der Ergebnisse
• Unterstützung der Data Scientists bei der Erstellung und Bereitstellung von Auswertungen auf der Basis von Power BI
• DevOps Teams bei Build, Test und Deployment der erforderlichen Services und Solution.

Die Aufgabe dieses Projekts bestand im Rahmen einer Neugestaltung des Internetauftritts des Unternehmens in der Erstellung von interaktiven Berichten für Mitglieder und Kunden. Ein Beispielbericht aus dieser Lösung steht Ihnen bspw. unter der folgenden Adresse zur Verfügung https://www.bkk-dachverband.de/statistik/monatlicher-krankenstand

Das Unternehmen ist Europas exklusivste Closed-Fashion-Shopping-Community. Mit diversen Teams von mehr als 1.700 internationalen Mode- und Technologiebegeisterten aus über 70 Ländern erschafft es für Mitglieder ein außergewöhnliches Online-Shopping-Erlebnis. Ziel dabei ist es den Mitgliedern europaweit Designermode zu unschlagbaren Preisen zugänglich zu machen.
Das Ziel des Projekts bestand in der Ablösung/Migration einer Data Warehouse und Data Analytics-Plattform auf Basis von Microsoft Technologien on Premise durch eine optimierte Plattform in der Microsoft Azure Cloud.
Meine Aufgaben sind die Anforderungen der Stakeholder gemeinsam mit einem internationalen Developer-Team umzusetzen, die Optimierung des Development-Prozesses (CI/CD), die Konzeption der Plattform/Services/Systeme und Koordination des Betriebes (inkl. User helpdesk).