Beschreibung
Liebes Netzwerk,Für meinen Kunden im Versicherungsumfeld bin ich aktuell auf der Suche nach einem Data Engineer (m/w/d) für ein Konsolidierungs- und Migrationsprojekt in München. (Full Remote möglich)
Hintergrund:
Der Kunde baut und betreibt Datenpipelines und ETL-Aufträge.
Sie wurde im Rahmen der Errichtung des Data Lake im Jahr 2016 mit dem Auftrag errichtet, die richtigen Daten zur richtigen Zeit für analytische Lösungen bereitzustellen.
Seitdem erfordern die Nachfrage nach neuen Pipelines und die steigende Anzahl aktiver Pipelines eine Änderung der Arbeitsweise hin zu einem höheren Grad der Standardisierung.
Parallel dazu wechselt die Datenplattform des Kunden von On-Premise zur Azure Cloud, was Architekturänderungen und Refactoring bestehender Pipelines erfordert.
Aufgaben:
- Konsolidierung des Architektur- und Entwicklungsrahmens.
- Migration aller bestehenden Pipelines auf das neue Entwicklungs-Framework
- Prüfung von Datenpipelines auf Richtigkeit und Vollständigkeit der Datenlieferung
- Vervollständigung und Überprüfung der gesamten Dokumentation sowohl für die Pipelines als auch für die Dienstleistungen, die der Pipeline Factory zugrunde liegen.
- Enge Zusammenarbeit mit den Teams der Pipeline Factory und der Cloud Architecture
Anforderungen:
Tiefgreifende Erfahrung in: (min. 2 Jahre Erfahrung)
- SQL
- Big Data Cloud (Azure oder AWS)
- Spark
- Docker
Fortgeschrittene Kenntnisse in: (min. 1 Jahr Erfahrung)
- Python
- Kubernetes
- Azure Databricks
Rahmendaten:
Start: 17.08.2020 / auch später möglich
Dauer: 18.12.2020
Einsatzort: München (auch Full Remote)
Auslastung: Vollzeit
Haben Sie Kapazitäten frei?
Dann melden Sie sich mit Ihrem aktuellen CV, Stundensatzvorstellung und Verfügbarkeit.
Gerne können Sie diese Anzeige auch Ihren kompetenten Kollegen/-innen oder Bekannten weiterempfehlen.
Wenn Sie für das Projekt in Frage kommen, werde ich mich zeitnah bei Ihnen melden.
Bitten beachten Sie, dass wir aufgrund der aktuellen Situationen gezwungen sind von Remote aus zu arbeiten. Es kann daher teilweise zu technischen Überlastungen und Störungen kommen. Am besten erreichen Sie mich aktueller per Mail.
Viele Grüße
Natascha Bollwein
E: