Beschreibung
Senior Data Engineer (m/w/d) with Languages Deutsch, EnglischWesthouse ist eines der führenden globalen Recruitment Unternehmen im Bereich Personalauswahl, -vermittlung und Projektmanagement.
Für unseren Kunden suchen wir aktuell eine/n
Senior Data Engineer (m/w/d)
Rahmeninformationen
Referenz: 126492
Einsatzort: München oder Remote
Starttermin: 17.08.2020
Arbeitszeit: Vollzeit
Dauer: 18.12.2020
Sprachen: Deutsch, Englisch
Ihre Qualifikationen
- Mehrjährige Erfahrung als Data Engineer
- SQL (Tiefgreifende Erfahrung)
- Big Data Cloud (Tiefgreifende Erfahrung)
- Soark (Tiefgreifende Erfahrung)
- Docker (Tiefgreifende Erfahrung)
- Python (Fortgeschrittene Kenntnisse)
- Kubernetes (Fortgeschrittene Kenntnisse)
- Azure Databricks (Fortgeschrittene Kenntnisse)
Ihre Aufgaben
- Die Pipeline Factory unseres Kunden baut und betreibt Datenpipelines und ETL-Aufträge. Sie wurde im Rahmen der Errichtung des Data Lake im Jahr 2016 mit dem Auftrag errichtet, die richtigen Daten zur richtigen Zeit für analytische Lösungen bereitzustellen.
- Seitdem erfordern die Nachfrage nach neuen Pipelines und die steigende Anzahl aktiver Pipelines eine Änderung der Arbeitsweise hin zu einem höheren Grad der Standardisierung. Parallel dazu wechselt die Datenplattform unseres Kunden von On-Premise zu Azure Cloud, was Architekturänderungen und Refactoring bestehender Pipelines erfordert.
- Um die Pipeline Factory auf die bevorstehenden Veränderungen vorzubereiten, startet unser Kunde ein Konsolidierungs- und Migrationsprojekt, das bis Ende dieses Jahres abgeschlossen sein soll. Für dieses Projekt werden zwei erfahrene Dateningenieure gesucht.
- Konsolidierung des Architektur- und Entwicklungsrahmens
- Migration aller bestehenden Pipelines auf das neue Entwicklungs-Framework
- Prüfung von Datenpipelines auf Richtigkeit und Vollständigkeit der Datenlieferung
- Vervollständigung und Überprüfung der gesamten Dokumentation sowohl für die Pipelines als auch für die Dienstleistungen, die der Pipeline Factory zugrunde liegen
- Enge Zusammenarbeit mit den Teams der Pipeline Factory und der Cloud Architecture
Interessiert?
Wir freuen uns auf Ihre aussagekräftigen Bewerbungsunterlagen in elektronischer Form.