Senior Data Engineer – Databricks & DWH-Modernisierung (m/w/d)
AMPLEE GmbH & Co. KG
Ansprechpartner: Stine Zirnsack
Bonn, Deutschland
Beschreibung
Für unseren Kunden besetzen wir auf freiberuflicher Basis einen
Senior Data Engineer – Databricks & DWH-Modernisierung (m/w/d)
Start: ASAP
Dauer: 14 Monate
Auslastung: 100%
Einsatzort: Köln/Bonn - Hybrid (Daher bitte im Pendelbereich)
Aufgaben:
Technische Modernisierung einer bestehenden Oracle-/Informatica-DWH-Landschaft und Überführung in eine Azure-/Databricks-Lakehouse-Architektur.
Entwicklung und Optimierung skalierbarer Datenpipelines zur Ablösung bestehender ETL-Strecken.
Umsetzung geeigneter Datenmodelle und Historisierungskonzepte sowie Sicherstellung von Datenqualität, Berechtigungen und Governance.
Absicherung der Migration durch Tests, Datenabgleiche und Begleitung von Parallelbetrieb und Cutover.
Abstimmung fachlicher Anforderungen und iterative Umsetzung gemeinsam mit Fachbereichen und Data Engineers im Scrum-Team.
Qualifikationen:
Fundierte Erfahrung mit Azure Databricks und der praktischen Umsetzung von Lakehouse-Architekturen einschließlich Aufbau und Betrieb.
Tiefe Kenntnisse in Delta Lake, Unity Catalog und DLT/SDP sowie in Berechtigungs- und Governance-Konzepten.
Sehr gute Kenntnisse in Python, PySpark und SQL sowie Erfahrung in der Performance-Optimierung großer Datenmengen und im Einsatz KI-gestützter Entwicklungswerkzeuge.
Ausgeprägte DWH-/BI-Kompetenz in Datenmodellierung, Datenhaltung, Datentransport und SCD2-Historisierung; idealerweise Erfahrung mit der Migration klassischer ETL-Prozesse nach Databricks sowie Kenntnisse in Oracle und Informatica.
Erfahrung in der agilen Softwareentwicklung nach Scrum, ausgezeichnete Deutschkenntnisse und eine klare Kommunikation mit technischen Teams und Fachbereichen.
Wir freuen uns auf deine Bewerbung!