Databricks Data Engineer (m/w/d) [ST-01509]

Für unseren direkten Endkunden suchen wir ab sofort einen Senior Databricks Data Engineer (m/w/d).

Rahmendaten

• Start: ab sofort, Laufzeit bis 31.12.2026 (Verlängerung geplant, langfristige Zusammenarbeit erwünscht)


• Einsatzort: Köln, ca. 40 % vor Ort (2 Tage pro Woche) und 60 % remote


• Wohnort: maximal 100 km um Köln


• Auslastung: Vollzeit

Aufgabenbeschreibung

Im Rahmen der Tätigkeit als Databricks Data Engineer wird das bestehende Oracle-/Informatica-DWH in eine moderne Azure-Lakehouse-Architektur auf Basis von Databricks überführt. In enger Zusammenarbeit mit den Fachbereichen und weiteren Data Engineers entstehen robuste und skalierbare Datenlösungen. Gearbeitet wird iterativ und kundenorientiert in einem etablierten Scrum-Setup.

Zu den Aufgaben gehören insbesondere:

• Umsetzung und Weiterentwicklung der Azure-/Databricks-Zielarchitektur (Lakehouse)


• Migration bestehender ETL-Prozesse (Informatica/Oracle) in performante Databricks-Pipelines


• Entwicklung von Datenpipelines mit Python, PySpark und SQL


• Aufbau und Pflege von Delta-Lake-Strukturen sowie Pipelines mit DLT/SDP


• Umsetzung von Datenmodellen und Historisierung, unter anderem nach SCD2


• Sicherstellung von Datenqualität und Governance, unter anderem mit Unity Catalog und Berechtigungsmodellen


• Performance-Optimierung bei der Verarbeitung großer Datenmengen


• Begleitung von Tests, Parallelbetrieb und Cutover


• Abstimmung mit Fachbereichen und anderen Entwicklungsteams sowie Dokumentation der Arbeitsergebnisse

Anforderungen

• Fundierte Praxis in der Umsetzung von Lakehouse-Architekturen sowie im Aufbau und Betrieb von Databricks


• Tiefe Kenntnisse in Delta Lake, Unity Catalog, DLT/SDP, Berechtigungsmodellen und Governance-Mechanismen


• Fundierte Erfahrung in Python, PySpark und SQL sowie in der Performance-Optimierung großer Datenmengen


• Souveräner Einsatz von KI-basierten Tools zur Effizienzsteigerung in der Entwicklung


• Fundierte Erfahrung im klassischen BI-/DWH-Umfeld, also in Datenhaltung, Datenmodellierung, Datentransport und Historisierung nach SCD2


• Erfahrung als Entwickler in einem Scrum-Team


• Idealerweise Erfahrung in der Ablösung klassischer ETL-Strecken (z. B. Informatica) und deren Überführung nach Databricks


• Ausgezeichnete Deutschkenntnisse in Wort und Schrift sowie sichere, klare Kommunikation mit Fachbereichen und Entwicklungsteams

Rahmendetails

• Projektdauer: 12 Monate


• Startdatum: 1.12.2026


• Einsatzort: Köln


• Vertragsbasis: Freelance


• Auslastung: 100 %


• Bewerbungslink: https://www.vp-systeme.de/de/projects/ST-01509#jobApplication