Databricks Data Engineer (Azure / DWH Migration)

YER Deutschland

Ansprechpartner: Jonatan Efimov

Köln, Deutschland

60% RemoteFreiberuflichab sofortDauer 3 Monate100% Auslastung

Beschreibung

Bitte nur bewerben wenn Ihr Wohnort maximal 100km im Umkreis von Köln ist !

Rahmendaten:

Start: asap

Auslastung: 100% (5 Tage die Woche)

Einsatzort: 2 Tage Vorort in Köln & 3 Tage Remote (wöchentlich)

Aufgaben

• Migration eines bestehenden Oracle/Informatica DWH in eine moderne Azure/Databricks Lakehouse Architektur

• Entwicklung und Optimierung performanter ETL und Datenpipelines mit Databricks

• Sicherstellung von Datenqualität, Data Governance und Berechtigungskonzepten

• Begleitung von Tests, Parallelbetrieb und Cutover im Rahmen der Migration

• Enge Zusammenarbeit mit Fachbereichen und Data Engineers in einem agilen Scrum Team

• Einsatz KI basierter Tools zur Effizienzsteigerung in der Entwicklung

Anforderungen

• Fundierte Erfahrung mit Databricks, Azure und Lakehouse Architekturen

• Sehr gute Kenntnisse in Delta Lake, Unity Catalog sowie DLT/SDP

• Sehr gute Programmierkenntnisse in Python, PySpark und SQL sowie Erfahrung in der Performance Optimierung großer Datenmengen

• Erfahrung mit DWH Architekturen, Datenmodellierung, ETL Prozessen und Historisierung mittels SCD Type 2

• Idealerweise Erfahrung in der Migration klassischer DWH und ETL Landschaften nach Databricks

• Erfahrung in der agilen Softwareentwicklung mit Scrum

• Sehr gute Deutschkenntnisse in Wort und Schrift sowie ausgeprägte Kommunikationsfähigkeit