Senior Databricks Data Engineer (m/w/d) | Vollzeit | 60% remote | bis Ende 2027 geplant
Randstad Professional GmbH (vorm. GULP)
Ansprechpartner: Matthias Steckiewicz
Köln, Deutschland
Beschreibung
Für unseren Kunden in Köln suchen wir aktuell einen Senior Databricks Data Engineer (m/w/d).
a) Rahmendaten:
- Laufzeit: asap bis ***** (Option auf Verlängerung, langfristige Zus ammenarbeit erwünscht)
- Leistungsort: 40% Vorort in Köln und 60% Remote (2 Tage Vorort & 3 Tage Remote je Woche)
- Branche: Telekommunikation
Ihre Aufgaben
b) Aufgabenbeschreibung:
- Als Databricks Data Engineer arbeitest du eng mit Fachbereichen und anderen Data Engineers zusammen und lieferst robuste, skalierbare Datenlösungen - iterativ, kundenorientiert und im Scrum-Setup. Auf dem Weg zu unserer Azure-/Databricks-Zielarchitektur überführst du das bestehende Oracle-/Informatica-DWH in eine moderne Azure-Lakehouse-Architektur. Du migrierst ETL-Prozesse in performante Databricks-Pipelines, stellst Datenqualität und Governance sicher und begleitest Tests, Parallelbetrieb sowie den Cutover.
c) Profilanforderungen
- Databricks & Lakehouse Erfahrung:
- fundierte Praxis in der Umsetzung von Lakehouse Architekturen sowie im Aufbau und Betrieb von Databricks.
- tiefe Kenntnisse in Delta Lake, Unity Catalog, DLT/SDP, Berechtigungsmodellen und Governance Mechanismen.
- Programmier- & Datenkompetenz:
- fundierte Erfahrung in Python, PySpark und SQL sowie in der Performance-Optimierung großer Datenmengen.
- AI-basierte Unterstützung wird souverän zur Effizienzsteigerung eingesetzt.
- Migrationsexpertise – idealerweise Erfahrung in der Ablösung klassischer ETL-Strecken und Überführung nach Databricks.
- Datenmodellierung & DWH-Expertise – fundierte Erfahrung im klassischen Business Intelligence Umfeld: Datenhaltung, Datenmodellierung, Datentransport, Historisierung nach SCD2.
- Agile Arbeitsweise – Erfahrung als Entwickler innerhalb eines SCRUM Teams.
- Kommunikation – ausgezeichnete Deutschkenntnisse in Wort und Schrift sowie die Fähigkeit, sicher und klar mit Fachbereichen und anderen Entwicklungsteams zu kommunizieren.
Unsere Anforderungen
- Databricks & Lakehouse Erfahrung: fundierte Praxis in der Umsetzung von Lakehouse Architekturen sowie im Aufbau und Betrieb von Databricks | tiefe Kenntnisse in Delta Lake, Unity Catalog, DLT/SDP, Berechtigungsmodellen und Governance Mechanismen.
- Programmier- & Datenkompetenz: fundierte Erfahrung in Python, PySpark und SQL sowie in der Performance-Optimierung großer Datenmengen | AI-basierte Unterstützung wird souverän zur Effizienzsteigerung eingesetzt.
- Migrationsexpertise – idealerweise Erfahrung in der Ablösung klassischer ETL-Strecken und Überführung nach Databricks.
- Datenmodellierung & DWH-Expertise – fundierte Erfahrung im klassischen Business Intelligence Umfeld: Datenhaltung, Datenmodellierung, Datentransport, Historisierung nach SCD2.
- Agile Arbeitsweise – Erfahrung als Entwickler innerhalb eines SCRUM Teams.
- Kommunikation – ausgezeichnete Deutschkenntnisse in Wort und Schrift sowie die Fähigkeit, sicher und klar mit Fachbereichen und anderen Entwicklungsteams zu kommunizieren.