Senior Data Engineer (m/w/d) – AFRA #121
Randstad Digital Germany AG
Ansprechpartner: Saskia Freund
Berlin, Deutschland
Beschreibung
Projektbeschreibung
Im Finanzbereich eines führenden Großkonzerns im Mobilitäts- und Transportumfeld entsteht eine moderne Datenplattform, die zentrale Fachbereiche, Geschäftsfelder und Service Center für Analytics-Zwecke aus einer Hand mit Finanzdaten und strukturierten Datenprodukten versorgt. Das Vorhaben steht in starker inhaltlicher Abhängigkeit zu einem konzernweiten SAP-Transformationsprojekt, durch welches neue Datenquellen entstehen und bisherige Datenprodukte neu erarbeitet und gestaltet werden müssen. Mit der neuen Plattform werden zudem gewachsene Eigenentwicklungen der Fachbereiche durch Cloud-Komponenten und Open-Source-Frameworks abgelöst. Der eingesetzte Tech-Stack ist primär SQL-basiert und wird durch Python-Komponenten ergänzt. Als Cloud Data Warehouse kommt AWS Redshift zum Einsatz, wobei die Integration der SAP- und weiterer Datenquellen zentral erfolgt (Multi-Clusterinstanz-Modell via Data Sharing). Zur Datentransformation, Qualitätssicherung und Dokumentation wird maßgeblich dbt-core eingesetzt; zur Orchestrierung dienen Python-Frameworks wie Dagster bzw. Airflow (containerisiert). Das Ziel ist die Konzeption und Realisierung eines produktionstauglichen Setups inkl. Betriebsmodell sowie der Aufbau nachhaltiger, wartbarer Datenstrecken unter Einsatz moderner Entwicklungsmethoden (CI/CD, automatisierte Tests, Reviews) im agilen Modus.
Leistungen:
- Beratung bei der Strukturierung der Implementierung von Datenstrecken mit der Python-Open-Source-Bibliothek Dagster hinsichtlich der Nutzung und Umsetzung der verfügbaren Features (z. B. Sensors, Partitions etc.) inkl. Dokumentation und Hands-on-Unterstützung durch Code-Beiträge
- Beratung beim Einsatz von Dagster-Integrationen, insbesondere dagster-dbt und embedded-elt mit dlt (inkl. Hands-on-Entwicklung)
- Umsetzung beim automatisierten Deployment von Dagster-Code auf einem Kubernetes-Cluster (CI/CD)
- Entwicklung von Dagster-Komponenten wie Resources, Assets, Sensors etc. gemäß Anforderungen inkl. Dokumentation
- Durchführen von Code-Reviews
Anforderungen – must have: (zwingend erforderlich, auch in Jahren und in den einzelnen Projektreferenzen aufgeführt und erläutert!)
- Dagster Experte Erfahrung im Aufbau und Umsetzung komplexer dagster-Projekte insb. dagster-dbt, embedded-elt mit dlt // mind. <= 3 Jahre
- Python Experte - Beratung und Strukturierung der Implementierung von Datenstrecken // mind. 5 Jahre
- Data Engineering Experte - Beratung hinsichtlich der Nutzung und Umsetzung der Features inkl. Dokumentation // mind. 5 Jahre
- Erfahrung mit komplexen dbt Projekten mit dbt-core Anzahl Referenzen 3
Anforderungen – should + nice to have:
- Erfahrung mit Projekten auf AWS Infrastruktur Anzahl Referenzen 1
- Erfahrung im Einsatz von containerisierten open-source-Orchestratoren bei Aufbau und Betrieb von Datenstrecken durch Entwickler-Teams (Airflow oder dagster) Anzahl Referenzen 1
- Know-How im agilen Projektmanagement z.B. IAPM/CAPM, PMI Agile Certified Practitioner, Scaled Agile Framework Zertifikate Nachweis der Zertifizierung und Referenzen zur Anwendung
- Erfahrungen mit komplexen dbt Projekten mit dbt-core Anzahl Referenzen 3
Rahmendaten:
Zeitraum: 01.12.2026 – 31.12.2027 + Option auf Verlängerung
Einsatzort: 95% Remote / 5% onsite in Berlin
Projektsprache: Deutsch
Auslastung: Vollzeit
Sonstiges: Wohnsitz in Deutschland
Ich freue mich auf die Zusendung Ihres Profils inkl. Verfügbarkeit und gewünschter Konditionen!