Data Engineer (m/w/d) Berlin & Remote
Akkodis Germany Tech Freelance GmbH
Ansprechpartner: Hippolyte de Freminville
Berlin, Deutschland
Beschreibung
Für unseren Kunden suchen wir einen Data Engineer (m/w/d).
• Start: 01.12.26
• Dauer: bis 31.12.27
• Auslastung: 202 PT, davon 10 PT vor Ort in Berlin (3 bis 4 Tage pro Woche)
• Einsatzort: Berlin & Remote aus Deutschland
• Sprache: Deutsch
Aufgabenbeschreibung:
• Beratung bei der Strukturierung der Implementierung von Datenstrecken mit der Python-Open-Source Bibliothek dagster hinsichtlich der Nutzung und Umsetzung der verfügbaren Features (z.B. sensors, par titions etc.) inkl. Dokumentation (inkl. „Hands-On“-Unterstützung durch Beitragen von Programmcode)
• Beratung beim Einsatz von dagster-Intergrationen, insb. dagster-dbt, embedded-elt mit dlt (inkl. „Hands-On“-Unterstützung durch Beitragen von Programmcode)
• Umsetzung beim automatisierten Deployment von dagster code auf einem Kubernetes Cluster (CI/CD)
• Entwicklung von dagster-Komponenten wie Resources, Assets, Sensors etc. gemäß Kundenanforderun inkl. Dokumentation
• Durchführen von Code-Reviews
MUSS-Anforderungen (zwingend zu erfüllen):
• Dagster Experte - Erfahrung im Aufbau und Umsetzung komplexer dagster-Projekte insb. dagster-dbt, embedded-elt mit dlt ( < = 3 Jahre Erfahrung)
• Python Experte - Beratung und Strukturierung der Implementierung von Datenstrecken (> 5 Jahre Erfahrung)
• Data Engineering Experte - Beratung hinsichtlich der Nutzung und Umsetzung der Features inkl. Dokumentation (> 5 Jahre Erfahrung)
• Erfahrung mit komplexen dbt Projekten mit dbt-core (mind. 3 Projektreferenzen)
SOLL-Anforderungen (nice to have):
• Erfahrung mit Projekten auf AWS Infrastruktur (mind. 1 Referenzprojekt)
• Erfahrung im Einsatz von containerisierten open-source-Orchestratoren bei Aufbau und Betrieb von Datenstrecken durch Entwickler-Teams (Airflow oder dagster) (mind. 1 Referenzprojekt)
• Know-How im agilen Projektmanagement z.B. IAPM/CAPM, PMI Agile Certified Practitioner, Scaled Agile Framework Zertifikate (Nachweis der Zertifizierung und Referenzen zur Anwendung)
• Erfahrungen mit komplexen dbt Projekten mit dbt-core (mind. 3 Projektreferenzen)