Data Engineer – Dagster Experte, Python & dbt_#3515
Deloitte Consulting GmbH
Ansprechpartner: S. B.
Berlin, Deutschland
Verkehr und LogistikApache AirflowData ArchitectureData Transformation ServicesDataOpsDatenbank-EnginesDatadogGoogle Data StudioDaten-Pipeline
Beschreibung
Bewerbungs-/Angebotsfrist: 11.11.2026, 10:00 Uhr
Projektrahmenbedingungen
Einsatzort: Berlin; in der Regel standortunabhängig und remote (Onshore: Deutschland)
Laufzeit: 01.12.2026–31.12.2027; ca. 13,00 Monate
Umfang: 202 PT davon 192 remote, 10 Onsite = 95,05% remote (2026: 22 PT remote; 2027: 180 PT davon 10 Onsite)
Auslastung: Durchschnitt ca. 3,58 Tage/Woche (entspricht ca. 71,6 % Auslastung)
Onshore: Deutschland
Sprache / gefordertes Sprachniveau: Deutsch – Selbständige Sprachverwendung (B2)
Konditionen – Pflichtangaben für Kandidaten
Für die weitere Bearbeitung Ihrer Bewerbung sind diese Angaben zwingend erforderlich.
Bitte nennen Sie Ihre gewünschte Abrechnungsart sowie Ihren Stunden- oder Tagessatz, jeweils getrennt für Remote und Onsite.
Geben Sie außerdem an, ob Reisekosten enthalten sind oder separat berechnet werden. Bei separater Berechnung nennen Sie bitte die Höhe bzw. die Berechnungsgrundlage.
Konditionen / Abrechnungsart (Stunden- oder Tagessatz)Stundensatz Remote (EUR/Stunde) und Stundensatz Onsite (EUR/Stunde)Oder Tagessatz Remote (EUR/Tag) und Tagessatz Onsite (EUR/Tag)
ggf. Reisekosten
1.1 Projekt-/Verfahrenskontext
Im Finanzbereich des DB-Konzerns entsteht mit dem F.HUB eine neue Datenplattform zur zentralen Versorgung mit Finanz- und strukturierten Daten/Datenprodukten für Analytics-Zwecke. Das Projekt steht in Abhängigkeit zum SAP-HANA-Transformationsprojekt Argo. Als Cloud Datawarehouse wird AWS Redshift eingesetzt. Zur Datentransformation, Qualitätssicherung und Dokumentation wird maßgeblich dbt-core verwendet. Zur Orchestrierung kommen Python-Frameworks (dagster bzw. Airflow) zum Einsatz, die containerisiert laufen sollen. Der Auftragnehmer unterstützt die fachbereichsnahe IT bei der Konzeption und Realisierung eines produktionstauglichen Setups inkl. Betriebsmodell mit DB Systel sowie beim Aufbau nachhaltig wartbarer Datenstrecken unter Einsatz moderner Entwicklungsprinzipien (CI/CD, Versionierung, Reviews, automatisiertes Testing) im agilen Modus.
1.2 Projektstruktur
Projektarbeit nach agilen Zusammenarbeitsmodellen (z. B. SAFe, Scrum). Projektsprache Deutsch.
3.1 Scope
Beratung bei der Strukturierung der Implementierung von Datenstrecken mit dagster hinsichtlich der Nutzung und Umsetzung verfügbarer Features (z. B. Sensors, Partitions etc.) inkl. Dokumentation und Hands-on-Unterstützung durch Code-Erstellung. Beratung beim Einsatz von dagster-Integrationen (insb. dagster-dbt, embedded-elt mit dlt) inkl. Hands-on-Codebeiträgen. Umsetzung beim automatisierten Deployment von dagster-Code auf ein Kubernetes-Cluster (CI/CD).
Entwicklung von dagster-Komponenten (Resources, Assets, Sensors etc.) gemäß Kundenanforderungen inkl. Dokumentation. Durchführung von Code-Reviews sowie Teilnahme an koordinierenden Entwickler-Meetings (Planning, Dailies/Scrums, Retros).
4.1 Muss-Anforderungen – 100 % zwingend zu erfüllen
M1: Dagster-Experte mit Erfahrung im Aufbau und der Umsetzung komplexer dagster-Projekte (insb. dagster-dbt, embedded-elt mit dlt); Erfahrungslevel Junior (<= 3 Jahre Erfahrung).
M2: Python-Experte – Beratung und Strukturierung der Implementierung von Datenstrecken; Erfahrungslevel Senior (> 5 Jahre Erfahrung).
M3: Data Engineering-Experte – Beratung hinsichtlich Nutzung und Umsetzung von Features inkl. Dokumentation; Erfahrungslevel Senior (> 5 Jahre Erfahrung).
M4: Erfahrung mit komplexen dbt-Projekten mit dbt-core; Nachweis durch 3 Referenzen.
4.2 Soll-Anforderungen
S1 (25%): Erfahrung mit Projekten auf AWS-Infrastruktur; 1 Referenz.
S2 (25%): Erfahrung im Einsatz von containerisierten Open-Source-Orchestratoren bei Aufbau und Betrieb von Datenstrecken durch Entwicklerteams (Airflow oder dagster); 1 Referenz.
S3 (25%): Know-How im agilen Projektmanagement (z. B. IAPM/CAPM, PMI-ACP, Scaled Agile Framework); Nachweis durch Zertifikate und Referenzen.
S4 (25%): Erfahrungen mit komplexen dbt-Projekten mit dbt-core; 3 Referenzen.