Data Engineer (m/w/d)
Akkodis Germany Tech Freelance GmbH
Ansprechpartner: Hippolyte de Freminville
Berlin, Deutschland
TransportationSql Data WarehouseApache AirflowDatenbankenDateninfrastrukturData TransformationData Transformation ServicesAmazon DynamoDBOperational Data StoreDataOpsDatenbank-EnginesAzure Data FactoryAWS Data AnalyticsAzure Data AnalyticsDaten-PipelineAmazon Redshift
Beschreibung
Rolle: Data Engineer
Dauer: 01.12.2026 bis 31.12.2027
Umfang: 202 PT davon 10 PT onsite
Ort: Remote & Berlin (10 PT onsite)
Projektsprache: Deutsch (zwingend zu erfüllen)
Branche: Transport & Logistics
Nearshore: Ja
Projektbeschreibung
Im Finanzbereich des DB-Konzerns entsteht mit dem sog. F.HUB eine neue Datenplattform, die zunächst die zentralen Fachbereiche und später auch die Geschäftsfelder und Service Center für Analytics Zwecke aus einer Hand mit Finanz- und weiteren strukturierten Daten/Datenprodukten versorgen wird.
Das Projekt steht in starker inhaltlicher Abhängigkeit zum SAP-HANA-Transformationsprojekt Argo, durch welches neue Datenquellen entstehen und bisherige Datenprodukte neu erarbeitet und gestaltet werden müssen.
Mit der neuen Plattform werden zudem auch Komponenten, die in der Vergangenheit in den Fachbereichen, teils in umfangreicher Eigenentwicklung, entstanden sind, durch gängige Cloud-Komponenten und unter Einsatz von Open-Source-Frameworks abgelöst.
Nicht zuletzt um die in den Fachbereichen bereits vorhandenen Ressourcen und Kompetenzen (fachbereichsnahe IT) optimal zu nutzen, soll der eingesetzte Stack SQL-basiert sein und wird durch Python basierte Komponenten ergänzt.
Als Cloud Datawarehouse wird AWS Redshift eingesetzt, wobei die Integration der SAP- und ggf. weiterer übergreifend relevanter Datenquellen zentral geschehen soll (vsl. in einem Multi-Clusterinstanz Modell unter Einsatz von Data Sharing).
Zur Datentransformation inkl. entsprechender Qualitätssicherung und Dokumentation wird daher maßgeblich das Python-/SQL-Framework dbt-core verwendet werden.
Zur Orchestrierung sollen, je nach Fachbereich, die Python-Frameworks dagster bzw. wahlweise Airflow zum Einsatz kommen, die später containerisiert laufen sollen. Erste PoCs mit vorgenanntem Stack sind durch die IT-Kräfte der Fachbereiche bereits entstanden.
Im Rahmen des weiteren Projektverlaufs soll die fachbereichsnahe IT durch Kompetenzen und Erfahrungen ergänzt werden, um zunächst ein produktionstaugliches infrastrukturelles Setup inkl. eines geeigneten Betriebsmodells mit dem internen IT-Dienstleister DB Systel zu konzipieren und zu realisieren, auf welchem dann die eigentlichen Datenstrecken mit weiterer Unterstützung und unter Einsatz moderner Entwicklungsprinzipien (Versionierung, Reviews, automatisiertes Testing, CI/CD) und im agilen Modus entstehen können.
Parallel soll vorbereitend bereits damit begonnen werden, die Konzeption der Datenstrecken auf dem Cloud Datawarehouse weiter voranzutreiben, so dass die eigentliche Entwicklung der Datenstrecken auf Basis von klaren Leitlinien und Prinzipien von Beginn an, nachhaltig wartbar und erweiterbar aufzubauen.
Aufgaben
-Beratung beim Grund-Setup für dbt Einsatz (Erarbeitung von Team übergreifenden Konventionen)
-Implementierung von Datenstrecken/-transformationen mit der Python--Open-Source-Library dbt-core hinsichtlich Konventionen, Organisation der/des Repositories, der Materialisierungen und des Einsatzes von dbt--Packages zur weiteren Optimierung sowie der
-Entwicklung von eigenen Makros inkl. Dokumentation
-Entwicklung von dbt-Modellen und -Makros inkl. Dokumentation und Tests gemäß Anforderungen des Auftraggebers
-Durchführen von Code-Reviews
-Beratung bei der Optimierung der dbt-Transformationen hinsichtlich des -Einsatzes auf AWS Redshift
-Teilnahme an den koordinierenden Meetings der Entwickler des Projektes (Planning, Dailies/Scrums, Retros)
MUSS-Anforderungen:
-dbt Analytics Engineering Certification oder Fundamental Zertifikate
Nachweis der Qualifikation
-Erfahrungen im Aufbau und der Umsetzung komplexer dbt-Projekte mit dbt-core
Anzahl Referenzen: 2
-SQL-Expertise für analytische Datenbanken idealerweise auf AWS Redshift
Erfahrungslevel in Jahren: Senior (> 5 Jahre Erfahrung)
SOLL-Anforderungen
-Erfahrung im Einsatz von AWS Redshift
Anzahl Referenzen: 1
-Erfahrung im Einsatz von Open-Source-Orchestrierung Airflow oder dagster
Anzahl Referenzen: 1
Know-How im agilen Projektmanagement
z. B. IAPM/CAPM, PMI Agile Certified Practitioner