Beschreibung
Für meinen Kunden, ein Unternehmen im Medien Umfeld mit Sitz in München, suche ich einem Data Engineer (m/w/d).Bei Interesse freue ich mich auf Ihren aktuellen Lebenslauf, gerne auch ganz formlos unter Angabe Ihres Stundensatzes und der Verfügbarkeit an die d.hohenester(@)computerfutures.de . Alle Profile werden gesichtet und bei Interesse werde ich mich zeitnah mit Ihnen in Verbindung setzen.
Position: Data Engineer
Produkt: DataWareHouse
Leistungsumfang:
- Work on the Data Warehouse project by using Databricks on Azure and support the migration topics
- Develop new and modify existing data pipelines to ingest data into the Data Warehouse mostly
- Adaption of the order management object for mydays due to a legacy system
- Redesign of the sorting data pipeline and process to the Azure platform
- Develop concept for streaming data into the Data Warehouse from a Kafka stream
- Identify valuable events for DWH ingestion POC
- Concept and rollout DWH sourcing POC
- Develop interfaces to export data out of the Data Warehouse into external systems
- Work closely with other Engineers and Product Owners to ensure correct processing of data
Skillset:
- Strong Apache Spark / Pyspark skills
- Strong Python skills
- Experience of Databricks
- Experience in Azure cloud infrastructure
- Experience with Apache spark streaming
- Familiar with Apache Airflow
- Basic knowledge of SAP ERP 6.0 DB schema is a bonus
- Fluent in English & German
Auslastung: 80-100% / min. 3 days a week up to 5
Location: Remote work possible, 1-2 days at the munich office a Month should meet expectation
Team-Setup & Arbeitsweise: Agile mindset, International Team of 3 Data Engineers, 4 Data Analysts and 1 Data Scientist
Einsatzstart
23.08.21
Vorauss. Einsatzende
31.12.21
Arbeitszeitmodell
36 Std/Woche