Beschreibung
Für unseren Kunden suchen wir einen
Data Engineer // ETL und Backend-Automatisierung (m/w)
Referenz: -de
Beginn: 03/18
Dauer: 4 MM++
Ort: in Bayern
Branche: Vermittlung von Arbeitskräften
Ihre Aufgaben:
- Entwurf und Implementierung von Komponenten zur Datenintegration aus strukturierten Datenquellen
- Aufbereitung und Harmonisierung der Daten für Machine Learning Modelle
- Entwicklung von Workflows zur automatisierten Verarbeitung der Daten
- Test und Qualitätssicherung der entwickelten Komponenten
Ihre Qualifikation
- Sehr gute Programmierkenntnisse in Scala
- Sehr gute SQL-Kenntnisse
- Fundiere Berufserfahrung in der Entwicklung von ETL-Prozessen auf Big Data Infrastrukturen
- Gute Erfahrung mit Apache Spark
- Erfahrung mit der Arbeit auf Linux Betriebssystemen
- Erfahrung in der Einrichtung, Konfiguration und Arbeit mit Hadoop-Komponenten (z.B. HDFS, Hive, Hue) von Vorteil
- Programmierkenntnisse in Python von Vorteil, insbesondere PySpark
Skills:
- Data Engineer