Beschreibung
Sehr geehrte Damen und Herren,aktuell suche ich für unseren Kunden externe Projektunterstützung in folgendem Umfeld:
Hadoop/Spark Entwickler (m/w)
Standort: Neckarsulm
Projektstart: asap
Projektende: 31.12.2017
Projektdauer: 6 Monate / mögliche Verlängerung
Auslastung: 4 Tage beim Kunden + 1 Tage remote
Aufgabenbeschreibung:
Unterstützung in einem Analytics-Team speziell in den Bereichen Hadoop und Spark.
Aufgaben:
- Implementierung und Automatisierung von Data Pipelines (bestehend aus ETL, Feature Extraction, Modelltraining, Prediction, Benachrichtigung)
- Implementierung automatisierter Datenqualitätstests
- Beratung und Umsetzung von Maßnahmen zur Verbesserung der Skalierbarkeit und Erweiterbarkeit
- Aufbereitung von neuen Datensätzen für die Analyse und Machine Learning zusammen mit den Data Scientists
- Unterstützung bei der Konzeption von Datenschnittstellen zur Integration externer Datenquellen und –senken
- Konzeption und Implementierung von Exception-Handlung und Log Mechanismen
- Konzeption und Implementierung von Unit- und Integration Tests für Feature-Extraktoren
Kenntnisse:
- Erfahrung mit der Konzeption, Umsetzung und dem Betrieb von produktiven Data Pipelines in Hadoop/Spark
- Erfahrung mit relationalen Datenbanken (z.B. Oracle, Teradata, etc.) wäre wünschenswert aber nicht zwingend notwendig
- Erfahrung mit mindestens einer Workflow-Management Technologie (z.B. Oozie, Luigi, Airflow, Pinball)
- Sehr gute Kenntnisse in HDFS, Hive, Spark, SQL
- Sehr gute Programmierkenntnisse in R und/oder Python
- Erfahrung mit Test-Frameworks (Nose, JUnit)
- Erfahrung mit Logfile-Analysesystemen (z.B. Elastic)
Sollten Sie uns hierbei unterstützen können, würden wir uns über die Zusendung Ihres aktuellsten CV's mit Angaben zu Ihrem Stundensatz und Ihrer Verfügbarkeit sehr freuen.
Freundliche Grüße aus Heidelberg.
Tobias Breitschwerdt
Manager of Consultant Relations
Questax
Bergheimer Straße 147
69115 Heidelberg
Tel:
Fax:
Email:
Web: http://www.questax.com