Beschreibung
Sehr geehrte Damen und Herren,für einen unserer Kunden suchen wir mehrere Hadoop und Spark Entwickler (m/w) in Frankfurt.
Aufgaben:
Implementierung und Automatisierung von Data Pipelines (bestehend aus ETL, Feature Extraction, Modelltraining, Prediction, Benachrichtigung)
Implementierung automatisierter Datenqualitätstests
Konzeption und Implementierung von Exception Handlung und Log Mechanismen
Konzeption und Implementierung von Unit- und Integration Tests für Feature-Extraktoren
Beratung und Umsetzung von Maßnahmen zur Verbesserung der Skalierbarkeit und Erweiterbarkeit
Aufbereitung von neuen Datensätzen für die Analyse und Machine Learning zusammen mit den Data Scientists
Unterstützung bei der Konzeption von Datenschnittstellen zur Integration externer Datenquellen.
Erforderliche Kenntnisse:
Erfahrung mit der Konzeption, Umsetzung und dem Betrieb von produktiven Data Pipelines in Hadoop/Spark
Erfahrung mit mindestens einer Workflow-Management Technologie (z.B. Oozie, Luigi, Airflow, Pinball)
Sehr gute Kenntnisse in HDFS, Hive, Spark, SQL
Sehr gute/gute Programmierkenntnisse in R und/oder Python
Erfahrung mit Test-Frameworks (Nose, JUnit)
Erfahrung mit Logfile-Analysesystemen (z.B. Elastic)
Wünschenswerte Kenntnisse
Erfahrung mit relationalen Datenbanken (z.B. Oracle, Teradata, etc.)
Start: asap
Ende: 31.03.2018
Auslastung: 100%
Einsatzort: Rhein-Main-Gebiet
Bewerbungsunterlagen: CV im Word-Format + Stundensatz All-In, Verfügbarkeit
Können Sie uns hierbei unterstützen bzw. eine Empfehlung aussprechen? Ich freue mich über eine Nachricht ihrerseits.
Vielen Dank.
Mit freundlichen Grüßen
Sascha Riethmüller
Geschäftsführender Gesellschafter
Projekt Broker Consultant Services GmbH
Wilhelm-Leuschner-Straße 79, 60329 Frankfurt am Main
T: | F: | M:
| www.projekt-broker.com
Amtsgericht Frankfurt am Main HRB 93917, Steuernummer:
Geschäftsführende Gesellschafter: Sascha Riethmüller, Christian Weindl