Beschreibung
TEX_15501 - Data Engineer (f/m) mit Hadoop und Python ExpertiseEinsendeschluß: 26.07.2017
Anzahl d. Personen: 1
Branche: Warenwirtschaft
Einsatzort: Baden-Württemberg
Zeitraum: asap - 3 Monate+
Anmerkungen:
Auslastung: 100%
Profilvorgabe: Deutsch
Preisvorgabe: EUR/Std.
Projektbeschreibung/Aufgaben/Rolle:
Gesucht werden zwei Personen bzgl. Data Engineering mit sehr guten Kenntnissen in Hadoop für die Mitarbeit in zwei Projekten / Scrum-Teams.
Ziel soll es sein die Data Pippelines von POC auf Produktionsgrad zu heben.
Aufgabe:
- Implementierung und Automatisierung von Data Pipelines (bestehend aus ETL, Feature Extraction, Modelltraining, Prediction, Benachrichtigung)
- Implementierung automatisierter Datenqualitätstests
- Konzeption und Implementierung von Exception-Handlung und Logging Mechanismen
- Konzeption und Implementierung von Unit- und Integrationtests für Feature-Extraktoren
- Beratung und Umsetzung von Maßnahmen zur Verbesserung der Skalierbarkeit und Erweiterbarkeit
- Aufbereitung von neuen Datensätzen für die Analyse und Machine Learning zusammen mit den Data Scientists
- Unterstützung bei der Konzeption von Datenschnittstellen zur Integration externer Datenquellen und -senken
Skills/Hinweise:
Skills:
- Erfahrung mit der Konzeption, Umsetzung und dem Betrieb von produktiven Data Pipelines in Hadoop/Spark
- Erfahrung mit relationalen Datenbanken (z.B. Oracle, Teradata, etc.) wäre wünschenswert aber nicht zwingend notwendig
- Erfahrung mit mindestens einer Workflow-Management Technologie (z.B. Oozie, Luigi, Airflow, Pinball)
- Sehr gute Kenntnisse in HDFS, Hive, Spark, SQL
- Sehr gute/Gute Programmierkenntnisse in R und/oder Python
- Erfahrung mit Test-Frameworks (Nose, JUnit)
- Erfahrung mit Logfile-Analysesystemen (z.B. Elastic)
Bei Interesse senden Sie uns bitte Ihr aktuelles Profil (bitte im Word-Format) unter Angabe Ihrer Verfügbarkeit sowie Ihres gewünschten Std.- / bzw. Tagessatzes.
Bitte beachten Sie, dass wir weiterführende Informationen zu dieser Ausschreibung wie bspw. Details zum Standort, dem Endkunden oder Tages- / Stundensätzen nur an bei uns registrierte Berater / Geschäftspartner herausgeben können.
Wenn Sie sich bei uns registrieren möchten, senden Sie uns bitte Ihr Profil (bitte im Word-Format)