Beschreibung
Für unseren Kunden aus Frankfurt suchen wir einen Hadoop / Spark Entwickler (m/w), mit den folgenden Aufgaben, u.a.:Unterstützung beim Aufbau eines Monitoring-Systems und eines Prognosemodells
Analyse neuartiger, komplexer Problemstellungen und deren technische Lösung
Umsetzung von Datentransformationsprozessen mit automatisierten Jobs
Unterstützung bei der Analyse von Datenquellen und bei der Datenmodellierung
Programmierung individueller Software auf dem Hadoop-Cluster
Unterstützung bei der Umsetzung von statistischen Verfahren bzw. Machine Learning Methoden auf dem Hadoop-Cluster
Zusammenarbeit und Abstimmung mit Entwicklern anderer Teilprojekte
Unterstützung bei der Optimierung der Konfiguration des Hadoop-Clusters
Programmierung / Implementierung / Customizing technischer Komponenten
Beheben von Fehlern aus den Testphasen in den Applikationen / Komponenten
Dokumentation der technischen Komponenten
Erstellen von Systemdokumentationen
Erstellen von Lieferpaketen für die betreffenden Applikationen
Einrichten von Entwicklungsumgebungen incl. Continuous Integration
Durchführen von Code-Reviews, Komponententests, Modultests, Modulgruppentests
Vorbereitung von Entscheidungsvorlagen zu technischen Themen
Präsentationen zu technisch komplexen Themenstellungen
Berichten von Risiken und Problemen an die technischen Architekten und an das Projektmanagement
Kenntnisse
Muss Skills:
Software Entwicklung insb. objektorientiert und funktional (z.B. Scala, Java)
Problemlösungs-/ Arbeitsorganisations - Know-how
Software Architektur(management)
Software-Design
IT-Kenntnisse im Big Data Umfeld, speziell im Analyse- und Entwicklungs-Bereich
Hadoop-Distributionen (z.B. HDFS, Hive, Kafka, Yarn, MapReduce, HBase)
Apache-Spark-Framework, insb. mit Scala, idealerweise mit Zertifizierung
Umgang mit komplexen Datenstrukturen und Echtzeit-Datenströmen und deren Konsolidierung
Implementierung von ETL/ ELT-Prozessen und Job-Steuerung (z.B. mit Jenkins, Oozie)
Script-Programmierung in einem Linux-Umfeld
Soll Skills:
Software Entwicklung - Analytics-Umfeld (z.B. Python, SQL, R)
Methodenkompetenz, Modellierung, Vorgehensmodelle - agiles Projektvorgehen
Know-how zur Identifikation Chancen/ Risiken
Präsentations-Know-how
Projektmanagement-Know-how
Erfahrung mit dem Fachthema Transport und Verkehr/ Öffentlicher Personenverkehr/ Verkehrsinformation
Kenntnisse statistischer Verfahren und Machine Learning Methoden für Predictive Analytics
Erfahrung mit Prognosesystemen und deren Qualitätssicherung