Beschreibung
Für unseren Kunden in Frankfurt am Main suchen wir einen Big Data Spezialisten (m/w) mit Hadoop-Kenntnissen.
Aufgaben:
- Unterstützung beim Aufbau eines Monitoring-Systems und eines Prognosemodells
- Analyse neuartiger, komplexer Problemstellungen und deren technische Lösung
- Unterstützung bei der Analyse von Datenquellen und bei der Datenmodellierung
- Ableiten einer geeigneten Software-Architektur aus den Anforderungen
- Konzeption des Software-Designs
- Programmierung individueller Software auf dem Hadoop-Cluster
- Konzipierung und Durchführung von Tests
- Zusammenarbeit und Abstimmung mit Entwicklern anderer Teilprojekte
- Unterstützung bei der Optimierung der Konfiguration des Hadoop-Clusters
Anforderungen:
- Muss: Praktische IT-Kenntnisse im Big Data Umfeld, speziell im Analyse-Bereich
- Muss: Mehrjährige Erfahrung mit Komponenten gängiger Hadoop-Distributionen (insb. Spark, Hive, Kafka, HBase), idealerweise mit Zertifizierung
- Muss: Umfangreiche Erfahrung in Software-Architektur und -Design
- Muss: Fundierte Kenntnisse in objektorientierter und funktionaler Programmierung (z.B. Scala, Java)
- Muss: Fortgeschrittene Programmierkenntnisse auf verteilten Architekturen
- Muss: Sicherer Umgang mit komplexen Datenstrukturen und Echtzeit-Datenströmen
- Muss: Umfangreiche Methodenkenntnisse: UML 2, agile Vorgehensmodelle für Software-Entwicklung, Konfigurations- , Release- und Testmanagement, Versionsverwaltung
- Muss: Hands-on-Mentalität und Flexibilität in einem dynamischen Umfeld
- Soll: Erfahrung mit Prognosemodellen und Qualitätsmonitoring-Systemen
- Soll: Kenntnisse statistischer Verfahren oder Machine Learning Methoden für Predictive Analytics
- Soll: Programmierkenntnisse im Analytics-Umfeld (z.B. R, Python, SQL)
- Soll: Erfahrung mit dem Fachthema Transport und Verkehr / Öffentlicher Personenverkehr / Verkehrsinformation