Beschreibung
TEX_14910 - Hadoop Entwickler/ Architekt (f/m) mit Spark KnowhowEinsendeschluß: 27.01.2017
Anzahl d. Personen: 1
Branche: Transport & Logistik
Einsatzort: Hessen
Zeitraum: 06.02.2017 - 29.12.2017
Auslastung: 235 PT im o.g. Zeitraum / 5 PT pro Woche
Profilvorgabe: Deutsch
Preisvorgabe: EUR/Tag
Projektbeschreibung/Aufgaben/Rolle:
Um die Qualität der gelieferten Prognosen des Technologiepartners kontinuierlich zu sichern, wird ein Monitoring-System aufgebaut. Zudem werden intern im Projekt eigene Prognosemodelle entwickelt, mit denen als Benchmark eine Qualitätsvorgabe an den Partner erstellt wird. Basis für beide Teilprojekte ist ein Hadoop-Cluster (Hortonworks-Distribution in der AWS Cloud). Für die Unterstützung zum Aufbau der Datenprozessierung, der Entwicklung der Benchmark-Prognosemodelle und der Etablierung eines Monitoring-Systems wird ein IT Consultant – Management & Strategy & Communication im Bereich Hadoop/ Spark gesucht.
Verantwortung
-Leistungserbringung gemäß der vereinbarten Standards und Vorgaben des Auftraggebers (Rahmenvertrag, Prozessmodell, ggf. weitere Vorgaben)
-Qualität des entwickelten Softwarecodes
Aufgaben:
- Beratung des Auftraggebers in Bezug auf Hadoop und Spark
- Unterstützung beim Aufbau eines Monitoring-Systems und eines Prognosesystems sowie der dafür erforderlichen Datenprozessierung
- Entwicklung eines geeigneten Software-Designs zur Abdeckung der Anforderungen
- Programmierung individueller Software auf dem Hadoop-Cluster
- Automatisierung von Analyse-Workflows zur Verarbeitung von Datenströmen im Cluster (z.B. mehrstufige ETL-Prozesse bis hin zur Visualisierung)
- Durchführen geeigneter Tests, um eine hohe Software-Qualität sicherzustellen
- Laufende Qualitätssicherung beim Betrieb der Software (z.B. Fehler-Tracking)
- Zusammenarbeit und Abstimmung mit anderen Teilprojekten
- Unterstützung bei der Optimierung der Konfiguration des Hadoop-Clusters
- Beratung/ Programmierung / Implementierung / Customizing technischer Komponenten in Applikationen auf Basis der genutzten Technologien inkl. dazugehöriger Schnittstellen, Module und entsprechender Datenbanken unter Einhaltung der Standards des Auftraggebers (z.B. Nutzung der standardisierten Entwicklungsumgebungen und Programmierrichtlinien)
- Beheben von Fehlern aus den Testphasen in den Applikationen / Komponenten
- Dokumentation der technischen Komponenten
- Erstellen von Systemdokumentationen
- Erstellen von Lieferpaketen für die betreffenden Applikationen
- Einrichten von Entwicklungsumgebungen incl. Continuous Integration
- Durchführen von Code-Reviews, Komponententests, Modultests, Modulgruppentests
- Vorbereitung von Entscheidungsvorlagen zu technischen Themen
- Präsentationen zu technisch komplexen Themenstellungen
- Berichten von Risiken und Problemen an die technischen Architekten und an das Projektmanagement
Skills/Hinweise:
Muss-Anforderungen:
- Beratung und Software Entwicklung: Beratung und Umsetzung: Objektorientierte und funktionale Programmierung (z.B. Scala, Java), idealerweise auch auf verteilten Systemen
- Software Architektur(management)
- Praktische IT-Kenntnisse im Big Data Umfeld, speziell im Analyse- und Entwicklungs-Bereich
- Mehrjährige Erfahrung mit Komponenten gängiger Hadoop-Distributionen (z.B. HDFS, Hive, Kafka, Yarn, MapReduce, HBase)
- Einschlägige Erfahrung innerhalb des Apache-Spark-Frameworks, insb. mit Scala, idealer-weise mit Zertifizierung
- Umfangreiche Erfahrung in der Implementierung von ETL/ELT-Prozessen sowie Job-Steuerung und –Automatisierung (z.B. mit Jenkins, Oozie)
- Sicherer Umgang mit komplexen Datenstrukturen und Echtzeit-Datenströmen und deren Konsolidierung
- Erfahrung mit Software-Repositories (z.B. Git) und Deployment-Prozessen
Soll-Anforderungen:
- Kenntnisse statistischer Verfahren und Machine Learning Methoden für Predictive Analytics
- Erfahrung mit Prognosesystemen und deren Qualitätssicherung
- Erfahrung mit Dashboarding- und Visualisierungstools und deren Anbindung an ein Cluster
Bei Interesse senden Sie uns bitte Ihr aktuelles Profil (bitte im Word-Format) unter Angabe Ihrer Verfügbarkeit sowie Ihres gewünschten Std.- / bzw. Tagessatzes.
Bitte beachten Sie, dass wir weiterführende Informationen zu dieser Ausschreibung wie bspw. Details zum Standort, dem Endkunden oder Tages- / Stundensätzen nur an bei uns registrierte Berater / Geschäftspartner herausgeben können.
Wenn Sie sich bei uns registrieren möchten, senden Sie uns bitte Ihr Profil (bitte im Word-Format).