Beschreibung
Wir sind durch unseren Kunden aufgefordert, ein Angebot für den Einsatz eines Software Architekten (m/w) zur Unterstützung des Projektes "PXR Reisendeninformation 2017" (Umfang 7 PT // 1 Tag vor Ort pro Woche) abzugeben.PROJEKTZIELE:
Das Projekt beabsichtigt mit einem Budget von ca. 150 Mio EUR in einer Laufzeit von 4 Jahren die Umgestaltung der Reisendeninformation / des Reisendeninformationssystems im Personenverkehr mit den Schwerpunkten
- Lösungsorientiert
- Individuell
- Multimodal
Ein wesentliches Element des Projekts ist die Verbesserung der Prognosen in der Reisendeninformation (z.B. die Prognosen für die Fahrtzeit von Zügen oder zur Auslastung von Zügen). Um dies zu erreichen, wird auf den Einsatz von Big Data Technologien und Methoden gesetzt.
In 2015 wurde eine europaweite Ausschreibung gestartet, um einen Technologiepartner für die Einführung eines neuen Prognoseverfahrens zu finden. Nach erfolgreichem Abschluss der Ausschreibung wurde ab Juli 2016 mit der Entwicklung begonnen.
Um die Qualität der gelieferten Prognosen des Technologiepartners kontinuierlich zu sichern, wurde ein Monitoring-System aufgebaut. Zudem wird intern im Projekt PXR ein eigenes Prognosemodell aufgesetzt, mit dem als Benchmark eine Qualitätsvorgabe für den Partner erstellt wird. Basis für beide Teilprojekte ist ein Hadoop-Cluster (Hortonworks Data Platform), das in der AWS Cloud läuft. Das aktuell betriebene Cluster soll durch eine neuere HDP-Version ersetzt werden. Für die technische Optimierung der neuen Plattform wird ein erfahrener Architekt gesucht.
AUFGABEN:
Architektur-Beratung im o.g. Projektkontext
• Beratung des Auftraggebers zur technischen Architektur(strategie) der IT-Systeme im Themenumfeld sowie deren Weiterentwicklung und Aufzeigen von Verbesserungsmöglichkeiten der bestehenden technischen Architektur
• Durchführung des Risikomanagements durch Bewertung und Dokumentation von technischen Risiken, Ableiten von und Beraten zu Handlungsoptionen zur Risikobeseitigung oder -minimierung
• Beratung bei der Umsetzung der technischen Architektur in der Softwareentwicklung
• Optimierung des neuen Hadoop-Clusters (Basis HDP 2.6), insb. des Zusammenspiels von Yarn, Spark, Hive/Tez unter Ressourcengesichtspunkten und verschiedenen Lastprofilen
• Konfiguration des Hadoop-Clusters (Ambari, Einzelkonfigurationen)
• Beseitigung von (Konfigurations-) Fehlern, die die Nutzbarkeit des Clusters einschränken
• Erarbeitung von Best Practices zum Betrieb und Monitoring des Clusters
• Beratung zum Potential neuerer Komponenten von HDP (Zeppelin, Atlas, Druid etc.)
• Entwicklung einer Autoscaling-Funktionalität für das Cluster (z.B. skriptgesteuert)
• Installation von HUE und dessen Anbindung an das Cluster (aktuelle Version)
• Beratung zur Anbindung des Hadoop-Clusters an den ELK-Stack
• Wissensaustausch mit den Entwicklern und Data Scientists
Definition technischer Anforderungen im o.g. Projektkontext
• Erarbeitung der technischen Architektur anhand der Anforderungen, Abstimmung und Überwachung von deren Realisierung im Projekt (Qualitätssicherung)
• Analyse fachlicher Anforderungen an die IT-Systeme sowie Ableiten, Erarbeiten und Entwickeln von technischen Umsetzungsmöglichkeiten
• Erstellung technischer Architekturkonzepte für IT-Systeme im Projektkontext (wie Datenbankdesign, Komponentenspezifikationen, technische Schnittstellen- und Servicebeschreibungen) gemäß der Standards und Referenzarchitekturen des Auftraggebers
• Ermittlung nicht-funktionaler Anforderungen, Dokumentation, Abstimmung und Überwachung von deren Realisierung im Projekt (Qualitätssicherung)
• Definition von Anforderungen an die Hard- und Software-Ausstattung und Optimierung des Ressourceneinsatzes
ANFORDERUNGEN:
• Mehrjährige Erfahrung mit Hadoop-Distributionen (insb. HDP, Ambari, Yarn, Spark, Hive/Tez, HDFS, Hue), idealerweise mit Zertifizierung
Im Erfolgsfall kann ein All-in-Stundensatz von 79 € realisiert werden. Bitte senden Sie bei Interesse Ihr Profil an