Beschreibung
TEX_18454 - Data Engineer (f/m) Aufbau DatalakeEinsendeschluß: 29.08.2018
Anzahl d. Personen: 1
Branche: Transport und Logistik
Einsatzort: Frankfurt/Main
Zeitraum: 03.09.18 - 01.02.19
Auslastung: 110PT im o.g. Zeitraum
Profilvorgabe: Deutsch
Preisvorgabe: EUR/Tag.
Projektbeschreibung/Aufgaben/Rolle:
Gesucht wird ein Data Engineer zum Aufbau eines Data Lakes
Diese Plattform erlaubt die performante Sammlung, Anreicherung, Verknüpfung, Veredelung und Auswertung von Daten aus verschiedensten Quellen und eröffnet umfassende Verbesserungspotentiale für die Datennutzung in allen Bereichen des Fernverkehrs.
Mit dieser Plattform wird die Grundlage für Big-Data-Analysen und Data Science im Fernverkehr geschaffen, wodurch wertvolle Erkenntnisgewinne oder auch neue Geschäftsmodelle entstehen können.
Insbesondere sollen auch IoT-Themen wie Aufnahme von Sensordaten und deren Nahzeit-Auswertung sowie Analysen und Prognosen auf der Plattform umgesetzt werden.
Die Plattform wird auf Basis kosteneffizienter aktueller Standard Technologien sowie Architekturen umgesetzt und ist bedarfsgerecht erweiterbar und beliebig skalierbar.
Aufgabe:
Konzeption, Design und Implementierung
- der Übertragung von strukturierten und unstrukturierten Daten aus unterschiedlichen Quellen
in die IoT und / oder Data Lake Plattform
- der Datenübertragung zwischen IoT-Plattform und Data Lake
- der Datenaufbereitung innerhalb der Data Lake Plattform
- der Bereitstellung der Daten über Exporte oder Visualisierungen
Konzeption, Design und Implementierung von ETL-Prozessen zwischen den Systemen und der IoT- und Data Lake Plattform sowie zwischen den Komponenten / Zonen / Stages der Plattform.
Monitoring der Datenlieferung in und aus dem Data Lake bzw. IoT-Cloud
Monitoring, Prüfung und Sicherstellung der Datenqualität
Beratung der Nutzer beim Datenzugriff auf die Plattform durch die Reporting und Analytics Tools
Hilfestellung für die Fachbereiche bei der Entwicklung und Umsetzung von Use Cases zu Reporting und Analytics; diese beinhalten Datenbeschaffung, Datenkonsolidierung, Datenanalyse und Datenvisualisierung
Umsetzung kleinerer Use Cases und Anforderungen für die Nutzer / Fachbereiche
Dokumentation der Datenflüsse und Metadaten im Datenkatalog
Weiterentwicklung und Umsetzung der übergreifenden Regelungen zum Datenmanagement
Muss-Anforderungen:
Praxiserprobte Fähigkeiten in Big-Data (auf HortonWorks Plattform) und IoT-Projekten
Erfahrung in der Datenintegration und Konsolidierung mit ETL Tools wie Nifi, Talend und Alteryx
Erfahrung im Umgang mit Data Lake Technologien wie Hive, Spark, Python
Erfahrung in der Datenaufbereitung mit Splunk, Tableau und Qlik
Gute kommunikative Fähigkeiten zur Vermittlung zwischen IT- und Non-IT- Umfeld
Erfahrungen in der Anwenderunterstützung und fachlichen Betriebsführung
Erfahrungen in Bereichsübergreifenden Projekten mit heterogenen und übergreifenden Anforderungen
Soll-Anforderungen:
Kenntnisse in der Datenanalyse, beispielsweise mit R oder Python
Kenntnisse der Datenlandschaft des Personenverkehrs
Erfahrungen im Metadatenmanagement
Bei Interesse senden Sie uns bitte Ihr aktuelles Profil (bitte im Word-Format) unter Angabe Ihrer Verfügbarkeit sowie Ihres gewünschten Std.- / bzw. Tagessatzes.
Bitte beachten Sie, dass wir weiterführende Informationen zu dieser Ausschreibung wie bspw. Details zum Standort, dem Endkunden oder Tages- / Stundensätzen nur an bei uns registrierte Berater / Geschäftspartner herausgeben können.
Wenn Sie sich bei uns registrieren möchten, senden Sie uns bitte Ihr Profil (bitte im Word-Format)