TEX_18667 - Data Engineer (f/m) Aufbau Datalake

Hessen  ‐ Vor Ort
Dieses Projekt ist archiviert und leider nicht (mehr) aktiv.
Sie finden vakante Projekte hier in unserer Projektbörse.

Beschreibung

Einsendeschluss: 05.10.2018
Anzahl d. Personen: 1
Branche: Transport und Logistik
Einsatzort: Hessen
Zeitraum: 08.10.2018 - 22.02.2019
Auslastung: 100PT im o.g. Zeitraum/ 5PT die Woche
Profilvorgabe: Deutsch
Preisvorgabe: EUR/Tag.

Beschreibung:
- Diese Plattform erlaubt die performante Sammlung, Anreicherung, Verknüpfung, Veredelung und Auswertung von Daten aus verschiedensten Quellen und eröffnet umfassende Verbesserungspotentiale für die Datennutzung in allen Bereichen.
- Mit dieser Plattform wird die Grundlage für Big-Data-Analysen und Data Science geschaffen, wodurch wertvolle Erkenntnisgewinne oder auch neue Geschäftsmodelle entstehen können.
- Insbesondere sollen auch IoT-Themen wie Aufnahme von Sensordaten und deren Nahzeit-Auswertung sowie Analysen und Prognosen auf der Plattform umgesetzt werden.
- Die Plattform wird auf Basis kosteneffizienter aktueller Standard Technologien sowie Architekturen umgesetzt und ist bedarfsgerecht erweiterbar und beliebig skalierbar.

Aufgaben:
- Konzeption, Design und Implementierung
o der Übertragung von strukturierten und unstrukturierten Daten aus unterschiedlichen Quellen in die IoT und / oder Data Lake Plattform
o der Datenübertragung zwischen IoT-Plattform und Data Lake
o der Datenaufbereitung innerhalb der Data Lake Plattform
o der Bereitstellung der Daten über Exporte oder Visualisierungen
- Konzeption, Design und Implementierung von ETL-Prozessen zwischen den Systemen und der IoT- und Data Lake Plattform sowie zwischen den Komponenten / Zonen / Stages der Plattform.
- Monitoring der Datenlieferung in und aus dem Data Lake bzw. IoT-Cloud
- Monitoring, Prüfung und Sicherstellung der Datenqualität
- Beratung der Nutzer beim Datenzugriff auf die Plattform durch die Reporting und Analytics Tools
- Hilfestellung in den Fachbereichen bei der Entwicklung und Umsetzung von Use Cases zu Reporting und Analytics; diese beinhalten Datenbeschaffung, Datenkonsolidierung, Datenanalyse und Datenvisualisierung
- Umsetzung kleinerer Use Cases und Anforderungen für die Nutzer / Fachbereiche
- Dokumentation der Datenflüsse und Metadaten im Datenkatalog
- Weiterentwicklung und Umsetzung der übergreifenden Regelungen zum Datenmanagement

Muss-Anforderungen:
- Praxiserprobte Fähigkeiten in Big-Data (auf HortonWorks Plattform) und IoT-Projekten
- Erfahrung in der Datenintegration und Konsolidierung mit ETL Tools wie Nifi, Talend und Alteryx
- Erfahrung im Umgang mit Data Lake Technologien wie Hive, Spark, Python
- Erfahrung in der Datenaufbereitung mit Splunk, Tableau und Qlik
- Gute kommunikative Fähigkeiten zur Vermittlung zwischen IT- und Non-IT- Umfeld
- Erfahrungen in der Anwenderunterstützung und fachlichen Betriebsführung
- Erfahrungen in Bereichsübergreifenden Projekten mit heterogenen und übergreifenden Anforderungen

Soll-Anforderungen:
- Kenntnisse in der Datenanalyse, beispielsweise mit R oder Python
- Kenntnisse der Datenlandschaft des Personenverkehrs
- Erfahrungen im Metadatenmanagement

Bei Interesse senden Sie uns bitte Ihr aktuelles Profil (bitte im Word-Format) unter Angabe Ihrer Verfügbarkeit sowie Ihres gewünschten Std.- / bzw. Tagessatzes.

Bitte beachten Sie, dass wir weiterführende Informationen zu dieser Ausschreibung wie bspw. Details zum Standort, dem Endkunden oder Tages- / Stundensätzen nur an bei uns registrierte Berater / Geschäftspartner herausgeben können.

Wenn Sie sich bei uns registrieren möchten, senden Sie uns bitte Ihr Profil (bitte im Word-Format).
Start
10.2018
Dauer
4 Monate
Von
SEVEN PRINCIPLES AG
Eingestellt
01.10.2018
Ansprechpartner:
Lena Hente
Projekt-ID:
1641464
Vertragsart
Freiberuflich
Um sich auf dieses Projekt zu bewerben müssen Sie sich einloggen.
Registrieren