Big Data Engineer (m/w) für unseren direkten Endkunden

Hamburg, Hamburg  ‐ Vor Ort
Dieses Projekt ist archiviert und leider nicht (mehr) aktiv.
Sie finden vakante Projekte hier in unserer Projektbörse.

Beschreibung

Aufgaben:

Der eingesetzte Berater soll im Team Projektaufgaben im Interesse des Ventures IoT/M2M übernehmen und vorantreiben können.
Hierfür sind umfangreiche praktische Erfahrung mit Amazon Web Services und deren Anwendung im Unternehmenskontext erforderlich. Dazu sollten mehrere der folgenden Themen abgedeckt werden.
Als besonderer Schwerpunkt wird der Aufbau eines Datenmagementplattform in der Cloud innerhalb eines AWS Accounts sein.
Dafür ist besonderes Wissen im voll automatisierten Aufbau von AWS EMR, Elastic Search, Data Catalog, Data Partitioning, S3 Parquet, Hive und R erforderlich.
Anfangs werden die Daten in ihrem Rohformat aufgenommen, dass die unveränderliche Kopie der Daten darstellt. Die Daten werden dann transformiert und angereichert, um sie für jeden Anwendungsfall wertvoller zu machen. In diesem Beispiel werden die rohen CSV-Dateien in Apache Parquet umgewandelt, um z. B. von Amazon Athena verwendet zu werden. Darüber hinaus ist es das Ziel dynamisch EMR Services aufzubauen und mit Daten zu versorgen und anschließende Analyseergebnisse wieder in die Datenstruktur einzufügen.


Anforderungen:

• Kenntnis der eingesetzten Software-Plattform: AWS Cloud Expertise, Datalake Expertise
• Kenntnis in den Bereichen DataLake und DataManagement
• Integration in ein schlagkräftiges Team
• Know-how zu Kunden- / Serviceorientierung
• Problemlösungs-/ Arbeitsorganisations-Know-how
• Nach gemeinsamer Teamfestlegung müssen die anstehenden Aufgaben schnell und effektiv mit selbständigen Beitrag umgesetzt werden.
• Lösungsorientiert, fachlich kompetent, effektiv
• Langjährige AWS Expertise
• Praktische Erfahrung in der Umsetzung von Datalakekonzepten in AWS


Start & Dauer:
Ende April bis Ende Oktober 2018
Start
04.2018
Dauer
6 Monate
(Verlängerung möglich)
Von
SPS Consulting & Services GmbH
Eingestellt
23.04.2018
Ansprechpartner:
Ulrich Wenzel
Projekt-ID:
1543150
Vertragsart
Freiberuflich
Um sich auf dieses Projekt zu bewerben müssen Sie sich einloggen.
Registrieren