Beschreibung
Liebes Netzwerk,für unseren Kunden in Hannover suchen wir einen Data Engineer (m/w/d).
Aufgaben:
• Definition von Datenanforderungen in Kooperation mit Fachbereichen und Data Scientisten
• Design und Implementierung automatisierter Datenpipelines zur Verarbeitung von strukturierten semi-strukturierten und unstrukturierten Daten
• Implementierung von Strukturen auf vorhandene Daten im Data Lake
• Aufbau von GraphenPonds, relationale Ponds, DocumentPonds und ColoumnPonds
• Design und Implementierung automatisierter Datentagging Routinen
• Mitwirkung bei Entwicklung und Einhaltung der Plattform-Leitlinien und Weiterentwicklung
• Mitwirkung beim Design der Datenablage auf der Plattform
• Produktivsetzung von Analytics Datenpipelines
• Exploration, Cleaning und Formatierung von zuvor beschafften Daten
• Einarbeitung und Coaching interner KollegInnen
Anforderungen:
• Studium der Informatik / Mathematik / Physik oder vgl. Qualifikation
• SQL (z.B. SparkSQL, DB2 SQL, HiveQL)
• Graphdatenbanken(z.B. Neo 4j, GraphX)
• Big-Data Ökosysteme(u.a. Cloudera HDP/HDF, Hadoop, Spark)
• Big-Data Warehouses(u.a. Hive)
• Data Storage Formate( u.a. Parquet, ORC)
• Event Streaming Technologien ( u.a. Kafka, Spark Streaming)
• Spezialisierung im Bereich Data Engineering oder Datenbanken oder vgl. Qualifikation von Vorteil
• Verständnis für Daten und Datenstrukturen
• Basiswissen im Bereich Machine Learning
• Sicherer Umgang in Microservices und REST unter Nutzung von Frameworks
• Sicherer Umgang mit dem Bau von Datenpipelines
• Sicherer Umgang Scheduling von Datenpipelines, Big Data Technologien, Git-basierter Versionierungssoftware und objektorientieren Programmiersprachen (z.B. Python)
Bewerbungsfrist: 21.06.2021
Start: Juli 2021
Dauer: 6 MM++
Ort: Hannover / Remote
Projekt: #5780
Projektlink: https://www.constaff.com/projektangebote/?positionID=5780
Haben Sie Zeit und Interesse an einem spannenden Projekt
Dann freuen wir uns auf Ihre Kontaktaufnahme!
Florian Thome
Recruiting Manager
_______________________
Hier finden Sie unsere Projektangebote:
Here you can find our project offers:
https://www.constaff.com/projektangebote
_______________________
Constaff GmbH - 100%OpenBook. Ehrlich. Kompetent. Transparent.
Langer Anger 3-5
D - 69115 Heidelberg
Tel.:
Fax:
E-Mail:
www.constaff.com