Beschreibung
Für unseren Kunden in Frankfurt sind wir auf der Suche nach einem erfahrenen Big Data Engineer (m/w).Folgendes zählt zu Ihren Aufgaben:
Leistungen:
- Konzeption und Umsetzung von Datenmodellen im Big Data Umfeld
- Aufbau einer Datenstruktur im Data-Lake inkl. Aufbau eines Datenkataloges für die nachhaltige Weiterentwicklung der Analytics- und Reportlandschaft
- Integration von weiteren Daten in vorhandene Strukturen im Data Lake
- Zusammenführung von Daten aus unterschiedlichen Datenstrukturen und Herkunftssystemen
- Integration von strukturierten und unstrukturierten Daten
- Datenintegration im Zusammenspiel mit den Datenschutzanforderungen
- Beratung bei der Aufsetzung des Data Governance Prozesses beim Kunden für unterschiedliche Data Lake Instanzen
- Performance-Tuning im HDFS
- Erarbeitung und Operationalisierung eines Deploymentprozesses für Modelle
- Aufbereitung der Daten im Data Lake für Reportingtools Tableau und Qlik Sense
- Coaching der Kunden
- In der Zusammenarbeit auf Teamebene erfolgt die Umsetzung auf Basis von agilen Vorgehensweisen wie z.B. SCRUM, die Einhaltung der SCRUM Prozesse im SCRUM Team ist zu berücksichtigen und ein regelmäßiger Austausch mit dem SCRUM Master/ SCRUM Team ist erforderlich.
- Die externe Fachkraft übernimmt im Rahmen ihrer Beauftragung Aufgaben im Team gemäß der agilen Methoden durch Pull von Tasks, die aus User Stories resultieren, gemäß ihrer Kompetenzen und in Abstimmung mit dem gesamten Umsetzungsteam
- Die externe Fachkraft nimmt an allen fachbezogenen Arbeitssitzungen des Teams inkl. der Retrospektiven teil
Kenntnisse:
Muss-Anforderungen:
- Datenstrukturierung im Big Data Umfeld
- Problemlösungs-/ Arbeitsorga-nisations-Know-how
- Agile Methoden (Scrum / Kanban)
- Kenntnisse Big Data / Analy-tics / Reporting allgemein
- Hive, Spark, Hadoop, Scala, HDFS, Docker, Kafka
- Data Governance Beratung / Prozesse
- Fließend deutsch
Sonstiges:
- Remote möglich, min. 3 Tage vor Ort bzw. nach Abstimmung