Beschreibung
TätigkeitenbeschreibungFür unseren Kunden in Kunden in Köln (aktuell Remote) suchen wir ab sofort einen Big Data Engineer (m/w/d) für die voraussichtliche Dauer von 12 Monaten.
Auslastung: 2 Tage/ Woche ggf. Anpassung nach einigen Wochen/ Monaten
Thema:
Weiterentwicklung Big Data Lake Umgebung in Microsoft Azure als Nachfolger für internen Mitarbeiter
Weiter-Entwicklung eines Konzepts für ein konzernweites Big Data Lake und deren Umsetzung zusammen mit einem Data Scientist und der Infrastruktur Abteilung (aktuelle Lösung: Databricks, Azure Gen2 Data Lake)
Systembetreuung (inkl. Kostenmonitoring)
Beispielprojekte
Fotodokumentation vor Auslieferung
in der Produktion wird am Bandende der Motor von ~10 hochauflösenden Kameras fotografiert. Diese Fotos werden von den Systemen des Shopfloors an MS Azure gegeben und sollen im Data Lake gespeichert werden (--> Datenanbindung und -speicherung)
Die Fotos sollen bereits so gespeichert werden, dass eine zukünftige Bilderkennung möglich ist. Ab ~Q2/Q3 Unterstützung des Data Scientists bei der Bilderkennung durch Datenbereitstellung, -aufbereitung und Training
Unterstützung des Data Scientists bei der explorativen Analyse sowie zukünftigen Algorithmenentwicklung durch Datenbereitstellung, -aufbereitung und Training
Profil
IT-Senior Consultant mit 8+ Jahren Erfahrung in der End-to-End Beratung und Entwicklung von Big Data Architekturen
im besten Fall bereits gute Erfahrung in Microsoft Azure (insb. Databricks, Gen2 Data Lake, IoT Anwendungen)
sehr gute SQL Kenntnisse und gute Kenntnisse anderer NoSQL DBS (z.B. Zeitreihendatenbanken)
sehr gute Kenntnisse in Python
im besten Fall gute Kenntnisse in einer Frontend Programmiersprache (z.B. SAP/ Open UI5 und/oder Laravel)
Erfahrung in der Leitung von Projekten
Reicher Erfahrungsschatz und ein tiefes Verständnis der aktuellen Big Data und/oder IoT Landschaft (z.B. MQTT)
Gute Kenntnisse in Technologien zur Data Ingestion sowohl in der Batch wie auch in der Streaming Verarbeitung/ Echtzeitverarbeitung von Daten
Kenntnisse in DWH-Umfeld (z.B. SAP Business Warehouse) sind von Vorteil
Kenntnisse in der Cloud Infrastruktur zur besseren Kommunikation mit den internen Netzwerk/ Security Kollegen (Cloud Security, Netzwerk, Server Betriebssysteme)