Beschreibung
Data Engineering/Big Data EngineeringGesucht wird ein Data Engineer als Unterstützung in einem Projekt zur Weiterentwicklung eines Verfahrens für Targeted Advertising.
Das Projekt hat auf einem Horton Works Stack begonnen und wurde bereits in ersten Teilen für die Kollegen des Data Science Teams freigegeben, sodass es in den nächsten Monaten fertig gestellt werden sollte.
Ihre Aufgaben:
• Betreuung und Weiterentwicklung unserer Big Data-Plattform und Tracking-Lösung auf Basis von Hadoop
• Implementierung von skalierbaren Big Data-Lösungen im Bereich Data Driven Decisions sowie Data Science Projekten
• Entwicklung von APIs und Schnittstellen für interne und externe Informationssysteme
• Design und Realisierung skalierbarer (auch schemafreier) Datenstrukturen im NoSQL Umfeld mit den Schwerpunkten Column- und Document-Stores
• Umsetzung automatisierter Prozesse für Data Ingestion und Data Integration
• Etablieren und Gewährleisten von Standards, Qualität und Stabilität entlang der gesamten Prozesskette
Anforderungen:
• Erfahrung in der Entwicklung mit den Technologien Hadoop und HDFS, Spark, Hive, HBase oder MapReduce
• Idealerweise weitere Kenntnisse mit Technologien wie ElasticSearch und MongoDB
• Umfangreiche Erfahrungen in mindestens einer Programmier- und Skriptsprachen wie C#, Java oder Python
• Umfassende Kenntnisse über eine oder mehrere ETL-Technologien
• Kenntnisse in Tools zur Verarbeitung von Datenströmen wie Apache Kafka, NiFi
• Sichere Sprachkenntnisse in Deutsch und gute Englischkenntnisse
Rahmenbedingungen:
• Ort: Köln-Zentrum, vor Ort
• Art: Vollzeit
• Start: sofort
• Dauer: 6 Monate, mit möglicher Verlängerung