Beschreibung
TätigkeitenbeschreibungFür unseren Kunden in Köln suchen wir ab sofort einen Data Engineer (m/w/d).
Aufgabe:
* Betreuung und Weiterentwicklung einer Big Data Plattform und Tracking-Lösung auf Basis von Hadoop
* Implementierung von skalierbaren Big Data-Lösungen im Bereich Data Driven Decisions sowie Data Science Projekten
* Entwicklung von APIs und Schnittstellen für interne und externe Informationssysteme
* Design und Realisierung skalierbarer Datenstrukturen im NoSQL Umfeld
* Umsetzung automatisierter Prozesse für Data Ingestion und Data Integration
* Etablieren und Gewährleisten von Standards, Qualität und Stabilität entlang der gesamten Prozesskette
Für diese Aufgabenstellung sollten Sie über die folgenden Kenntnisse und Erfahrungen verfügen:
* Mindestens 2 Jahre Erfahrung in der Entwicklung mit der Technologie Hadoop
* Kenntnisse in Spark und Hive
* Erfahrung mit Technologien wie z.B. HDFS, HBase oder MapReduce
* Umfassende Kenntnisse über eine oder mehrere ETL-Technologien
* Kenntnisse in Tools zur Verarbeitung von Datenströmen (z.B. Apache Kafka, NiFi, Airflow)
* Idealerweise abgeschlossenes Studium im Bereich Informatik oder Mathematik
* Idealerweise Kenntnisse in ElasticSearch und MongoDB
* Idealerweise Kenntnisse in einer oder mehrerer Programmier- und Skriptsprachen (Java, C#, Python o.ä.)
* Idealerweise Erfahrung mit agilen Projektmethoden wie Scrum
* Lösungsorientierte und kommunikative Persönlichkeit mit Spaß an interdisziplinärer Zusammenarbeit
* Strukturierte und analytische Arbeitsweise
* Gute Deutsch- und Englischkenntnisse in Wort und Schrift
Fähigkeiten (Must have)
Deutsch, Englisch, Hadoop, Hive, Spark