Beschreibung
Eine führendes internationales Telekom-Unternehmen in Köln sucht derzeit einen erfahrenen Big Data Engineer.Um sich für die Rolle zu qualifizieren, mussen Sie folgende Kenntnisse haben:
• Mindestens 4 Jahre relevante Devops und Daten wrangling Erfahrung in einer Big Data umgebung
• Erfahrung in großen Daten Hadoop Ökosystem: (mit einigen der Bestandteil des Hadoop Ökosystems)
• Speicher: HDFS, MongoDB, PostgreSQL, T HBase, Cassandra
• Werkzeuge: Kafka, Mesos, Docker, Funken, Bienenstock, YARN, ...
• Programmierung Kenntnisse in Scala, Python ist ein Plus
• Ausgezeichnete Kenntnisse der Linux-Umgebung
• Kenntnisse der kontinuierlichen Entwicklungs- / Integrations-Pipelines einschließlich Regeln zum Testen / Validieren von Code (git, Jenkins, Test Framework)
Aufgaben & Verantwortlichkeiten:
• Datenpipelines beginnend mit RDBMS mit Event-Capture, Transfer in KAFKA-Broker, Konsumieren der Ereignisse aus dem Cluster mit Spark, Spark-Streaming, Erzeugen von Metadatatabellen auf Hive-Metastore und Generierung von Datenmärkten, die auf Solr, HBase, Impala ausgesetzt werden.
• CDC und Stream Verarbeitung im Hadoop Stack
Englisch oder Deutsch sprechend.
Startdatum: Monate++)