Hadoop-Entwickler (HortonWorks)

Beschreibung

Hadoop-Entwickler (HortonWorks) (ERP Systems Services)

Projektbeschreibung

Im Umfeld einer SAP BI on HANA Landschaft wird ein

Hadoop-Cluster betrieben, das u.a. die Basis bilden

soll für freie Data Mining Analysen auf größeren

Datenmengen. Gleichzeitig ist es aber auch eng

verzahnt mit der HANA Datenbank und dient als

Auslagerungs-/Archivsystem.

Genaue Aufgabenbeschreibung

Hadoop-Entwickler (HortonWorks)

Entwicklung von Analytic-Applikationen auf dem

Hadoop-Cluster, Optimierung der Performance hoch-

selektiver Abfragen, SQL-on-Hadoop-Konzeptionierung,

(De-)Serialisierung von Data Streams, RESTful Web-

Services, xml-Messaging; Sicherstellung von

Hochverfügbarkeit, Ausfallsicherheit und Redundanz im

verteilten System

Benötigte Kenntnisse – Hadoop, speziell Hortonworks, inkl. Spark, Oozie,

Ambari sehr gut – Tool-Erfahrung z.B. mit Flume, Kafka, Avro, NiFi

gut – Impala, Phoenix/Hbase oder Spark SQL gut

Empfohlene Skills:

===========

Performante Datenkompression, File Formate (ORC,

Parquet), Hive Metastore etc.; * Lamda-

Architektur, Micro-Batching (Storm, Trident oder

Flink) gut

Projekterfahrung im erforderlichen Skill: > 6 Monate

Bitte senden Sie uns Ihre Bewerbung an