Beschreibung
Projekt ID: 8682Hadoop-Entwickler (HortonWorks) (ERP Systems Services)
Projektbeschreibung
Im Umfeld einer SAP BI on HANA Landschaft wird ein
Hadoop-Cluster betrieben, das u.a. die Basis bilden
soll für freie Data Mining Analysen auf größeren
Datenmengen. Gleichzeitig ist es aber auch eng
verzahnt mit der HANA Datenbank und dient als
Auslagerungs-/Archivsystem.
Genaue Aufgabenbeschreibung
Hadoop-Entwickler (HortonWorks)
Entwicklung von Analytic-Applikationen auf dem
Hadoop-Cluster, Optimierung der Performance hoch-
selektiver Abfragen, SQL-on-Hadoop-Konzeptionierung,
(De-)Serialisierung von Data Streams, RESTful Web-
Services, xml-Messaging; Sicherstellung von
Hochverfügbarkeit, Ausfallsicherheit und Redundanz im
verteilten System
Benötigte Kenntnisse – Hadoop, speziell Hortonworks, inkl. Spark, Oozie,
Ambari sehr gut – Tool-Erfahrung z.B. mit Flume, Kafka, Avro, NiFi
gut – Impala, Phoenix/Hbase oder Spark SQL gut
Empfohlene Skills:
===========
Performante Datenkompression, File Formate (ORC,
Parquet), Hive Metastore etc.; * Lamda-
Architektur, Micro-Batching (Storm, Trident oder
Flink) gut
Projekterfahrung im erforderlichen Skill: > 6 Monate
Bitte senden Sie uns Ihre Bewerbung an