Beschreibung
Hadoop-Entwickler (HortonWorks) (ERP Systems Services)Projektbeschreibung
Im Umfeld einer SAP BI on HANA Landschaft wird ein Hadoop-Cluster betrieben, das u.a. die Basis bilden
soll für freie Data Mining Analysen auf größeren Datenmengen. Gleichzeitig ist es aber auch eng verzahnt
mit der HANA Datenbank und dient als Auslagerungs-/Archivsystem.
Genaue Aufgabenbeschreibung:
- Entwicklung von Analytic-Applikationen auf dem Hadoop-Cluster
- Optimierung der Performance hochselektiver Abfragen
- SQL-on-Hadoop-Konzeptionierung
- (De-)Serialisierung von Data Streams
- RESTful Web-Services
- xml-Messaging
- Sicherstellung von Hochverfügbarkeit, Ausfallsicherheit und Redundanz im verteilten System
Benötigte Kenntnisse
- Hadoop, speziell Hortonworks, inkl. Spark, Oozie, Ambari sehr gut
- Tool-Erfahrung z.B. mit Flume, Kafka, Avro, NiFi gut
- Impala, Phoenix/Hbase oder Spark SQL gut
Empfohlene Skills:
===============
Performante Datenkompression, File Formate (ORC,
Parquet), Hive Metastore etc.; *
Lamda-Architektur, Micro-Batching (Storm, Trident oder Flink) gut
Projekterfahrung im erforderlichen Skill: > 6 Monate
Anforderung:
Apache Hadoop ++++ (excellent), > 4 yrs.
Projektstart: 12.06.2017
Projektende: 11.08.2017
Auslastung: Fulltime (300 Stunden)
Leistungsort: GR Dortmund / Essen