Beschreibung
Aufgabenbeschreibung:Im Umfeld einer SAP BI on HANA Landschaft wird ein Hadoop-Cluster betrieben, das u.a. die Basis bilden soll für freie Data Mining Analysen auf größeren Datenmengen.
Gleichzeitig ist es aber auch eng verzahnt mit der HANA Datenbank und dient als Auslagerungs-/Archivsystem.
- Entwicklung von Analytic-Applikationen auf dem Hadoop-Cluster
- Optimierung der Performance hoch-selektiver Abfragen
- SQL-on-Hadoop-Konzeptionierung
- (De-)Serialisierung von Data Streams
- RESTful Web-Services
- xml-Messaging;
- Sicherstellung von Hochverfügbarkeit, Ausfallsicherheit und Redundanz im verteilten System
Anforderungen:
Erforderliche Skills:
===============
- Hadoop, speziell HortonWorks, inkl. Spark, Oozie, Ambari sehr gut
- Tool-Erfahrung z.B. mit Flume, Kafka, Avro, NiFi gut
- Impala, Phoenix/Hbase oder Spark SQL gut
Empfohlene Skills:
===============
Performante Datenkompression, File Formate (ORC, Parquet), Hive Metastore etc.; * Lamda-Architektur, Micro-Batching (Storm, Trident oder Flink) gut
Projekterfahrung im erforderlichen Skill: > 6 Monate
4-Tage vor Ort (ca. 32 Wochenstunden)
Projektdaten:
Projekt:14229
Beginn: 01.08.2017
Dauer: 31.10.2017
Haben wir Ihr Interesse geweckt? Wir freuen uns über Ihren Kontakt!