Beschreibung
Aufgaben- Technische Unterstützung beim Aufbau einer Hadoop-Plattform (Hortonworks) auf Basis einer Teradata-Appliance und AWS-Services
- Konzeption des Hadoop-Ökosystems
- Beratung von Kundenprojekten im Hadoop-Umfeld
- Beratung von Kundenprojekten zum Einsatz der Hadoop-Plattform
- Installation und Konfiguration des Hadoop-Systems
- Umsetzung von Mandantenfähigkeit und Security-Anforderungen, besonders:
o Apache Knox
o Anbindung der Appliance an das BKU-AD
o Apache Ranger
- Monitoring und Optimierung der Hadoop-Plattform
- Implementierung von Datenintegrationslösungen in Verbindung mit der Hadoop-Plattform
- Durchführung von Datenintegrationen in Verbindung mit den Hadoop-Plattformen von ZERO.ONE.DATA (Prototyping-Plattform, Teradata- Appliance, AWS-Plattform(Hortonworks))
- Konzeption von Big Data Lösungen auf Basis der Hadoop-Plattform
Anforderungen
Muss-Anforderungen:
- Detaillierte Kenntnisse von Hadoop-Distributionen (z.B. Hortonworks HDP, AWS EMR)
- Praktische Erfahrungen beim Aufbau einer Hadoop-Plattform auf Basis von Cloud-Services
- Kenntnisse zum automatisierten Rollout von Hadoop-Knoten
Soll-Anforderungen:
- Kenntnisse bei der Implementierung von ETL-Jobs mit Talend Open Studio
- Praktische Erfahrungen mit NoSQL-Datenbanken im Hadoop-Umfeld (z.B. HBase, Accumulo)