Beschreibung
Für unseren Kunden am Standort Frankfurt/Main suchen wir einen Support (m/w) Inbetriebnahme Hadoop.
Projektbeschreibung
Projekt: „Hadoop im Marketing“
Mithilfe einer vorhandenen Hadoopinstallation die verfügbaren Datenquellen aufbereiten, analysieren, verknüpfen und damit neue Datenprodukte zu schaffen, die bisher aufgrund mangelnder Rechenkapazität und/oder unzureichendem Speicherplatz nicht realisierbar waren.
Aufgaben
- Überprüfung und ggfs. Verbesserung der aktuellen Konfiguration der Hadoop-Installation
- Überprüfung und ggfs. Verbesserung der Absicherung des Hadoop-Clusters nach außen inklusive der bestehenden Autorisierungs- und Authentifizierungsmechanismen
- Beratung und ggfs. Installation von Kerberos auf Hadoop
- Realisierung eines Remote-Deployments von Spark-Jobs auf dem Hadoop-Cluster
- Vermittelung der Best-Practices in der Anwendung von Spark und MapReduce
- Beratung und Unterstützung bei der Implementation von Komparatoren in MapReduce
- Beratung und Unterstützung bei der Verzahnung von MapReduce mit anderen Hadoop-Subsystemen, etwa Pig, Hive…
- Unterstützung bei der Verzahnung von Storm-Anwendungen mit anderen Hadoop-Subsystemen
- Beratung und Unterstützung bei der Implementation in Ambari Views
Anforderungen
- Mehrjährige praktische Erfahrung in der Arbeit mit Hadoop
- Praktische Erfahrung im Aufsetzen und Administrieren eines Hadoop-Clusters
- Praktische Erfahrung in der Absicherung eines Hadoop-Clusters gegen unbefugten Zugriff
- Praktische Erfahrung in der Implementation von Spark-Anwendungen
- Praktische Erfahrung in der Implementation von MapReduce-Jobs
- Praktische Erfahrung in der Implementation von Storm-Jobs
- Praktische Erfahrung in der Ergebnisvisualisierung mit Hadoop-Tools, z.B. Ambari Views