Beschreibung
Sehr geehrte Damen und Herren,wir suchen aktuell für unseren Kunden in Frankfurt am Main Unterstützung für die Inbetriebnahme von Hadoop / Apache Spark (m/w) in einem Projekt für 15 Projekttage mit Verlängerungsoption.
Deadline am 15.07.2015 um 09:00 Uhr
Projekthintergrund - „Hadoop im Marketing“:
Ziel ist es, mithilfe einer vorhandenen Hadoop-Installation die verfügbaren Datenquellen aufbereiten, analysieren, verknüpfen und damit neue Datenprodukte zu schaffen, die bisher aufgrund mangelnder Rechenkapazität und/oder unzureichendem Speicherplatz nicht realisierbar waren.
Aufgaben:
- Überprüfung und ggfs. Verbesserung der aktuellen Konfiguration der Hadoop-Installation
- Überprüfung und ggfs. Verbesserung der Absicherung des Hadoop-Clusters nach außen inklusive der bestehenden Autorisierungs- und Authentifizierungsmechanismen
- Beratung und ggfs. Installation von Kerberos auf Hadoop
- Realisierung eines Remote-Deployments von Spark-Jobs auf dem Hadoop-Cluster
- Vermittlung der Best-Practices in der Anwendung von Spark und MapReduce
- Beratung und Unterstützung bei der Implementation von Komparatoren in MapReduce
- Beratung und Unterstützung bei der Verzahnung von MapReduce mit anderen Hadoop-Subsystemen, etwa Pig, Hive…
- Unterstützung bei der Verzahnung von Storm-Anwendungen mit anderen Hadoop-Subsystemen
- Beratung und Unterstützung bei der Implementation in Ambari Views
Anforderungen:
- Mehrjährige praktische Erfahrung in der Arbeit mit Hadoop
- Praktische Erfahrung im Aufsetzen und Administrieren eines Hadoop-Clusters
- Praktische Erfahrung in der Absicherung eines Hadoop-Clusters gegen unbefugten Zugriff
- Praktische Erfahrung in der Implementation von Spark-Anwendungen
- Praktische Erfahrung in der Implementation von MapReduce-Jobs
- Praktische Erfahrung in der Implementation von Storm-Jobs
- Praktische Erfahrung in der Ergebnisvisualisierung mit Hadoop-Tools, z.B. Ambari Views
Haben Sie eventuell Interesse oder kennen jemanden, für den das Projekt interessant sein könnte? Ich freue mich auf ein Feedback von Ihnen.
Mit besten Grüßen aus Heidelberg
Steffen Marquardt
Teamlead Delivery
Telefon:
Fax:
Questax Heidelberg GmbH | Bergheimer Straße 147 | 69115 Heidelberg | http://www.questax.com
Geschäftsführer: Andreas Nader | Kirby Weber
Registergericht: Amtsgericht Mannheim | HRB 721769