Beschreibung
TEX_16299 - Hadoop Berater (f/m) mit ETL & Cloud Know-HowEinsendeschluß: 13.09.2017
Anzahl d. Personen: 1
Branche: Transport & Logistik
Einsatzort: Hessen
Zeitraum: 18.09.2017 - 29.12.2017
Auslastung: 75 PT im o.g. Zeitraum / 5 PT pro Woche
Profilvorgabe: Deutsch
Preisvorgabe: EUR/Std.
Projektbeschreibung/Aufgaben/Rolle:
Die Kundenplattform bietet umfangreiche Dienstleistungen und Produkte im Umfeld Big Data an. Neben umfassenden Beratungsleistungen zu Datenhaltung, Datenintegration, Datenaufbereitung, Datenanalyse und Datennutzung entwickelt die Kundenplattform zusammen mit Kunden für konkrete Big Data-Aufgabenstellungen Prototypen, um die Daten der Kunden nutzbar zu machen. Daneben bietet die das Produkt Plattformleistungen an, die große Datenmengen speichern und verarbeiten können.
Aufgaben:
- Technische Unterstützung beim Aufbau und Betrieb einer Hadoop-Plattform (Horton-works) auf Basis einer Teradata-Appliance und AWS-Services
- Konzeption des Hadoop-Ökosystems
- Beratung von Kundenprojekten im Hadoop-Umfeld
- Beratung von Kundenprojekten zum Einsatz der Hadoop-Plattform
- Installation und Konfiguration des Hadoop-Systems
- Monitoring und Optimierung der Hadoop-Plattform
- Implementierung von Datenintegrationslösungen in Verbindung mit der Hadoop-Plattform, dabei insbesondere:
Talend
Optional: Kylo
- Durchführung von Datenintegrationen in Verbindung mit den Hadoop-Plattformen vom Kunden (Prototyping-Plattform, Teradata-Appliance, AWS-Plattform(Hortonworks))
- Erstellung von ETL-Strecken zur Datenintegration in Hadoop
- Konzeption von Big Data Lösungen auf Basis der Hadoop-Plattform
- Durchführung fachlicher Abstimmungen mit Schnittstellenpartnern (bspw. SAP)
- Aufbau und Konfiguration von Datenbanken und DWH
- Erstellung von techn. Architekturlösungen und Beratung gegenüber dem Kunden
Skills/Hinweise:
Muss-Anforderungen:
- Detaillierte Kenntnisse von Hadoop-Distributionen (z.B. Hortonworks HDP, AWS EMR)
- Praktische Erfahrungen beim Aufbau einer Hadoop-Plattform auf Basis von Cloud-Services
- Vertiefte Kenntnisse im Umfeld von klassischen relationalen und Cloud basierten DWH-Systemen
- Mehrjährige Erfahrung im Umgang mit gängigen Datenbanksystemen (bspw. MySQL, PostgreSQL)
- Erfahrung bei der Implementierung und der Systemintegration von BI Systemen
- Detaillierte Kenntnisse von Datenintegrationslösungen und deren Durchführung mit Talend, Apache Nifi, Apache Kafka und Apache Storm
- Kenntnisse im Aufbau von ETL Prozessen (bspw. Talend,)
- Kenntnisse zum automatisierten Rollout von Hadoop-Knoten für Cloud-Lösungen
- Praktische Erfahrung bei der Implementierung von Datenanalysen auf Basis des Hadoop-Ökosystems (z.B. MapReduce, Spark, Storm)
- Detaillierte Kenntnisse zur Administration eines Hadoop-Ökosystems
- Detaillierte Kenntnisse von Tools zum Datenzugriff in einer Hadoop_Plattform (z.B. Hive, Spark SQL)
- Mehrjährige Projekterfahrung im Hadoop-Umfeld
- Umfangreiches Plattform-Knowhow (Unix, Linux, Windows etc.)
- Praxiserfahrung im Umfeld agiler Projekte sowie im Umgang mit den Methoden agiler Entwicklung
Soll-Anforderungen:
- Praktische Erfahrungen mit NoSQL-Datenbanken im Hadoop-Umfeld (z.B. HBase, Accu-mulo)
- Erfahrungen im Umgang mit personenbezogenen Daten (Erfüllung rechtl. Vorgaben)
Bei Interesse senden Sie uns bitte Ihr aktuelles Profil (bitte im Word-Format) unter Angabe Ihrer Verfügbarkeit sowie Ihres gewünschten Std.- / bzw. Tagessatzes.
Bitte beachten Sie, dass wir weiterführende Informationen zu dieser Ausschreibung wie bspw. Details zum Standort, dem Endkunden oder Tages- / Stundensätzen nur an bei uns registrierte Berater / Geschäftspartner herausgeben können.
Wenn Sie sich bei uns registrieren möchten, senden Sie uns bitte Ihr Profil (bitte im Word-Format).