Beschreibung
Big Data / ETL Experte (m/w)Wir sind IT-Dienstleister für Projekte, Expertenleasing sowie Personalvermittlung und mit rund 600 angestellten Mitarbeitern für namhafte Unternehmen tätig.
Für ein Projekt bei einem unserer Kunden in Hamburg suchen wir einen Big Data / ETL Experten (m/w).
Aufgabenbeschreibung:
Im Bereich Big Data der Abteilung Data Integration & Real Time konzeptionieren wir u.a. ETL bzw. ELT Prozesse im Hadoop-Ecosystem.Es geht insbesondere um die Integration der konventionellen DWH Technologie auf der Teradata mit der Big Data Welt primär auf Hadoop.
Anforderungen:
Generelle Skills
- nachgewiesene Erfahrung in der Konzeption und Umsetzung von Big Data Projekten
- tiefgehende Erfahrung in der Konzeption von BI/DWH-Architekturen
- Tiefgehende Datenmodellierungs-Erfahrung und Fähigkeit, Informations-Architekturen zu konzeptionieren
- Erfahrung in der Erarbeitung von Konzepten und Implementierungen zur Datenqualität
- Langjährige Erfahrung in der Datenbankoptimierung insbesondere hinsichtlich Zugriffszeiten
- Erfahrung in Data Vault Modellierung von Vorteil
- Erfahrung mit PowerDesigner zur Modellierung von Vorteil
- Nachhaltige Erfahrung in der Konzeption von DWH Bewirtschaftungs-Prozessen (ETL / ELT) insbesondere im Hadoop-Umfeld
- Erfahrung mit Talend als Werkzeug zur Erstellung von ETL / ELT Strecken
- Langjährige Erfahrung in der Erstellung von ETL Strecken für sehr große Datenmengen
- Langjährige Erfahrung bei der Entwicklung und Test von komplexen Map-/Reduce-Jobs mit Hadoop/YARN
- Erfahrung mit den Technologien Parquet, Hive & HBase
- Kenntnisse zu Apache spark bzw. laufende Projekte, welche entsprechende Kenntnisse kontinuierlich aufbauen
- Know How mit State-of-the-art Search-Engines und Paketen wie solr oder / und elasticsearch (ELK-stack)
Start: asap
Einsatzdauer:
Auslastung: 4-5 Tage/Woche
Bei Interesse freuen wir uns über die Zusendung Ihres Skillprofils sowie Ihrer Honorarvorstellungen inklusive aller Nebenkosten pro Stunde.
Sie können uns auch gerne unter persönlich ansprechen.