Beschreibung
Für unseren Kunden aus dem Raum Frankfurt am Main suchen wir ab dem 01.06.2021 zwei Big Data Engineers (m/w/d).Start: 01.06.2021
Ende: 31.12.20221
Auslastung: Vollzeit
Einsatzort: Remote
Aufgabe:
- Ausrichtung und Definition der Integrationsarchitektur zur Verbindung von Datensystemen mit Enterprise IT (Hadoop) inkl.
? Kafka Replication from Cloud Services (AWS)
? Datenaufnahme von REST API, S3 und anderen Diensten
? Integration traditioneller Datenbankmanagementsysteme (Oracle)
? Integration von Daten aus verschiedenen Formaten (Parquet and Google Protocol Buffer)
? Implementierung und Integration mit Data Privacy-Routinen (Löschen und Aufbewahren)
- Technologieauswahl für Daten-Pipelines, Datenschutzroutinen und Definition von Implementierungskonzept für einen MVP
- Koordination der MVP-Entwicklung und -Unterstützung während der MVP-Phase:
? Vertraut mit klassischen Big Data Systemen (Kafka, Hadoop, S3)
? Implementierungen von ETL Jobs (Spark und Python)
? „State-of-the-art“ Entwicklungswerkzeuge (CI / CD-Pipelines, Repositories (BitBucket / GitHub))
? Unterstützung bei der agilen Arbeitsweise (Scrum / Jira / Confluence)
Folgende techn. Kenntnisse und Erfahrungen bringen Sie mit:
- Erfahrung im o.g. Aufgaben-/Arbeitsbereich
- Gute Kenntnisse Hadoop, Kafka, AWS
- Erfahrung in agilen Projekten (Scrum, Jira, Confluence) wünschenswert
- Kenntnisse Spark, Python wünschenswert
- Gute Deutschkenntnisse und gute Englischkenntnisse (Projekt findet in internationalem Umfeld statt)