Beschreibung
Big Data Engineer (alle) / remoteFür unseren direkten Kunden suchen wir aktuell einen Big Data Engineer (alle) für ein remote Projekt.
Standort: remote 100%
Start: 01.06.2021
Dauer: 31.12.2021
Leistungsbeschreibung/Aufgabe:
Ausrichtung und Definition der Integrationsarchitektur zur Verbindung von Datensystemen mit Enterprise IT (Hadoop) inkl.
? Kafka Replication from CloudServices (AWS)
? Datenaufnahme von REST API, S3 und anderen Diensten
? Integration traditioneller Datenbankmanagementsysteme (Oracle)
? Integration von Daten aus verschiedenen Formaten (Parquet and Google Protocol Buffer)
? Implementierung und Integration mit DataPrivacy-Routinen (Löschen und Aufbewahren)
Technologieauswahl für Daten-Pipelines, Datenschutzroutinen und Definition von Implementierungskonzept für einen MVP
Koordination der MVP-Entwicklung und -Unterstützung während der MVP-Phase:
? Vertraut mit klassischen Big Data Systemen (Kafka, Hadoop, S3)
? Implementierungen von ETLJobs (Spark und Python)
? „State-of-the-art“ Entwicklungswerkzeuge (CI / CD-Pipelines, Repositories (BitBucket / GitHub))
? Unterstützung bei der agilen Arbeitsweise (Scrum / Jira / Confluence)
Sprachkenntnisse: Englisch
Interessant? Bitte senden Sie mir Ihr aktuelles Profil + Stundensatz für den remote Einsatz.
Ich freue mich auf Ihre Rückmeldung!
Sven Krombholz
Business Development / Recruitment
---------------------------------------
Tenec consulting services GmbH
Marie-Curie-Straße 2 a
01139 Dresden
Tel.:
Mail: