Beschreibung
Hallo zusammen,für meinen Kunden aus Hamburg suche ich Unterstützung in folgendem Bereich:
Big Data Engineer / Machine Learning Engineering
Start: 01.01.2021
Einsatzort: Hamburg
Laufzeit: ca. 3-4 Monate mit der Option auf Verlängerung
Auslastung: Vollzeit, 5 Tage die Woche
Skills:
- Storage
- Google Cloud Storage (GCS) als Objektspeicher für Rohdaten
- Google BigQuery als zentrale DB Engine für Analysen mit meist strukturierten Daten
- Processing
- Google DataProc als Data Processing Engine
- Google BigQuery SQL für Transformationen im BigQuery Umfeld
- CI/CD-Pipeline
- GitLab als Code Repository für Python und Scala Code für Data Pipelines, Data Science Modelle sowie für Infrastructure-as-Code
- Nexus als Repository für Binaries (z.B. PEX Files)
- Scheduling
- Airflow
- Google Cloud Composer
- Verschlüsselung
- Google Cloud KMS (mit HSM)
Die Erweiterung um nützliche Cloud Native Services (z.B. AI Platform, Data Catalog, … ) ist ein kontinuierlicher Prozess im Rahmen der Weiterentwicklung der Plattform.
Aufgaben:
- Integration neuer Datenquellen in die Plattform
- Entwicklung von hoch performanten und effizienten Data-Pipelines mit Python / Scala sowie Spark
- Modellierung von Daten in den verschiedenen Schichten der BDAP unter Berücksichtigung von Verschlüsselungs- sowie Löschkonzepten
- Kontinuierliche Weiterentwicklung des Beladungs- und Monitoring-Frameworks
- Konzeption und Entwicklung der Plattform-Komponenten zur Unterstützung und Automatisierung der Tätigkeiten von Data Scientisten (z.B. Versionierung von Modellen und Trainingsdaten, kontinuierliche Überwachung der Modellgüte, Nachtrainieren)
- Eigenständige Konzeption und Entwicklung komplexer Daten-Pipelines und hochverfügbarer Streaming-Lösungen im Cloud-Umfeld basierend auf den Anforderungen der Data Scientisten
- Entwicklung und Inbetriebnahme von Machine-Learning-Modellen zusammen mit Data Scientisten unter Berücksichtigung des DevOps-Ansatzes
- Trouble-Shooting im Falle von Fehlern in den ML-Prozessen bis zur Access Area
Wenn Sie verfügbar und interessiert an diesem spannenden Projekt sind, senden Sie mir gerne Ihren aktuellen CV und Ihren all-in Stundensatz.
Ich freue mich auf Ihre Rückmeldung.
Viele Grüße
Sarah Kay
s.kay(a)computerfutures.de