Big Data Engineer / Machine Learning Engineering

Vertragsart:
Vor Ort
Start:
01/2021
Dauer:
keine Angabe
Ort:
Hamburg
Eingestellt:
17.09.2020
Land:
flag_no Deutschland
Projekt-ID:
1969647


Hallo zusammen,

für meinen Kunden aus Hamburg suche ich Unterstützung in folgendem Bereich:

Big Data Engineer / Machine Learning Engineering

Start:
Einsatzort: Hamburg
Laufzeit: ca. 3-4 Monate mit der Option auf Verlängerung
Auslastung: Vollzeit, 5 Tage die Woche

Skills:
  • Storage
    • Google Cloud Storage (GCS) als Objektspeicher für Rohdaten
    • Google BigQuery als zentrale DB Engine für Analysen mit meist strukturierten Daten
  • Processing
    • Google DataProc als Data Processing Engine
    • Google BigQuery SQL für Transformationen im BigQuery Umfeld
  • CI/CD-Pipeline
    • GitLab als Code Repository für Python und Scala Code für Data Pipelines, Data Science Modelle sowie für Infrastructure-as-Code
    • Nexus als Repository für Binaries (z.B. PEX Files)
  • Scheduling
    • Airflow
    • Google Cloud Composer
  • Verschlüsselung
    • Google Cloud KMS (mit HSM)


Die Erweiterung um nützliche Cloud Native Services (z.B. AI Platform, Data Catalog, … ) ist ein kontinuierlicher Prozess im Rahmen der Weiterentwicklung der Plattform.

Aufgaben:
  • Integration neuer Datenquellen in die Plattform
  • Entwicklung von hoch performanten und effizienten Data-Pipelines mit Python / Scala sowie Spark
  • Modellierung von Daten in den verschiedenen Schichten der BDAP unter Berücksichtigung von Verschlüsselungs- sowie Löschkonzepten
  • Kontinuierliche Weiterentwicklung des Beladungs- und Monitoring-Frameworks
  • Konzeption und Entwicklung der Plattform-Komponenten zur Unterstützung und Automatisierung der Tätigkeiten von Data Scientisten (z.B. Versionierung von Modellen und Trainingsdaten, kontinuierliche Überwachung der Modellgüte, Nachtrainieren)
  • Eigenständige Konzeption und Entwicklung komplexer Daten-Pipelines und hochverfügbarer Streaming-Lösungen im Cloud-Umfeld basierend auf den Anforderungen der Data Scientisten
  • Entwicklung und Inbetriebnahme von Machine-Learning-Modellen zusammen mit Data Scientisten unter Berücksichtigung des DevOps-Ansatzes
  • Trouble-Shooting im Falle von Fehlern in den ML-Prozessen bis zur Access Area


Wenn Sie verfügbar und interessiert an diesem spannenden Projekt sind, senden Sie mir gerne Ihren aktuellen CV und Ihren all-in Stundensatz.

Ich freue mich auf Ihre Rückmeldung.

Viele Grüße

Sarah Kay
s.kay(a)computerfutures.de