Big Data Engineer / Machine Learning Engineering

Vertragsart:
Vor Ort
Start:
01/2021
Dauer:
keine Angabe
Ort:
Hamburg
Eingestellt:
17.09.2020
Land:
flag_no Deutschland
Projekt-ID:
1969647

Warning
Dieses Projekt ist archiviert und leider nicht (mehr) aktiv.
Sie finden vakante Projekte hier in unserer Projektbörse.
Hallo zusammen,

für meinen Kunden aus Hamburg suche ich Unterstützung in folgendem Bereich:

Big Data Engineer / Machine Learning Engineering

Start:
Einsatzort: Hamburg
Laufzeit: ca. 3-4 Monate mit der Option auf Verlängerung
Auslastung: Vollzeit, 5 Tage die Woche

Skills:
  • Storage
    • Google Cloud Storage (GCS) als Objektspeicher für Rohdaten
    • Google BigQuery als zentrale DB Engine für Analysen mit meist strukturierten Daten
  • Processing
    • Google DataProc als Data Processing Engine
    • Google BigQuery SQL für Transformationen im BigQuery Umfeld
  • CI/CD-Pipeline
    • GitLab als Code Repository für Python und Scala Code für Data Pipelines, Data Science Modelle sowie für Infrastructure-as-Code
    • Nexus als Repository für Binaries (z.B. PEX Files)
  • Scheduling
    • Airflow
    • Google Cloud Composer
  • Verschlüsselung
    • Google Cloud KMS (mit HSM)


Die Erweiterung um nützliche Cloud Native Services (z.B. AI Platform, Data Catalog, … ) ist ein kontinuierlicher Prozess im Rahmen der Weiterentwicklung der Plattform.

Aufgaben:
  • Integration neuer Datenquellen in die Plattform
  • Entwicklung von hoch performanten und effizienten Data-Pipelines mit Python / Scala sowie Spark
  • Modellierung von Daten in den verschiedenen Schichten der BDAP unter Berücksichtigung von Verschlüsselungs- sowie Löschkonzepten
  • Kontinuierliche Weiterentwicklung des Beladungs- und Monitoring-Frameworks
  • Konzeption und Entwicklung der Plattform-Komponenten zur Unterstützung und Automatisierung der Tätigkeiten von Data Scientisten (z.B. Versionierung von Modellen und Trainingsdaten, kontinuierliche Überwachung der Modellgüte, Nachtrainieren)
  • Eigenständige Konzeption und Entwicklung komplexer Daten-Pipelines und hochverfügbarer Streaming-Lösungen im Cloud-Umfeld basierend auf den Anforderungen der Data Scientisten
  • Entwicklung und Inbetriebnahme von Machine-Learning-Modellen zusammen mit Data Scientisten unter Berücksichtigung des DevOps-Ansatzes
  • Trouble-Shooting im Falle von Fehlern in den ML-Prozessen bis zur Access Area


Wenn Sie verfügbar und interessiert an diesem spannenden Projekt sind, senden Sie mir gerne Ihren aktuellen CV und Ihren all-in Stundensatz.

Ich freue mich auf Ihre Rückmeldung.

Viele Grüße

Sarah Kay
s.kay(a)computerfutures.de