Data Engineer (m/w/d) – AFRA-180
Randstad Digital Germany AG
Ansprechpartner: Talissa Blajan
Frankfurt, Deutschland
Verkehr und LogistikAPIsData ArchitectureDateninfrastrukturInfosphere DatastageAnsibleDataOpsAzure Machine LearningAzure Data LakeDatenverarbeitungAzure Data FactoryGrafanaGitLabPySparkGitlab-CiKubernetesDatenprogrammierungAWS Data AnalyticsTerraformAzure Data AnalyticsDaten-PipelineDockerDatabricks
Beschreibung
Rahmendaten
Zeitraum: 01.01.2027 – 31.12.2027 + Option auf Verlängerung
Einsatzort: 100 % remote (Nearshore möglich)
Projektsprache: Deutsch C1/C2
Auslastung: 110 PT (0,5 FTE)
Anstellungsart: Freiberuflich
Projektbeschreibung
Für einen Großkonzern im Transport- und Logistiksektor suchen wir Unterstützung im Bereich Daten- und KI-Plattformen.
- Implementierung von Datenverarbeitungen: Umsetzung abgegrenzter Datenpipelines und ETL-/ELT-Verarbeitungen auf Azure Databricks mit Python, SQL und PySpark auf Grundlage der vorgegebenen Architektur- und Entwicklungsstandards.
- Umsetzung von Container- und KI-Komponenten: Entwicklung und Anpassung containerisierter Daten- und KI-Komponenten einschließlich der Umsetzung definierter Kubernetes-basierter Datenverarbeitungs-, Trainings- und Inference-Workloads.
- Umsetzung von On-Prem-Workloads: Entwicklung und Anpassung abgegrenzter Kubernetes-/k3s-basierter Komponenten auf der On-Prem-KI-Infrastruktur sowie Umsetzung definierter GPU-/CPU-basierter Trainings- und Inference-Workloads.
- Migration bestehender Komponenten: Technische Migration abgegrenzter Skripte, Datenverarbeitungen, Pipelines und Containerkomponenten auf die vorgegebene Zielplattform einschließlich Daten-, Funktions- und Schnittstellenvalidierung.
- Deployment und Automatisierung: Umsetzung und Anpassung bestehender automatisierter Deployment- und Infrastrukturprozesse unter Nutzung von GitLab CI/CD, Terraform, Databricks Asset Bundles, Docker, Ansible und GitOps-/FluxCD-Verfahren.
- Tests und Qualitätssicherung: Erstellung und Durchführung automatisierter Unit-, Integrations- und technischer Funktionstests sowie Dokumentation der Test- und Validierungsergebnisse.
- Monitoring und Fehlerbehebung: Umsetzung definierter Monitoring-, Logging- und Alerting-Anforderungen sowie Analyse und Behebung technischer Fehler in Datenpipelines, Container-, Kubernetes- und Deployment-Komponenten.
- Dokumentation und standardkonforme Umsetzung: Technische Dokumentation der entwickelten und migrierten Komponenten sowie Umsetzung der Leistungen innerhalb der vorgegebenen Architektur-, Security-, Governance- und Betriebsstandards.
Anforderungen – must have (zwingend erforderlich, auch in Jahren und in den einzelnen Projektreferenzen aufgeführt und erläutert!)
- Sehr gute Architektur- und Betriebserfahrung mit Kubernetes in AWS- und On-Premise-Umgebungen (Zertifikat Certified Kubernetes Administrator (CKA))
- Erfahrung in der Bereitstellung und im Betrieb von Open-Weight-LLMs auf On-Premise-GPU-Infrastruktur (mind. 1 Projektreferenz)
- Projekterfahrung und Fachwissen im Transport-/Logistikbetrieb, insbesondere zu Fahrzeug- und Anschlussdisposition sowie Verspätungskodierungen (mind. 1 Projektreferenz)
- Langjährige Architektur- und Umsetzungskenntnisse im Bereich Infrastructure-as-Code (mind. 3 Jahre)
- Projekterfahrung in der Operationalisierung von ML-Modellen mit MLflow, im Umgang mit Azure Databricks sowie in der Umsetzung von MLOps-Best-Practices (mind. 1 Projektreferenz)
Anforderungen – nice to have
- Erfahrung mit vLLM, Inferenz-Parametertuning und OpenWebUI sowie der API-basierten Anbindung eigener Modellendpunkte an KI-gestützte Entwicklungswerkzeuge (mind. 1 Projektreferenz)
- Erfahrung mit abgegrenzten Betriebsleistungsbausteinen nach internen Betreibervorgaben einschließlich Grafana-Monitoring und dokumentierter Fehlerbehandlung (mind. 1 Projektreferenz)
- Erfahrung mit Explainable AI, insbesondere Shapley-/SHAP-Analysen zur Interpretation von Gradient-Boosting-Modellen wie XGBoost (mind. 1 Projektreferenz)
Ich freue mich auf die Zusendung Ihres Profils inkl. Verfügbarkeit und gewünschter Konditionen!