Machine Learning Engineer – AI Evaluation & Quality (m/w/d)

HR Solutions GmbH
Ansprechpartner: HR Solutions GmbH
Hannover,  Deutschland
80% RemoteFreiberuflichDauer 12 Monate
Hochschulen und Behörden und VerbändeKünstliche IntelligenzMaschinensteuerungenMachine LearningOpenShiftAzure Machine LearningScaled Agile FrameworkSuche (Informatik)BackendFastAPIMachine Learning OperationsArtificial Intelligence Markup Language (AIML)Jenkins

Beschreibung

Für unseren Kunden sind wir momentan auf der Suche nach einem erfahrenen Machine Learning Engineer – AI Evaluation & Quality (m/w/d).

Start: 16.11.2026
Dauer: bis 01.12.2027
Arbeitsort: 90 % remote, 10 % vor Ort in Hannover, Hamburg oder München
Auslastung: Vollzeit

Ziel:
Aufbau und Weiterentwicklung skalierbarer KI- und GenAI-Lösungen mit besonderem Fokus auf automatisierte Qualitätsmessung, Evaluationspipelines und den produktiven Betrieb. Dazu gehören insbesondere die Entwicklung von Bewertungsverfahren, der Aufbau einer Wissensbasis sowie die Integration und Bereitstellung der KI-Services.

Aufgaben:
  • Aufbau und Weiterentwicklung einer standardisierten Evaluationspipeline für KI- und GenAI-Lösungen
  • Entwicklung und Pflege versionierter Golden Sets und Eval-Sets sowie Sicherstellung der Nachvollziehbarkeit und Vergleichbarkeit von Evaluationsergebnissen
  • Implementierung automatisierter Evaluationsläufe zur systematischen Qualitätsmessung und Erkennung von Qualitätsregressionen
  • Entwicklung einer Bewertungsschicht auf Basis deterministischer Checks und LLM-Judge-Verfahren einschließlich Definition und Dokumentation der Bewertungskriterien
  • Aufbau und Pflege eines Metrik-Katalogs zur Bewertung von Retrieval-, Antwort- und Scope-Qualität sowie relevanter Betriebs- und Ressourcenmetriken
  • Entwicklung wiederholbarer und parametrisierter Evaluationsprozesse einschließlich versionierter Ergebnisablage und End-to-End-Bewertung
  • Entwicklung und Betrieb einer Dokumentenverarbeitung zur Entgegennahme mehrerer Dokumente, Extraktion fachlicher Informationen sowie Gruppierung und Aggregation der Ergebnisse
  • Integration der KI-Lösungen in bestehende fachliche Services über eine Service Registry sowie Pflege der zugehörigen Service- und Feldbeschreibungen
  • Aufbau und kontinuierliche Pflege einer Wissensbasis einschließlich Indexierung, Chunking, Kontextaufbereitung und Aktualisierung strukturierter und unstrukturierter Datenquellen
  • Deployment, Betrieb und Monitoring der KI-Lösungen in Test-, Staging- und Produktionsumgebungen
  • Implementierung von Observability- und Logging-Lösungen sowie Durchführung von Fehleranalysen und Störungsbehebungen
  • Sicherstellung datenschutzkonformer Verarbeitung personenbezogener Daten innerhalb der KI-Anwendungen und Protokollierungsprozesse



Kenntnisse:
  • Abgeschlossenes Studium der Informatik, Wirtschaftsinformatik oder eine vergleichbare Ausbildung
  • Mindestens 3 Jahre Berufserfahrung als Machine Learning Engineer mit praktischer Erfahrung in der Konzeption, Entwicklung, Implementierung und kontinuierlichen Optimierung skalierbarer Machine-Learning-Lösungen
  • Mindestens 2 Jahre Erfahrung in der Projektarbeit innerhalb agiler Entwicklerteams
  • Deutschkenntnisse mindestens auf Niveau B2 in Wort und Schrift
  • Erfahrung in der systematischen Qualitätsmessung von GenAI-Lösungen, insbesondere mit versionierten Eval-Sets, automatisierten Evaluationsläufen und der Erkennung von Qualitätsregressionen
  • Praktische Erfahrung mit der automatisierten Bewertung von Modellausgaben, insbesondere LLM-Judge-Verfahren und deterministischen Checks mit dokumentierten Bewertungskriterien
  • Erfahrung im Aufbau und in der Pflege von Vektorspeichern, idealerweise mit Milvus, einschließlich Indexierung, Chunking, Aktualisierung und quellengetrennter Ablage
  • Praktische Erfahrung in der Backend-Entwicklung mit FastAPI
  • Erfahrung mit LLM-Orchestrierungsframeworks wie LangChain und LangGraph
  • Erfahrung im produktiven Betrieb von KI-Systemen (MLOps), insbesondere mit Monitoring, strukturiertem Logging, Fehleranalyse, Deployment und Störungsbehebung
  • Praktische Erfahrung im Deployment verteilter Anwendungen über mehrere Umgebungen mit OpenShift bzw. Kubernetes, ArgoCD und Jenkins
  • Kenntnisse in der datenschutzkonformen Gestaltung von KI-Systemen, insbesondere im Umgang mit personenbezogenen Daten in Dokumenten und Logs
  • Erfahrung in agilen Lieferstrukturen, idealerweise im Scaled Agile Framework (SAFe), einschließlich Mitarbeit in einem Agile Release Train (ART) und Teilnahme an PI-Planungen
  • Idealerweise Projekterfahrung in der öffentlichen Verwaltung, im regulierten Umfeld oder bei Trägern der gesetzlichen Sozialversicherung

Wir freuen uns sehr auf Ihren CV, gerne auch mit Angabe Ihres Stundensatzes und möglichen Startdatums.
Bei offenen Rückfragen stehen wir Ihnen selbstverständlich gerne zur Verfügung.

Bewerben