LLM Platform Engineer / MLOps Engineer (m/w/d) – Self-hosted LLMs On-Premise auf Kubernetes
RecNow GmbH
Ansprechpartner: Maximilian Probst
Nordrhein-Westfalen, Deutschland
VerteidigungRemote Application PlatformKubernetesRancherArtificial Intelligence Markup Language (AIML)
Beschreibung
Für unseren Kunden, einen Softwarehersteller aus dem sicherheitskritischen IT-Umfeld, suchen wir einen erfahrenen LLM Platform Engineer, der eine bestehende On-Premise-Plattform für selbst gehostete Sprachmodelle aus dem Testbetrieb in einen stabilen Produktivbetrieb überführt.
Projektrahmen:
- Start: Januar 2027
- Laufzeit: 6 Monate, Verlängerung möglich
- Auslastung: mind. 4 Tage/Woche
- Einsatzort: überwiegend remote
- Projektsprache: Deutsch
- Eine Sicherheitsüberprüfung (SÜ) kann erforderlich werden; die Bereitschaft dazu wird vorausgesetzt
Ausgangslage:
Bestehende Plattform mit GPU-Server, Kubernetes, LiteLLM als API-Zugang und Open WebUI mit LDAP-Anbindung; erste Open-Weight-Modelle laufen im Testbetrieb.
Aufgaben:
- Produktionsreifes, automatisiertes Deployment der Inference-Services (vLLM / SGLang) per Helm, idealerweise GitOps-basiert
- Performance-Tuning und Lasttests der Modell-Laufzeiten, Optimierung der GPU-Auslastung
- Aufbau von Monitoring, Logging, Backup- und Update-Prozessen für den Betrieb
- Absicherung der Plattform: TLS, Secrets-Management, Rollen- und Zugriffssteuerung (LDAP/AD)
- Anbindung interner Datenquellen (Dokumente, Confluence, Jira) über Konnektoren und RAG inkl. Abbildung des Berechtigungskonzepts
- Weiterentwicklung des bestehenden Stacks in Abstimmung mit der internen IT, die die Plattform künftig betreibt
- Dokumentation und aktiver Wissenstransfer an die interne IT
Anforderungen:
- Nachweisbare Erfahrung darin, selbst gehostete LLMs On-Premise in den Produktivbetrieb gebracht zu haben, vorzugsweise auf Kubernetes (reine Nutzung von Cloud-APIs wie Azure OpenAI ist nicht ausreichend)
- Fundierte Praxis mit vLLM und/oder SGLang inkl. Tuning und Lasttests
- Kubernetes und Helm in der Praxis
- Erfahrung mit Betriebsthemen: Monitoring, Logging, Backup, Updates
- Security-Know-how: TLS, Secrets, Rollen- und Berechtigungskonzepte, LDAP/AD
- Erfahrung mit RAG auf Unternehmensdaten inkl. Berechtigungen
- Erfahrung in der Weiterentwicklung bestehender Systeme und im Wissenstransfer
- Sehr gute Deutschkenntnisse
Wünschenswert:
- GitOps (z. B. Argo CD, Flux)
- Open WebUI, LiteLLM
- Erfahrung mit Mistral-, Qwen- oder vergleichbaren Open-Weight-Modellen
- Vektordatenbanken (z. B. Qdrant, pgvector)
- Erfahrung in sicherheitskritischen oder regulierten Umfeldern
Wenn das Projekt auf Ihr Profil passt, freue ich mich über Ihre Zusendung eines CVs, gewünschtem Stundensatz und schnellstmöglicher Verfügbarkeit.