80% Remote: LLM-Plattform-Architekt (m/w/d)

nemensis AG
Ansprechpartner: Natalia Katana
Kassel,  Deutschland
80% RemoteFreiberuflichStart 9/2026Dauer 8 Monate100% Auslastung
ITArchitekturCUDADigitale ArchitekturHigh-Level-ArchitekturRemote Application PlatformRechnerarchitekturArtificial Intelligence Markup Language (AIML)

Beschreibung

Für unseren Kunden suchen wir eine/n LLM-Plattform-Architekt-Experten (m/w/d):

Projektbeschreibung
Ziel des Projekts ist der Aufbau und die Inbetriebnahme einer produktiv nutzbaren, zentralen GPU-Plattform mit einem zentralen Inference Service, der LLM-Funktionalitäten über einen standardisierten Zugangspunkt bereitstellt und die technische sowie betriebliche Grundlage für die schrittweise Anbindung weiterer Anwendungsfälle schafft. Die Architektur wird von Beginn an so ausgelegt, dass die vorhandenen GPU-Ressourcen nicht ausschließlich für LLM-Serving, sondern auch für native CUDA-Workloads genutzt werden können.
In dieser Rolle verantwortet der LLM-Plattform-Architekt die konzeptionelle Gestaltung der Gesamtlösung, berät zur Segmentierung, Zuweisung und Steuerung der GPU-Ressourcen und begleitet die Auswahl geeigneter Open-Weight-Modelle. Die Rolle ist eng mit den beteiligten Betriebs- und Plattformteams abgestimmt und beinhaltet einen strukturierten Wissenstransfer, damit die Plattform nach Projektabschluss eigenständig betrieben, überwacht und kontrolliert weiterentwickelt werden kann.

Rahmenparameter
  • Start: 15.09.2026
  • Laufzeit: bis 30.06.2027
  • Auslastung: 100%
  • Einsatzort: Remote, gelegentlich Kassel
Aufgaben
  • Konzeption der Architektur einer zentralen GPU-Plattform für LLM-Serving und weitere KI-Workloads
  • Definition eines Zielbetriebsmodells sowie von Governance- und Betriebsmodellen für den produktiven Plattformbetrieb
  • Beratung zur Segmentierung, Zuweisung und Steuerung der GPU-Ressourcen, insbesondere unter Einsatz von NVIDIA MIG sowie weiteren GPU-Sharing- und Scheduling-Verfahren
  • Auswahl und Bewertung geeigneter, deutschsprachig leistungsfähiger und datenschutzkonform betreibbarer Open-Weight-Modelle
  • Konzeption der Einrichtung eines sicheren Zugangs (AI-Gateway) zu den Inferenzdiensten
  • Vorbereitung der Anbindung des bestehenden, dokumentenbezogenen Inputmanagements als ersten produktiven Anwendungsfall
  • Enge Abstimmung mit den Betriebs- und Plattformteams des Kunden sowie strukturierter Wissenstransfer
Erfahrungen & Kenntnisse
  • Mehrjährige Erfahrung im produktiven Einsatz von LLM- bzw. Model-Inference-Serving, insbesondere im Umfeld dokumentenbezogener Verarbeitung
  • Expertenwissen in der Konzeption und Steuerung GPU-gestützter KI-Plattformen in regulierten On-Premise-Umgebungen, idealerweise im öffentlichen Sektor
  • Fundierte Kenntnisse zur Architektur GPU-gestützter Inferenz-Infrastrukturen sowie zu Betriebs- und Governance-Modellen
  • Erfahrung in der Auswahl und Bewertung deutschsprachig leistungsfähiger Open-Weight-Modelle
  • Erfahrung mit dokumentenverarbeitenden Technologien wie Tesseract, trOCR und ABBYY FlexiCapture im öffentlichen Sektor
  • Grundkenntnisse relevanter IT-Betriebsprozesse sowie der Datenschutz- und Sicherheitsanforderungen im öffentlichen Umfeld
  • Wünschenswert: sicheres Auftreten in der Abstimmung mit Betriebs- und Plattformteams, fließende Deutsch- und gute Englischkenntnisse

Bewerben