17.11.2026 aktualisiert


Premiumkunde
100 % verfügbarConfidential Computing & GPU AI Platform Architect | Souveräne KI für den Public Sector
Osnabrück, Deutschland
Weltweit
Promotion (Dr.) Informatik – Künstliche IntelligenzÜber mich
Promovierter Informatiker (KI). Ich baue souveräne KI- und Cloud-Plattformen für Behörden und regulierte Unternehmen: selbst gehostete LLMs auf GPU-Infrastruktur, hardware-verschlüsselt in TEEs (AMD SEV-SNP, Intel TDX), BSI-/DSGVO-konform. Referenzen: Baden-Württemberg, Mercedes-Benz, Transdev.
Skills
KeycloakAI AgentsArgo CDGitOpsGitHub ActionsHelmZero TrustMLOpsAzure DevOpsJavaScriptAPIsKünstliche IntelligenzAmazon Web ServicesArchitekturComputer Vision
Confidential Computing & GPU AI Platform Architect | Dr. Informatik (KI)
Ich konzipiere und betreibe souveräne KI- und Cloud-Plattformen für den öffentlichen Sektor und regulierte Unternehmen: selbst gehostete LLMs auf eigener GPU-Infrastruktur, hardware-verschlüsselt in Trusted Execution Environments, vollständig per GitOps automatisiert und auf BSI-Grundschutz, BSI C5 und DSGVO ausgelegt.
Confidential Computing & Security: AMD SEV-SNP, Intel TDX, Trusted Execution Environments (TEE), Confidential Containers (CoCo), Kata Containers, Remote Attestation, Key Broker Service (KBS), Trustee, Zero Trust, SPIFFE/mTLS, OPA Gatekeeper, Keycloak, SAML 2.0, OAuth2/OIDC, eID, HashiCorp Vault, KMS, BSI C5, DSGVO, digitale Souveränität
GPU Platform Engineering & Self-hosted LLMs: vLLM, Ray, GPU-Cluster, NVIDIA H100, GPU-Attestation, Tensor Parallelism, Quantisierung (GPTQ, AWQ), LiteLLM, Llama 3, Mistral, Qwen, Gemma, Fine-Tuning, MLOps, MLflow, Azure ML, PyTorch
Agentic AI & RAG: Multi-Agenten-Systeme, Dify, OpenWebUI, RAG, Qdrant, PGVector, Embeddings, AI Guardrails, LLM Gateway, Prompt Engineering, KI-gestützte Legacy-Modernisierung und Code-Generierung
Kubernetes, Cloud & DevSecOps: Kubernetes, k3s, Helm, ArgoCD, Flux, GitOps, Terraform, Docker, Kong API Gateway, Rook/Ceph, WireGuard, AWS (EKS, Lambda, API Gateway, S3), Azure (AKS, DevOps), STACKIT, GitLab CI, GitHub Actions, Jenkins, Prometheus, Grafana, ELK, Linux
Entwicklung & Daten: Python, FastAPI, TypeScript, JavaScript, Node.js, React, Next.js, PostgreSQL, Redis, REST APIs, Bash, Computer Vision, OpenCV, Tesseract OCR
Referenzen: Landesverwaltung Baden-Württemberg (souveräne 6-Schichten-KI-Plattform, tausende Nutzer) · Öffentlicher Sektor (GPU-basierte Engine: Excel-Fachanwendungen zu Webanwendungen) · Transdev (KI-Wissensplattform auf STACKIT, ca. 80 % schnellere Suche) · Mercedes-Benz (Multi-Agenten-Plattform, 100.000+ Nutzer in 160 Ländern) · Klarcloud (eigene Confidential-Cloud-Plattform)
Ausbildung: Promotion Informatik (KI), Universität Osnabrück · Postgraduate DevOps Engineering, Purdue University · AWS Certified Cloud Practitioner · MBA Corporate Finance
Sprachen & Einsatz: Deutsch und Englisch verhandlungssicher · Standort Osnabrück · Remote oder vor Ort in DACH
Erfahrung
Berufserfahrungmehr als 10 Jahre
Freelancer seit2020
Sprachen
DeutschverhandlungssicherEnglischverhandlungssicherHindiMuttersprache
Projekthistorie
Konzeption und Entwicklung von Klarcloud, einer souveränen Confidential-Cloud-Plattform für Behörden und regulierte Unternehmen. Kunden betreiben sie auf eigener oder gemischter Infrastruktur (on-prem, AWS, Azure, Google Cloud, STACKIT). Workloads laufen in hardware-versiegelten Enclaves; selbst der Betreiber der Hardware sieht nur verschlüsselte Daten.
• Hardware-Isolation mit AMD SEV-SNP und Intel TDX, Speicher und Verarbeitung auf Silizium-Ebene verschlüsselt
• Confidential Containers (Kata-Qemu-SNP) auf Kubernetes/k3s, auto-skalierender Cluster in privatem VPC
• Remote Attestation mit Trustee und Rego-Policies; ein On-Prem Key Broker Service gibt Schlüssel nur an verifizierte Umgebungen frei
• Ende-zu-Ende-verschlüsseltes WireGuard-Mesh zwischen den Knoten, Multi-Cloud-Storage mit Rook/Ceph
• Confidential AI: private LLM-Inferenz in SEV-SNP-Enclaves, GPU-Attestation für NVIDIA H100, Schutz von Modellgewichten
• Ausgelegt auf DSGVO, Schrems II, BSI C5 und Datenresidenz-Vorgaben
Technologien: AMD SEV-SNP, Intel TDX, Kata Containers, Confidential Containers, Trustee/KBS, Kubernetes, k3s, WireGuard, Rook/Ceph, STACKIT, vLLM, NVIDIA H100
Entwicklung einer GPU-basierten Engine, die gewachsene Excel-Fachanwendungen automatisch analysiert und als vollwertige JavaScript-Webanwendung mit relationaler Datenbank neu erzeugt. Sie läuft vollständig auf einer abgesicherten, selbst gehosteten Plattform, ohne Cloud-KI-Dienste.
• Agentische Pipeline mit offenen Technologien: Analyse von Arbeitsmappen, Tabellenstrukturen, Formeln und Geschäftslogik, dann Ableitung von Datenmodell und Fachlogik
• Automatische Generierung von Datenbankschema, Backend-API und Web-Frontend inklusive Datenübernahme aus den Bestandsdateien
• Self-hosted Open-Weight-LLMs auf eigener GPU-Infrastruktur mit vLLM; keine Daten verlassen die gesicherte Umgebung
• Ersetzt fehleranfällige Excel-Lösungen durch mehrbenutzerfähige, wartbare Anwendungen mit Rollen- und Rechtekonzept
Technologien: vLLM, Open-Weight-LLMs, Agentic AI, GPU, Kubernetes, JavaScript/TypeScript, Node.js, React, PostgreSQL, Python
Architektur und Aufbau einer vollständig selbst gehosteten, Open-Source-basierten KI-Plattform (ChatGPT-Alternative) für tausende Mitarbeitende mehrerer Ressorts, ohne Datenabfluss an externe Anbieter.
• 6 Schichten: OpenWebUI, Kong API Gateway, Keycloak (SAML 2.0, OAuth2/OIDC, eID, MFA, AD/LDAP), LiteLLM als LLM Gateway, vLLM Model Serving, Qdrant/PostgreSQL für RAG
• GPU-Inferenz für Modelle von 7B bis 70B+ (Llama 3, Mistral, Qwen) mit vLLM/PagedAttention und Ray, Quantisierung, GPU-Autoscaling
• RAG über vertrauliche Wissensbestände mit deutschsprachigen Embeddings und OCR; Klassifizierung von „Öffentlich“ bis „Geheim“
• AI Guardrails, RBAC, Mandantentrennung, Audit-Logging, Datenhaltung in Deutschland/EU; BSI- und DSGVO-konform, WCAG 2.1 AA
• Betrieb per GitOps (ArgoCD, Helm, Terraform), Monitoring mit Prometheus, Grafana, ELK und Jaeger
Technologien: Kubernetes, vLLM, Ray, OpenWebUI, Kong, Keycloak, LiteLLM, Qdrant, PostgreSQL, ArgoCD, Helm, Terraform, Python, TypeScript
Zertifikate
Unix Shell Scripting
Edureka2025
DevOps Engineering – Postgraduate Program
Purdue University2025
AWS Certified Cloud Practitioner
Amazon Web Services (AWS)2024