17.11.2026 aktualisiert

**** ******** ****
Premiumkunde
100 % verfügbar

Confidential Computing & GPU AI Platform Architect | Souveräne KI für den Public Sector

Osnabrück, Deutschland
Weltweit
Promotion (Dr.) Informatik – Künstliche Intelligenz
Osnabrück, Deutschland
Weltweit
Promotion (Dr.) Informatik – Künstliche Intelligenz

Profilanlagen

CV_Dr_Faisal_Khalil_Confidential_Computing_GPU_AI.pdf

Über mich

Promovierter Informatiker (KI). Ich baue souveräne KI- und Cloud-Plattformen für Behörden und regulierte Unternehmen: selbst gehostete LLMs auf GPU-Infrastruktur, hardware-verschlüsselt in TEEs (AMD SEV-SNP, Intel TDX), BSI-/DSGVO-konform. Referenzen: Baden-Württemberg, Mercedes-Benz, Transdev.

Skills

KeycloakAI AgentsArgo CDGitOpsGitHub ActionsHelmZero TrustMLOpsAzure DevOpsJavaScriptAPIsKünstliche IntelligenzAmazon Web ServicesArchitekturComputer VisionMicrosoft AzureBash ShellCloud ComputingCode GenerationComplianceInformationssicherheitBeratungContinuous IntegrationData MigrationDatensicherheitLinuxDevOpsInfrastrukturPythonPostgreSQLMachine LearningNatural Language ProcessingNode.jsOpenCVOpen SourceRedisTensorFlowPrometheusAzure Machine LearningNext.jsRoboticsVaultTypeScriptWorkflowsGoogle CloudPyTorchReact.jsIstioLarge Language ModelsSnowflakeGrafanaMulti-Agent SystemsPrompt EngineeringDeep LearningGenerative AIDatenschutzAWS LambdaGpu ProgrammingInfrastructure as Code (IaC)CloudformationFastAPIContainerisierungGitlab-CiKubernetesHuggingFaceCloud-MigrationTerraformGPTDevSecOpsDockerJenkinsMicroservices
Confidential Computing & GPU AI Platform Architect | Dr. Informatik (KI)

Ich konzipiere und betreibe souveräne KI- und Cloud-Plattformen für den öffentlichen Sektor und regulierte Unternehmen: selbst gehostete LLMs auf eigener GPU-Infrastruktur, hardware-verschlüsselt in Trusted Execution Environments, vollständig per GitOps automatisiert und auf BSI-Grundschutz, BSI C5 und DSGVO ausgelegt.

Confidential Computing & Security: AMD SEV-SNP, Intel TDX, Trusted Execution Environments (TEE), Confidential Containers (CoCo), Kata Containers, Remote Attestation, Key Broker Service (KBS), Trustee, Zero Trust, SPIFFE/mTLS, OPA Gatekeeper, Keycloak, SAML 2.0, OAuth2/OIDC, eID, HashiCorp Vault, KMS, BSI C5, DSGVO, digitale Souveränität

GPU Platform Engineering & Self-hosted LLMs: vLLM, Ray, GPU-Cluster, NVIDIA H100, GPU-Attestation, Tensor Parallelism, Quantisierung (GPTQ, AWQ), LiteLLM, Llama 3, Mistral, Qwen, Gemma, Fine-Tuning, MLOps, MLflow, Azure ML, PyTorch

Agentic AI & RAG: Multi-Agenten-Systeme, Dify, OpenWebUI, RAG, Qdrant, PGVector, Embeddings, AI Guardrails, LLM Gateway, Prompt Engineering, KI-gestützte Legacy-Modernisierung und Code-Generierung

Kubernetes, Cloud & DevSecOps: Kubernetes, k3s, Helm, ArgoCD, Flux, GitOps, Terraform, Docker, Kong API Gateway, Rook/Ceph, WireGuard, AWS (EKS, Lambda, API Gateway, S3), Azure (AKS, DevOps), STACKIT, GitLab CI, GitHub Actions, Jenkins, Prometheus, Grafana, ELK, Linux

Entwicklung & Daten: Python, FastAPI, TypeScript, JavaScript, Node.js, React, Next.js, PostgreSQL, Redis, REST APIs, Bash, Computer Vision, OpenCV, Tesseract OCR

Referenzen: Landesverwaltung Baden-Württemberg (souveräne 6-Schichten-KI-Plattform, tausende Nutzer) · Öffentlicher Sektor (GPU-basierte Engine: Excel-Fachanwendungen zu Webanwendungen) · Transdev (KI-Wissensplattform auf STACKIT, ca. 80 % schnellere Suche) · Mercedes-Benz (Multi-Agenten-Plattform, 100.000+ Nutzer in 160 Ländern) · Klarcloud (eigene Confidential-Cloud-Plattform)

Ausbildung: Promotion Informatik (KI), Universität Osnabrück · Postgraduate DevOps Engineering, Purdue University · AWS Certified Cloud Practitioner · MBA Corporate Finance

Sprachen & Einsatz: Deutsch und Englisch verhandlungssicher · Standort Osnabrück · Remote oder vor Ort in DACH

Erfahrung

Berufserfahrungmehr als 10 Jahre
Freelancer seit2020

Sprachen

DeutschverhandlungssicherEnglischverhandlungssicherHindiMuttersprache

Projekthistorie

Gründer & Chief Architect – Klarcloud Confidential Cloud Platform (eigenes Produkt)

Klarcloud

Internet und Informationstechnologie

< 10 Mitarbeiter

Konzeption und Entwicklung von Klarcloud, einer souveränen Confidential-Cloud-Plattform für Behörden und regulierte Unternehmen. Kunden betreiben sie auf eigener oder gemischter Infrastruktur (on-prem, AWS, Azure, Google Cloud, STACKIT). Workloads laufen in hardware-versiegelten Enclaves; selbst der Betreiber der Hardware sieht nur verschlüsselte Daten.

• Hardware-Isolation mit AMD SEV-SNP und Intel TDX, Speicher und Verarbeitung auf Silizium-Ebene verschlüsselt
• Confidential Containers (Kata-Qemu-SNP) auf Kubernetes/k3s, auto-skalierender Cluster in privatem VPC
• Remote Attestation mit Trustee und Rego-Policies; ein On-Prem Key Broker Service gibt Schlüssel nur an verifizierte Umgebungen frei
• Ende-zu-Ende-verschlüsseltes WireGuard-Mesh zwischen den Knoten, Multi-Cloud-Storage mit Rook/Ceph
• Confidential AI: private LLM-Inferenz in SEV-SNP-Enclaves, GPU-Attestation für NVIDIA H100, Schutz von Modellgewichten
• Ausgelegt auf DSGVO, Schrems II, BSI C5 und Datenresidenz-Vorgaben

Technologien: AMD SEV-SNP, Intel TDX, Kata Containers, Confidential Containers, Trustee/KBS, Kubernetes, k3s, WireGuard, Rook/Ceph, STACKIT, vLLM, NVIDIA H100

Lead Architect – GPU-basierte Legacy-Modernisierungs-Engine (Excel zu Webanwendung)

Öffentlicher Sektor

Öffentlicher Dienst

>10.000 Mitarbeiter

Entwicklung einer GPU-basierten Engine, die gewachsene Excel-Fachanwendungen automatisch analysiert und als vollwertige JavaScript-Webanwendung mit relationaler Datenbank neu erzeugt. Sie läuft vollständig auf einer abgesicherten, selbst gehosteten Plattform, ohne Cloud-KI-Dienste.

• Agentische Pipeline mit offenen Technologien: Analyse von Arbeitsmappen, Tabellenstrukturen, Formeln und Geschäftslogik, dann Ableitung von Datenmodell und Fachlogik
• Automatische Generierung von Datenbankschema, Backend-API und Web-Frontend inklusive Datenübernahme aus den Bestandsdateien
• Self-hosted Open-Weight-LLMs auf eigener GPU-Infrastruktur mit vLLM; keine Daten verlassen die gesicherte Umgebung
• Ersetzt fehleranfällige Excel-Lösungen durch mehrbenutzerfähige, wartbare Anwendungen mit Rollen- und Rechtekonzept

Technologien: vLLM, Open-Weight-LLMs, Agentic AI, GPU, Kubernetes, JavaScript/TypeScript, Node.js, React, PostgreSQL, Python

Lead AI Platform Architect – Souveräne 6-Schichten-KI-Plattform

Landesverwaltung Baden-Württemberg

Öffentlicher Dienst

>10.000 Mitarbeiter

Architektur und Aufbau einer vollständig selbst gehosteten, Open-Source-basierten KI-Plattform (ChatGPT-Alternative) für tausende Mitarbeitende mehrerer Ressorts, ohne Datenabfluss an externe Anbieter.

• 6 Schichten: OpenWebUI, Kong API Gateway, Keycloak (SAML 2.0, OAuth2/OIDC, eID, MFA, AD/LDAP), LiteLLM als LLM Gateway, vLLM Model Serving, Qdrant/PostgreSQL für RAG
• GPU-Inferenz für Modelle von 7B bis 70B+ (Llama 3, Mistral, Qwen) mit vLLM/PagedAttention und Ray, Quantisierung, GPU-Autoscaling
• RAG über vertrauliche Wissensbestände mit deutschsprachigen Embeddings und OCR; Klassifizierung von „Öffentlich“ bis „Geheim“
• AI Guardrails, RBAC, Mandantentrennung, Audit-Logging, Datenhaltung in Deutschland/EU; BSI- und DSGVO-konform, WCAG 2.1 AA
• Betrieb per GitOps (ArgoCD, Helm, Terraform), Monitoring mit Prometheus, Grafana, ELK und Jaeger

Technologien: Kubernetes, vLLM, Ray, OpenWebUI, Kong, Keycloak, LiteLLM, Qdrant, PostgreSQL, ArgoCD, Helm, Terraform, Python, TypeScript

Lead Confidential AI Architect – Hardware-isolierte KI für Behörden

Norddeutsches Bundesland

Öffentlicher Dienst

>10.000 Mitarbeiter

Design und Umsetzung einer Confidential-AI-Architektur für sensible Behörden-Workloads.

• Hardware-erzwungene Isolationsschicht mit TEEs (AMD SEV-SNP) und verschlüsseltem Arbeitsspeicher
• Kontinuierliche Remote Attestation als Voraussetzung für jede Schlüssel- und Datenfreigabe
• Zero-Trust-Orchestrierung für Multi-Agenten-Workflows auf eingestuften Daten, mit strikten Sicherheitsrichtlinien und Observability
• Workload-Identitäten mit SPIFFE/mTLS, Isolation per Kata Containers

Technologien: AMD SEV-SNP, TEE, Remote Attestation, Kata Containers, SPIFFE/mTLS, Kubernetes, Zero Trust

Senior AI Platform Architect – Agentic AI Trainingsplattform

Mercedes-Benz AG

Automobil und Fahrzeugbau

>10.000 Mitarbeiter

Architektur einer privaten Multi-Agenten-Plattform, die Schulungsmaterial für das weltweite Service-Netz erstellt, mit über 100.000 Nutzern in 160 Ländern.

• Anpassung der Open-Source-Plattform Dify als zentrales Canvas für agentische Workflows
• Agenten für Strukturierung, technisches Schreiben, Safety-Compliance, Übersetzung (DE/EN/FR/ES), Test und Evaluation, mit Human-in-the-Loop: 2–3 Stunden statt 3–4 Wochen
• Self-hosted LLMs (Llama 3, Mistral) mit vLLM und LiteLLM, GPU-Optimierung und Quantisierung (GPTQ, AWQ); keine Daten an externe KI-Anbieter
• Vektor-Wissensbasis mit Qdrant und PGVector, FastAPI-Middleware für Zero-Trust-Zugriffskontrolle
• Self-managed Kubernetes auf AWS mit Terraform, Helm, Istio und Keycloak/PingID; DevSecOps mit Black Duck, Coverity und Harbor

Technologien: Dify, vLLM, LiteLLM, Llama 3, Mistral, Qdrant, PGVector, FastAPI, Kubernetes, AWS, Terraform, Helm, Istio

AI Platform Engineer – Enterprise-KI-Wissensplattform (STACKIT)

Transdev

Transport und Logistik

>10.000 Mitarbeiter

Aufbau eines souveränen KI-Portals in der deutschen STACKIT Cloud für tausende Mitarbeitende im Verkehrsbetrieb (Disposition, Fahrdienst, Werkstatt, Kundenservice).

• Fine-Tuning von Open-Source-LLMs (Google Gemma, Mistral) auf unternehmensinternen Daten
• RAG-Ökosystem über Betriebsanweisungen und Prozessdokumente: ca. 80 % kürzere Suchzeit
• SSO und Active-Directory-Anbindung, rollenbasierte Zugriffe, KMS und Secret-Vault-Management
• Infrastruktur per GitOps (Flux, Helm) auf Managed Kubernetes; Datenhaltung zu 100 % in Deutschland

Technologien: STACKIT, Kubernetes, Flux, Helm, OpenWebUI, LiteLLM, Gemma, Mistral, RAG, Python

AI / Edge Platform Engineer – Autonomer Drohnenschwarm für Lagerinventur

UR-TechPartner

Internet und Informationstechnologie

< 10 Mitarbeiter

Edge-AI-System für die autonome Inventur von Lagern mit Drohnen.

• Autonome Navigation mit ROS2, Nav2 und SLAM (RTAB-Map), Sensorfusion mit Intel-RealSense-Tiefenkameras
• Live-Objekterkennung mit YOLO, 3D-Punktwolken-Segmentierung mit Open3D
• Containerisierte Computer-Vision-Workloads, CI/CD per GitLab auf Kubernetes; Steuerungs-Dashboard in Next.js

Technologien: ROS2, SLAM, YOLO, OpenCV, Open3D, Kubernetes, GitLab CI, Next.js, Python

DevSecOps & AI Engineer – KI-Extraktion aus technischen Zeichnungen

Werk24

Industrie und Maschinenbau

10-50 Mitarbeiter

KI-gestützte Extraktion von Fertigungsinformationen (PMI) aus technischen Zeichnungen nach DIN/ISO.

• Objekterkennung für Fertigungssymbole (Faster R-CNN, YOLOv5), Training auf NVIDIA-V100-GPUs in Azure ML mit MLflow: ca. 80 % Erkennungsgenauigkeit
• Post-Processing-Microservices auf EKS (PostgreSQL, Redis, RabbitMQ) heben die Genauigkeit auf nahezu 100 %
• REST-API und SDK für die Kundenintegration; Blue-Green-Deployments auf AKS ohne Downtime; ca. 10× schneller als manuelle Erfassung

Technologien: Azure ML, MLflow, PyTorch, AKS, EKS, Helm, Azure DevOps, PostgreSQL, Redis, RabbitMQ, Python

AI/Cloud Consultant – AWS-Datenmigration und PII-Redaktion

Generali

Versicherungen

>10.000 Mitarbeiter

Migration von On-Premises-Daten in eine sichere AWS-Architektur.

• End-to-End-Pipelines für die Datenmigration von On-Premises nach AWS
• Serverless-Architektur mit Lambda, API Gateway, DynamoDB und VPC; Infrastructure as Code mit Terraform und CloudFormation
• Automatisierte Schwärzung personenbezogener Daten (PII) mit AWS Comprehend; Datenbereitstellung in Snowflake

Technologien: AWS Lambda, API Gateway, DynamoDB, CloudFormation, Terraform, Snowflake, AWS Comprehend, Python

AI & Infrastructure Engineer – KI-gestützte Reifeninspektion für Kfz-Werkstätten

STC

Transport und Logistik

10-50 Mitarbeiter

End-to-End-System, mit dem Werkstätten Reifenzustand und Reifendaten automatisch erfassen und passende Ersatzreifen anbieten.

• Präzise Messung der Profiltiefe per Computer Vision und Photogrammetrie (gesetzliche Grenze 1,6 mm)
• Automatisches Auslesen der Reifenspezifikationen von der Seitenwand per OCR
• E-Commerce-Integration mit den besten verfügbaren Kaufoptionen; Betrieb auf Edge-Infrastruktur für Echtzeit-Ergebnisse in der Werkstatt

Technologien: Computer Vision, Photogrammetrie, OCR, Edge Computing, Python, Docker

Data Engineer / AI Consultant – Massendokumenten-OCR und Digitalisierung

Daimler AG

Automobil und Fahrzeugbau

>10.000 Mitarbeiter

Computer-Vision- und OCR-System für die Massenverarbeitung gescannter Dokumente.

• Dokumentklassifizierung mit Computer Vision und Texterkennung mit Tesseract OCR: 99 % Extraktionsgenauigkeit
• Microservices-Architektur, containerisiert und horizontal skaliert auf AWS EKS mit Helm
• Automatisierte Auslieferung per Jenkins CI/CD inklusive automatisierter Tests

Technologien: Python, OpenCV, Tesseract, Docker, Kubernetes, AWS EKS, Helm, Jenkins

Wissenschaftlicher Mitarbeiter – KI-Forschung (Transformer-Sprachmodelle)

Universität Osnabrück

Sonstiges

1000-5000 Mitarbeiter

Forschung zu generativer KI, bevor ChatGPT existierte: Transformer-Sprachmodelle, die sachlich korrekte Unternehmenstexte autonom erzeugen (2019).

• Veröffentlichung „Transforming GPT into an Enhanced Enterprise Text Writer“ (Journal of Big Data, Springer, 2022)
• Deep Learning und NLP für Finanzprognosen auf Basis von Nachrichtenanalyse (Computational Economics, Springer, 2022)
• Insgesamt 6 Veröffentlichungen in internationalen Fachzeitschriften

Technologien: Python, PyTorch, TensorFlow, Transformer, NLP, Deep Learning

Zertifikate

Unix Shell Scripting

Edureka

2025

DevOps Engineering – Postgraduate Program

Purdue University

2025

AWS Certified Cloud Practitioner

Amazon Web Services (AWS)

2024


Kontaktanfrage

Einloggen & anfragen.

Das Kontaktformular ist nur für eingeloggte Nutzer verfügbar.

RegistrierenAnmelden