24.10.2026 aktualisiert
nicht verfügbar
info: nicht verfügbar bis 01.02.2027
AI Quality Engineer: LLM-Testing, agentische Testautomatisierung, Security
Wolfsburg, Deutschland
Nur Remote
Studium der SozialökonomieÜber mich
Ich teste KI-Systeme und baue KI, die testet. 22 Jahre Entwicklung, Test und Security, heute agentische QA-Plattformen und LLM-Security-Tests nach OWASP. Harte Budgets, deterministische Prüftore, nachvollziehbare Urteile. Breaking software before your customers do.
Skills
RustJMeterLLMOpenAIOllamaISTQBJavaA/B TestingAPIsAgile MethodologieKünstliche IntelligenzPenetration TestingTest AutomationContinuous IntegrationGroovy
KI-Systeme testen
- Evaluation von LLM-Anwendungen und Agenten: LLM-as-Judge, Trajektorien-Bewertung, Regressionstests für Prompts und Modellwechsel
- Guardrails und Ausgabeprüfung: deterministische Prüftore, Schema-Validierung, Redaktion von Geheimnissen vor jedem Modellaufruf
- Teststrategie für KI-Systeme nach ISTQB CT-AI und CT-GenAI: Risiken, Testorakel, Abnahmekriterien
LLM-Security und AI Red Teaming
- Adversariale Tests entlang der OWASP Top 10 for LLM Applications: Prompt Injection, Jailbreaks, Datenabfluss, unsichere Ausgabeverarbeitung
- Eigenes Angriffswerkzeug (Rust/Tauri): Angriffs-Prompts als Matrix gegen KI-Endpunkte, LLM-Judge, HTML-Reports, air-gap-fähig
- Threat Modeling für Agenten, Tool-Anbindungen und LLM-Integrationen
Agentische Testautomatisierung
- E2E-Testplattform mit sieben KI-Agenten auf Basis der Playwright Test Agents, selbst konzipiert und gebaut
- Generierungs- und Heilungs-Loops mit Lint-Gates, risikobasiertes Test-Budget gegen Testsuiten-Wildwuchs
- Wissensquellen Jira, Confluence und GitHub als Grundlage der Testableitung
- Provider-Abstraktion für Anthropic Claude, Azure OpenAI und lokale Modelle (Ollama, llama.cpp), Prompt-Versionierung je Agent
KI in der QA einführen
- Werkzeugauswahl, Pilotierung und ehrliche Bewertung von Mehrwert und Grenzen
- CI/CD-Gates für Agenten-Code, Kosten- und Token-Budgets, nachvollziehbare Ergebnisse
- KI-gestützte Entwicklung mit Claude Code und Codex im Projektalltag
Security-Testing
- Penetrationstests und Application Security nach OWASP Top 10: OWASP ZAP, Burp Suite, Nmap, Nessus
- SAST und DAST in Entwicklungsprozesse integrieren: SonarQube, OWASP ZAP
- Schwachstellen bewerten, priorisieren und mit den Teams zur Behebung bringen
Performance- und Lasttests
- JMeter und k6, verteilte Ausführung auf Kubernetes, Monitoring mit Prometheus und Grafana
- Erfahrung mit kritischen Systemen: elektronische Patientenakte, Cell Broadcast, Förderplattform der Bundesagentur für Arbeit,
Testmanagement und Automatisierung
- Teststrategien und Testkonzepte, risikobasiertes Testen, API-Tests (Postman, Bruno), E2E (Playwright, Cypress, Selenium, Cucumber)
- CI/CD mit GitLab, GitHub Actions und Jenkins, Testmanagement mit Jira und Zephyr Scale
- Mentoring und Einarbeitung von Junior Testern
Entwicklung
- Java, Spring Boot, TypeScript, React, Rust, Python, SQL, PostgreSQL, Docker
- 22 Jahre Praxis von der JEE-Entwicklung bis zum eigenen KI-Produkt
Erfahrung
Berufserfahrung5 - 10 Jahre
Freelancer seit2018
Sprachen
DeutschMutterspracheEnglischverhandlungssicher
Projekthistorie
Agentengestützte E2E-Testplattform auf Basis der Playwright Test Agents. KI-Agenten leiten aus Jira, Confluence und GitHub risikobasiert die geschäftskritischen Testszenarien ab und erzeugen lauffähige Playwright-Tests.
- Produktvision und Architektur verantwortet: Spring-Boot-Backend, Node-Agent-Worker, React-Cockpit, PostgreSQL als Datenspeicher und Job-Queue
- Team aus sieben Agenten entworfen: Planner, Generator und Healer plus Scout, Kurator, Triage und Chronist
- Hartes Test-Budget gegen Testsuiten-Wildwuchs eingeführt: Qualität vor Quantität
- Generierungs- und Heilungs-Loop gebaut: Lint-Gates, bis zu drei Heilversuche, Ergebnis als Pull Request
- LLM-Provider-Abstraktion für Anthropic Claude und Azure OpenAI umgesetzt, Modell und Prompt-Version je Agent, Prompt-Editor mit Rollback
Tools: Claude Code, Java 21, Spring Boot, PostgreSQL, Node.js, React, Playwright, Docker, GitHub Actions
Last- und Performancetests für eine Messaging-Infrastruktur der Deutschen Bahn auf Basis von ActiveMQ und JMS.
- Fachliche Führung im Team aus drei Performance-Testern: Vorgehen festgelegt, Wissen aufgebaut, Kollegen eingearbeitet
- Last- und Performancetests mit JMeter gegen ActiveMQ über JMS geplant, entwickelt und ausgewertet
- CI-Pipeline in GitLab für die automatisierte Ausführung der Lasttests aufgebaut
- Testumgebungen mit Ansible bereitgestellt, Lastgeneratoren in Containern mit Docker und Podman betrieben
Tools: JMeter, ActiveMQ, JMS, GitLab CI/CD, Ansible, Docker, Podman
Webbasierte Lasttest-Plattform auf Grafana k6. Berater konfigurieren einen Lasttest als fachlichen Steckbrief, verfolgen ihn live und erhalten eine begründete Ampelbewertung.
- Produktvision und Architektur verantwortet: Rust-Workspace mit Fachkern, SQLite und axum-Server, React-Frontend, Auslieferung als ein Binary
- Guardrails je Projekt umgesetzt: erlaubte Zielhosts, Obergrenzen für Last und virtuelle Nutzer, Geheimnisse nur über Umgebungsvariablen
- Verteilte Ausführung über mehrere Lastrechner gebaut: konstante Gesamtlast, Herzschlag mit Totmannschalter
- Deterministische Ampelbewertung mit Baseline-Vergleich und Live-Auswertung per Server-Sent Events entwickelt
- KI-Assistent zur Ergebniserklärung angebunden: Redaktion von Geheimnissen, Schutz gegen Prompt Injection, Token-Budgets
Tools: Claude Code, Rust, axum, SQLite, k6, React, TypeScript, Docker, Anthropic Claude, Azure OpenAI