Qualitätssicherung von KI-Ergebnissen im Testmanagement: Human-in-the-Loop und LLM-as-a-Judge

Generative KI ist im Testmanagement längst mehr als ein Hilfsmittel für bessere Formulierungen. Sie unterstützt bei Testideen, Akzeptanzkriterien, Risikoanalysen, Defect-Zusammenfassungen, Management-Reports und teilweise auch bei der Vorbereitung automatisierter Tests. Damit steigt die Geschwindigkeit, mit der testrelevante Artefakte entstehen.

Genau darin liegt aber auch das Risiko. KI-Ergebnisse wirken oft plausibel, strukturiert und fachlich sauber. Trotzdem können Annahmen fehlen, Risiken falsch gewichtet, Testfälle zu oberflächlich oder Ergebnisse nicht nachvollziehbar sein. Wer solche Inhalte ungeprüft übernimmt, erzeugt keine Qualität, sondern Scheinsicherheit.

Qualitätssicherung von KI-Ergebnissen bedeutet deshalb: KI darf vorbereiten, strukturieren und bewerten helfen. Die Verantwortung für fachliche Richtigkeit, methodische Qualität und Freigabe bleibt jedoch beim Menschen. Human-in-the-Loop und LLM-as-a-Judge können dabei wichtige Bausteine sein – wenn sie sauber in Testprozesse, Governance und Nachweisführung eingebettet werden.

Warum das Thema jetzt relevant ist

Die bisherigen Diskussionen zu KI im Testmanagement haben sich häufig auf Effizienz konzentriert. Wie lassen sich Testfälle schneller erstellen? Wie können Anforderungen verdichtet werden? Wie hilft KI bei Risikobewertung oder Reporting? Diese Fragen bleiben wichtig. Für den produktiven Einsatz reicht Geschwindigkeit allein aber nicht aus.

Mit KI-Governance ist der organisatorische Rahmen gesetzt: klare Regeln, Verantwortlichkeiten und Nachvollziehbarkeit. Mit Agentic Coding steigt zusätzlich die Eingriffstiefe von KI in Entwicklungs- und Testprozesse. Der nächste logische Schritt ist daher die Frage, wie die Ergebnisse dieser KI-Nutzung konkret geprüft werden.

Auch regulatorisch wird diese Frage konkreter. Der EU AI Act verpflichtet Anbieter und Betreiber von KI-Systemen seit dem 2. Februar 2025 über Artikel 4 dazu, ein ausreichendes Maß an KI-Kompetenz sicherzustellen – unabhängig von der Risikoklasse des eingesetzten Systems. NIST beschreibt mit dem AI Risk Management Framework und dem Generative-AI-Profil zudem einen risikoorientierten Umgang mit KI-Systemen. Für das Testmanagement folgt daraus: KI-Ergebnisse müssen nicht nur nützlich sein, sondern prüfbar, erklärbar und verantwortbar.

Was Human-in-the-Loop bedeutet

Human-in-the-Loop beschreibt einen Arbeitsmodus, bei dem KI-Ergebnisse nicht autonom in verbindliche Artefakte oder Entscheidungen übergehen. Der Mensch bleibt bewusst in der Entscheidungsschleife. Er prüft, bewertet, korrigiert und gibt frei.

Im Testmanagement ist das besonders wichtig, weil viele Artefakte eine direkte Qualitätswirkung haben. Ein KI-generierter Testfall beeinflusst, was später geprüft wird und was möglicherweise ungetestet bleibt. Eine KI-generierte Risikoeinschätzung beeinflusst Prioritäten. Eine KI-generierte Management Summary kann Entscheidungen prägen.

Human-in-the-Loop ist deshalb kein Misstrauen gegenüber KI. Es ist ein Qualitätsmechanismus. KI erzeugt Geschwindigkeit und Struktur. Der Mensch sichert Kontext, Verantwortung und fachliche Belastbarkeit.

Was LLM-as-a-Judge leisten kann

LLM-as-a-Judge bezeichnet den Einsatz eines Sprachmodells als prüfende Instanz. Ein Modell bewertet zum Beispiel, ob ein Testfall zu einer Anforderung passt, ob Akzeptanzkriterien testbar formuliert sind oder ob eine Risikoanalyse nachvollziehbar begründet wurde.

Der Ansatz ist interessant, weil er skalierbare Vorprüfung ermöglicht. Ein LLM kann große Mengen an Artefakten schnell gegen definierte Kriterien prüfen und Hinweise geben: Wo fehlen Negativfälle? Sind Annahmen markiert? Gibt es Widersprüche zwischen Anforderung und Testfall? Ist ein Ergebnis zu allgemein formuliert?

Gleichzeitig darf LLM-as-a-Judge nicht falsch verstanden werden. Ein Modell kann eine hilfreiche Zweitprüfung liefern, aber keine unabhängige fachliche Wahrheit garantieren. Forschung zu LLM-as-a-Judge zeigt, dass solche Bewertungen nützlich sein können, aber systematische Verzerrungen aufweisen, etwa Position Bias (Bevorzugung nach Reihenfolge), Verbosity Bias (Bevorzugung längerer Antworten) und Self-Preference Bias (Bevorzugung selbst erzeugter Inhalte). Hinzu kommt, dass die Bewertung nur so verlässlich ist wie die Kriterien, die ihr vorgegeben werden.

Warum KI-Prüfung mehr ist als Korrekturlesen

KI-Ergebnisse nur sprachlich zu glätten, reicht nicht aus. Im Testmanagement geht es nicht darum, ob ein Text gut klingt. Entscheidend ist, ob ein Artefakt fachlich korrekt, testmethodisch sauber und im Projektkontext verwendbar ist.

Ein KI-generierter Testfall kann formal gut aussehen und trotzdem das falsche Risiko prüfen. Eine Risikobewertung kann plausibel klingen und trotzdem kritische Geschäftsprozesse ausblenden. Eine Zusammenfassung kann professionell formuliert sein und dennoch offene Punkte oder Abhängigkeiten verschweigen.

Qualitätssicherung von KI-Ergebnissen muss deshalb auf mehreren Ebenen erfolgen: fachlich, methodisch, technisch und governancebezogen. Erst wenn diese Ebenen zusammenkommen, entsteht ein belastbarer Prüfprozess.

Ein praxistaugliches Prüfmodell

Ein sinnvoller Prüfprozess muss einfach genug sein, um im Projektalltag gelebt zu werden. Gleichzeitig muss er dort streng sein, wo KI-Ergebnisse in verbindliche Artefakte oder Entscheidungen einfließen.

Die erste Ebene ist die fachliche Prüfung. Hier geht es um die Frage, ob das KI-Ergebnis zur Anforderung, zum Geschäftsprozess und zum fachlichen Risiko passt. Stimmen Begriffe, Rollen, Sonderfälle und fachliche Annahmen?

Die zweite Ebene ist die testmethodische Prüfung. Sind Akzeptanzkriterien testbar? Sind Testfälle eindeutig, wiederholbar und unabhängig? Sind Positiv-, Negativ- und Randfälle ausreichend berücksichtigt? Besteht im Sinne eines risikobasierten Vorgehens eine durchgängige Traceability zwischen Anforderung, Risiko und Testnachweis?

Die dritte Ebene ist die Governance-Prüfung. Wurde mit zulässigen Eingabedaten gearbeitet? Sind Annahmen und Grenzen des KI-Ergebnisses sichtbar? Ist nachvollziehbar, wer geprüft und freigegeben hat? Genau hier verbinden sich Human-in-the-Loop, LLM-as-a-Judge und klassische Review-Prozesse.

Praxisbeispiel aus dem Testmanagement

Ein Team nutzt Generative KI, um aus einer User Story erste Akzeptanzkriterien und Testfälle abzuleiten. Das Ergebnis wirkt auf den ersten Blick vollständig. Es enthält einen Happy Path, mehrere Prüfschritte und eine saubere Beschreibung des erwarteten Ergebnisses.

Im ersten Review prüft der Testmanager, ob der fachliche Kontext stimmt und ob die wichtigsten Risiken berücksichtigt sind. Dabei fällt auf, dass ein Negativfall für fehlende Berechtigung und ein Randfall für abgelaufene Session fehlen. Anschließend wird ein LLM-as-a-Judge eingesetzt, um die Testfälle gegen definierte Kriterien zu bewerten: Testbarkeit, Eindeutigkeit, Abdeckung von Randfällen und Nachvollziehbarkeit.

Das Modell liefert Hinweise auf unklare Vorbedingungen und eine zu allgemeine Erwartungsbeschreibung. Der Testmanager entscheidet, welche Hinweise relevant sind, ergänzt die Testfälle und dokumentiert die geprüfte Version in Zephyr Scale. Der Bezug zur User Story bleibt in Jira erhalten, ergänzende Erläuterungen werden in Confluence abgelegt.

Das Ergebnis ist nicht „KI hat Testfälle geschrieben“. Das Ergebnis ist ein nachvollziehbarer Prüfpfad: KI-Entwurf, methodische Vorprüfung, menschliche Bewertung, Anpassung und dokumentierte Freigabe.

Typische Fehler bei der Bewertung von KI-Ergebnissen

Der häufigste Fehler ist, KI-Ergebnisse wegen guter Sprache für fachlich belastbar zu halten. Gerade Generative KI erzeugt oft sehr überzeugende Formulierungen. Das kann dazu führen, dass Review-Schritte verkürzt werden, weil ein Ergebnis professionell wirkt.

Ein zweiter Fehler ist die reine Mengenlogik. Mehr Testfälle bedeuten nicht automatisch bessere Qualität. Wenn KI sehr viele Tests erzeugt, aber geschäftskritische Pfade oder Negativszenarien fehlen, entsteht nur scheinbare Abdeckung.

Ein dritter Fehler ist der unklare Einsatz von LLM-as-a-Judge. Wenn das Bewertungsmodell keine klaren Kriterien erhält, bewertet es nach Sprachqualität, Vollständigkeitseindruck oder allgemeiner Plausibilität. Für Testmanagement reicht das nicht. Bewertet werden müssen konkrete Qualitätskriterien, nicht Stil.

Hinzu kommen Sicherheits- und Prozessrisiken, wie sie die OWASP Top 10 für LLM-Anwendungen (Edition 2025) beschreiben. Für das Testmanagement besonders relevant sind Improper Output Handling (LLM05, unsichere Weiterverarbeitung von Ausgaben), Excessive Agency (LLM06, zu großer Handlungsspielraum) und Misinformation (LLM09) – jene Kategorie, unter der die frühere Position Overreliance, also übermäßiges Vertrauen in KI-Ausgaben, seit 2025 geführt wird. Je weiter KI-Ergebnisse in nachgelagerte Schritte einfließen, desto wichtiger wird ihre Validierung.

Unser Ansatz bei KRIEGHOFF SOLUTIONS

Bei KRIEGHOFF SOLUTIONS betrachten wir die Qualitätssicherung von KI-Ergebnissen nicht als zusätzlichen Kontrollaufwand, sondern als notwendige Voraussetzung für professionellen KI-Einsatz im Testmanagement. Der entscheidende Punkt ist nicht, ob KI gute Entwürfe erzeugen kann. Entscheidend ist, ob diese Entwürfe kontrolliert, nachvollziehbar und fachlich belastbar in den Projektprozess überführt werden.

Unser Ansatz verbindet Testmanagement, KI-Governance und konkrete Tool-Praxis. KI-Ergebnisse werden als Entwürfe behandelt, über klare Prüfkriterien bewertet und nur nach menschlicher Freigabe in verbindliche Artefakte übernommen. LLM-as-a-Judge kann dabei als zusätzliche Vorprüfung eingesetzt werden, ersetzt aber nicht die fachliche Verantwortung.

In der praktischen Umsetzung bedeutet das: Anforderungen, Risiken, Testfälle und Nachweise bleiben miteinander verbunden. Jira, Zephyr Scale, Confluence und GitHub werden nicht isoliert betrachtet, sondern als Bestandteile eines nachvollziehbaren Qualitätsprozesses. So entsteht ein Arbeitsmodus, in dem KI beschleunigt, ohne Transparenz und Verantwortung zu verlieren.

Was das konkret bringt

Saubere Qualitätssicherung von KI-Ergebnissen verbessert nicht nur einzelne Artefakte. Sie stabilisiert den gesamten Umgang mit KI im Testmanagement.

Teams bekommen klarere Kriterien, wann ein KI-Ergebnis nutzbar ist und wann nicht. Reviews werden weniger subjektiv, weil nicht nach Bauchgefühl entschieden wird, sondern nach fachlichen und methodischen Prüfpunkten. Risiken werden früher sichtbar, weil KI-Entwürfe nicht direkt übernommen, sondern gezielt hinterfragt werden.

Gleichzeitig bleibt die Geschwindigkeit erhalten. KI kann weiterhin strukturieren, vorbereiten und Varianten liefern. Der Unterschied liegt darin, dass der Übergang von Entwurf zu verbindlichem Artefakt bewusst gesteuert wird. Genau diese Steuerung macht den Einsatz von KI im Testmanagement belastbar.

Fazit

KI-Ergebnisse werden im Testmanagement nur dann wertvoll, wenn sie geprüft, eingeordnet und verantwortet werden. Gute Formulierungen reichen nicht. Entscheidend sind fachliche Richtigkeit, testmethodische Qualität, Nachvollziehbarkeit und Freigabe.

Human-in-the-Loop und LLM-as-a-Judge sind dafür zwei wichtige Bausteine. Der Mensch sichert Kontext und Verantwortung. Das Sprachmodell kann als zusätzliche Prüfinstanz Hinweise liefern, Muster erkennen und Konsistenz unterstützen. Erst zusammen entsteht ein tragfähiger Qualitätsprozess.

Damit wird Qualitätssicherung von KI-Ergebnissen zum nächsten logischen Schritt nach KI-Governance und Agentic Coding. Wer KI produktiv im Testmanagement einsetzen will, braucht nicht nur Geschwindigkeit, sondern einen klaren Prüfmechanismus. Genau daran entscheidet sich, ob KI langfristig Qualität verbessert oder nur schneller Unsicherheit erzeugt.