Ressourcen · 49

Bewerten Sie KI-Regressionen vor einem Versionswechsel

Vergleichen Sie Versionen derselben Aufgaben, finden Sie lokale Verluste und treffen Sie eine Entscheidung, die auf Fällen und nicht auf einem Durchschnitt basiert.

Aktualisiert · 5 min

Unbesetzter Cyberaufklärungsraum bei Nacht KI-generierte redaktionelle Illustration

Wozu dieser Leitfaden beiträgt

  • Isolieren Sie die getestete Änderung
  • Behalten Sie einen unabhängigen Referenzsatz bei
  • Untersuchen Sie Fehler nach Segmenten
  • Herunterfahren oder Rollback vorbereiten

Kurzcheck

  • Welche Komponente hat sich geändert?
  • Wurde der Testsatz zur Optimierung des Kandidaten verwendet?
  • Wer löst Meinungsverschiedenheiten bei Anmerkungen?
  • Versteckt ein Durchschnitt einen sensiblen Fehler?
  • Kann die vorherige Konfiguration wiederhergestellt werden?

Schritt-für-Schritt-Anleitung

  1. 1

    Aufgaben und Absagen definieren

    Beschreiben Sie erwartete Ergebnisse, zulässige Daten und kostspielige Fehler. Trennen Sie Genauigkeit, Nützlichkeit, angemessene Ablehnung und Aktionseffekte. Das Rahmenwerk des NIST fordert eine kontextgerechte Messung; es liefert keinen universellen Zuverlässigkeitswert.

    Liefergegenstand: Kriterien und Entscheidungsträger.

  2. 2

    Separate Referenz und Entdeckung

    Halten Sie einen stabilen Satz aus der Optimierung fern. Fügen Sie neue anonymisierte Feedback-Fälle separat hinzu: Sie offenbaren blinde Flecken, sollten aber nicht stillschweigend den Vergleichsnenner ändern.

    Lieferbar: versionierte Sets mit Provenienz.

  3. 3

    Dokumentanmerkung

    Erklären Sie, was eine Antwort akzeptabel, unvollständig oder falsch macht. Lassen Sie Unklarheiten von einem kompetenten Gutachter klären und die Gründe für Meinungsverschiedenheiten festhalten. Eine einzelne Referenzantwort kann für eine offene Aufgabe zu restriktiv sein.

    Lieferinhalt: Rubrik und entschiedene Fälle.

  4. 4

    Vergleichen Sie unter gleichen Bedingungen

    Identische Eingaben mit aufgezeichneten Versionen, Parametern, Tools und Quellen wiedergeben. Wiederholen Sie die Versuche, wenn die Ergebnisse variieren, und melden Sie Abweichungen. Separater Modellfehler, fehlende Daten, nicht verfügbare Tools und ein fehlerhafter Test.

    Lieferbar: gepaarte Ergebnisse und minimierte Spuren.

  5. 5

    Nach Risikofamilie entscheiden

    Untersuchen Sie Verluste nach Sprache, Dokumenttyp und sensibler Situation, auch wenn sich der Mittelwert verbessert. Definieren Sie Stopp-, Korrektur- und begrenzte Freigabekriterien, bevor Sie die Ergebnisse lesen. Ein schwerwiegender Fall kann die Verweigerung einer Entlassung rechtfertigen.

    Liefergegenstand: Entscheidung, Vorbehalte und Ausnahmen.

  6. 6

    Wiederholung nach Veröffentlichung

    Bereiten Sie eine wiederherstellbare Konfiguration und einen erreichbaren Besitzer vor. Vergleichen Sie frühes Feedback mit dem Testsatz, ohne den lokalen Erfolg als Beweis für alle Verwendungen zu betrachten. Bewerten Sie neu, wenn sich Daten oder Abhängigkeiten ändern.

    Lieferinhalt: Überwachungs- und Rollback-Verfahren.

Verstehen, berechnen und entscheiden

Dieselben Fälle vergleichen: Nettogewinne und lokale Rückschritte

Zwei Gesamtraten zeigen nicht, welche Fälle sich geändert haben. Im fiktiven Beispiel wird jede Aufgabe für A und B nach demselben vorher festgelegten Kriterium als akzeptabel oder nicht akzeptabel beurteilt.

Eine angemessene Ablehnung kann zur Aufgabe passen und akzeptabel sein. Fälle mit fehlendem Urteil bleiben getrennt und zählen nicht als Fehler.

Fiktiver Referenzfall: 100 beidseitig beurteilte Aufgaben
A / BB akzeptabelB nicht akzeptabel
A akzeptabel 70Beide akzeptabel 10Verluste von A zu B
A nicht akzeptabel 15Gewinne von A zu B 5Beide nicht akzeptabel

Berechnungsregel

N = c + l + g + e ; A% = 100(c + l)/N ; B% = 100(c + g)/N ; Δpp = 100(g − l)/N

Übergänge interpretieren

Was die Rate nicht entscheidet

Diese fiktiven Varianten sind unabhängig von den Eingaben im Rechner.

  1. Paaren

    Fallkennungen, Versionen und Testbedingungen zuordnen.

  2. Beurteilen

    Gleiches Kriterium anwenden und fehlende oder unklare Urteile klären.

  3. Prüfen

    Verluste vor der Entscheidung nach Risikofamilie prüfen.

Fiktive Übungen ohne Bewertung eines realen Systems.

Gleiche Rate, gleiche akzeptable Antworten?
Beobachtung
Andere Fälle enthalten zehn Gewinne und zehn Verluste.
Erwartete Einordnung
Die Nettodifferenz ist null, aber zwanzig Fälle ändern den Status.
Das Urteil für B fehlt?
Beobachtung
A ist beurteilt, B noch nicht.
Erwartete Einordnung
Das Paar getrennt halten, die Lücke ausweisen und das Urteil nachholen.
Die Bewertungsregel hat sich geändert?
Beobachtung
A verwendet das alte, B das neue Kriterium.
Erwartete Einordnung
Beide Versionen vor dem Vergleich nach einer gemeinsamen Regel neu beurteilen.
Nur ein kritischer Verlust?
Beobachtung
Ein Verlust verletzt eine vorher als blockierend definierte Isolationsregel.
Erwartete Einordnung
Freigabe für diesen Umfang aussetzen; fünfzehn Gewinne beseitigen den Blocker nicht.

Wiederverwendbares Arbeitsblatt

Ergänzen Sie Ihre autorisierten Beobachtungen. Bei diesen Feldern handelt es sich um eine Arbeitsvorlage, nicht um beobachtete Ergebnisse.

FeldZu erfassende Informationen
Fall und SegmentStabile Kennung, Sprache, Aufgabentyp
ErwartetAkzeptanzkriterium und Referenznachweis
Versionen A / BErgebnis, Wiederholung, Fehlerursache
EntscheidungAkzeptieren, korrigieren oder stoppen; Besitzer und Beweise

Fiktives Arbeitsbeispiel

Beispielhafte Situation

Fiktives Beispiel: Diese Daten beschreiben keine Kunden oder beobachteten Ergebnisse. Ein Klassifikator verbessert seinen Gesamtwert, erkennt aber dringend zu bearbeitende Anfragen schlechter.

Entscheidung und erwartete Beweise

Identische Fälle wiederholen, Ergebnisse nach Anfrageart aufbewahren und kritische Fehler anhand einer gemeinsamen Definition prüfen. Nach Schwere, Umfang und Wiederherstellbarkeit entscheiden. Der beste Durchschnitt ist nicht automatisch die beste Wahl für den Dienst.

Unterscheiden Sie die Mechanismen

MechanismusZweckÜberprüfung oder Einschränkung
Stabiles SetVersionen vergleichenAus der Optimierung heraushalten
Neue FälleFinden Sie tote WinkelBericht getrennt von historischen Ergebnissen
Dienstbegleitende BeobachtungVerstehen Sie die tatsächliche NutzungRespektieren Sie Berechtigungen, Minimierung und Kontext

Managementindikatoren

IndikatorWas es misstErste Aktion
PaarverlusteBisher akzeptierte Fälle schlagen jetzt fehlUntersuchen Sie jeden sensiblen Verlust
Meinungsverschiedenheit bezüglich der AnmerkungFälle mit unterschiedlichen UrteilenKlären Sie die Rubrik vor dem Vergleich
SegmentabdeckungTatsächlich dargestellte SituationenNennen Sie ungetestete Verwendungen

Häufige Fallstricke

  • Optimierung beim Abschlusstest
  • Wechselset und Version zusammen
  • Einen automatisierten Richter als Wahrheit behandeln
  • Akzeptieren kritischer Verluste, weil sich der Mittelwert verbessert

Häufig gestellte Fragen

Ist ein automatisierter Richter erforderlich?

Nein. Es kann die Triage beschleunigen, wenn seine Rubrik validiert ist; Uneindeutige oder kostspielige Fälle bedürfen weiterhin einer geschäftlichen Entscheidung.

Reicht eine mittlere Verbesserung?

Nein. Vergleichen Sie relevante Fälle und Segmente und wenden Sie dann die vor dem Test festgelegten Kriterien an.

Wie viele Fälle werden benötigt?

Das Volumen hängt von Vielfalt und Risiko ab. Anzahl, Herkunft und Einschränkungen der Berichte; Kein kleiner Satz schafft allgemeine Sicherheit.

RAG: Zugriffsrechte, Zitate und Caches

Ausführliche Hinweise stehen in dieser Ausgabe auf Englisch zur Verfügung.

Replay rights after every RAG-chain change

Changing a lexical engine, fusion, cache or citation resolver may reopen a secondary path. Freeze a fictional document set with expected outcomes before comparing versions.

  • Version policy, index, connector, model and cases.
  • Exercise initial, revoked-group and deleted-object states.
  • Examine every difference without hiding a critical failure in an average.

Explore the RAG access matrix and replay cases →

References consulted on · OWASP · LLM08:2025 Vector and Embedding Weaknesses OWASP · API1:2023 Broken Object Level Authorization

KI: JSON-Ergebnisse prüfen

Ausführliche Hinweise stehen in dieser Ausgabe auf Englisch zur Verfügung.

Test refused and undecidable outputs too

A model, prompt or validator update can change handling of duplicates, types and dates. Acceptance checks need to cover these decisions beyond the number of parseable JSON responses.

  • Version the schema, validator settings and reference cases.
  • Check that well-formed but false values remain blocked.
  • Keep syntax, contract, date and evidence errors separate.

Compare the 14 outputs and their reasons →

Sources reviewed on · IETF · RFC 8259 · JSON Schema · Object reference · JSON Schema · Draft 2020-12 validation · Python 3.12 · json decoder · python-jsonschema · Schema validation · OWASP · LLM05:2025 Improper Output Handling

RAG: Relevanz und Rangfolge

Ausführliche Hinweise stehen in dieser Ausgabe auf Englisch zur Verfügung.

Compare retrieval before evaluating the answer

Keep the same needs, judgments and depth k when comparing configurations. Inspect regressing queries before drawing conclusions from an average.

  • Separate window precision, relevant-record coverage and ordering quality.
  • Document missing judgments and the no-relevant-record convention.
  • Then evaluate the answer, citations and refusals using a separate protocol.

Explore ranking measures and relevance judgments →

Stanford CS276 · Retrieval evaluation · 2019 course archive · PDF pp. 3, 5–6 · consulted 2026-10-23

NIST TREC · Reciprocal rank definition · Repository snapshot 35cf096ba6d5ae08ca4803c056b31ed61a56a6d4 · consulted 2026-10-23

Offizielle Referenzen

Die Referenzen unterstützen die Methode. Passen Sie die Prüfungen an Ihren Kontext an; sie stellen keine Zertifizierung dar. Originalreferenztitel und Quelldokumente können in einer anderen Sprache verfasst sein.

Referenzen geprüft am .