Bronnen · 49

Evalueer AI-regressies voordat u versies wijzigt

Vergelijk versies op dezelfde taken, vind lokale verliezen en neem een ​​beslissing op basis van gevallen in plaats van een gemiddelde.

Bijgewerkt · 5 min

Lege operationele ruimte voor cyberinlichtingen bij nacht Redactionele illustratie gegenereerd met AI

Wat deze handleiding helpt bereiken

  • Isoleer de geteste wijziging
  • Bewaar een onafhankelijke referentieset
  • Inspecteer fouten per segment
  • Bereid afsluiting of terugdraaien voor

Snelle controle

  • Welke component is gewijzigd?
  • Is de testset gebruikt om de kandidaat te optimaliseren?
  • Wie lost meningsverschillen over annotaties op?
  • Verbergt een gemiddelde een gevoelige fout?
  • Kan de vorige configuratie worden hersteld?

Stapsgewijze methode

  1. 1

    Definieer taken en weigeringen

    Beschrijf de verwachte output, toegestane data en kostbare fouten. Maak onderscheid tussen nauwkeurigheid, bruikbaarheid, gepaste weigering en effecten van acties. Het NIST-raamwerk vereist contextspecifieke metingen; het biedt geen universele betrouwbaarheidsscore.

    Resultaat: criteria en beslissingsverantwoordelijke.

  2. 2

    Maak onderscheid tussen referentie en ontdekking.

    Houd een stabiele set buiten de optimalisatie. Voeg nieuwe geanonimiseerde feedbackgevallen afzonderlijk toe: deze onthullen blinde vlekken, maar mogen de vergelijkingsnoemer niet stilletjes veranderen.

    Resultaat: versiebeheerde sets met herkomstgegevens.

  3. 3

    Documenteer annotaties.

    Leg uit wat een antwoord acceptabel, gedeeltelijk of onjuist maakt. Laat een bekwame beoordelaar onduidelijkheden oplossen en bewaar de redenen voor meningsverschillen. Een enkel referentieantwoord kan te beperkend zijn voor een open taak.

    Resultaat: beoordelingsschema en beoordeelde gevallen.

  4. 4

    Vergelijken onder gelijke omstandigheden

    Herhaal identieke invoer met opgenomen versies, parameters, tools en bronnen. Herhaal tests wanneer de uitvoer varieert en rapporteer de variatie. Scheid modelfouten, ontbrekende gegevens, niet-beschikbare tools en een defecte test.

    Resultaat: gepaarde resultaten en geminimaliseerde sporen.

  5. 5

    Beslissen op basis van risicocategorie

    Inspecteer verliezen per taal, documenttype en gevoelige situatie, zelfs wanneer het gemiddelde verbetert. Definieer stop-, correctie- en beperkte vrijgavecriteria voordat de resultaten worden gelezen. Eén ernstig geval kan het uitstellen van een vrijgave rechtvaardigen.

    Resultaat: beslissing, voorbehouden en uitzonderingen.

  6. 6

    Herhaal na vrijgave

    Bereid een herstelbare configuratie en een bereikbare eigenaar voor. Vergelijk vroege feedback met de testset zonder lokaal succes als bewijs voor alle toepassingen te beschouwen. Herbeoordeel wanneer gegevens of afhankelijkheden veranderen.

    Resultaat: monitoring- en terugdraaiprocedure.

Begrijpen, berekenen en beslissen

Vergelijk dezelfde gevallen: nettowinst en lokale achteruitgang

Twee totaalpercentages tonen niet welke gevallen veranderden. In dit fictieve voorbeeld krijgt elke taak voor A en B hetzelfde vooraf vastgestelde oordeel: aanvaardbaar of niet aanvaardbaar.

Een passende weigering kan voor de taak aanvaardbaar zijn. Gevallen met een ontbrekend oordeel voor een versie blijven apart en tellen niet als fouten.

Fictief referentiegeval: 100 voor beide beoordeelde taken
A / BB aanvaardbaarB niet aanvaardbaar
A aanvaardbaar 70Beide aanvaardbaar 10Verliezen van A naar B
A niet aanvaardbaar 15Winsten van A naar B 5Beide niet aanvaardbaar

Rekenregel

N = c + l + g + e ; A% = 100(c + l)/N ; B% = 100(c + g)/N ; Δpp = 100(g − l)/N

Overgangen uitleggen

Wat het percentage niet beslist

Deze fictieve varianten staan los van de invoer in de rekenhulp.

  1. Koppelen

    Lijn geval-ID's, versies en testvoorwaarden uit.

  2. Beoordelen

    Gebruik hetzelfde criterium en los ontbrekende of onduidelijke oordelen op.

  3. Onderzoeken

    Bekijk verliezen per risicofamilie voordat u beslist.

Fictieve oefeningen zonder beoordeling van een echt systeem.

Zelfde percentage, dezelfde aanvaardbare antwoorden?
Waarneming
Een andere groep heeft tien winsten en tien verliezen.
Verwachte uitleg
Het nettoverschil is nul, maar twintig gevallen veranderen van status.
Het oordeel voor B ontbreekt?
Waarneming
A is beoordeeld, B nog niet.
Verwachte uitleg
Houd het paar buiten de volledige tabel, meld het ontbreken en verkrijg het oordeel.
De beoordelingsregel is veranderd?
Waarneming
A gebruikt het oude criterium en B het nieuwe.
Verwachte uitleg
Beoordeel beide versies opnieuw met een gemeenschappelijke regel.
Slechts één kritiek verlies?
Waarneming
Een verlies schendt een isolatieregel die vooraf als blokkerend is bepaald.
Verwachte uitleg
Houd vrijgave voor dat bereik tegen; vijftien winsten nemen de blokkade niet weg.

Herbruikbaar werkblad

Vul in met uw geautoriseerde observaties. Deze velden zijn een werksjabloon, geen waargenomen resultaten.

VeldInformatie om vast te leggen
Casus en segmentStabiele identificator, taal, taaktype
VerwachtAcceptatiecriterium en referentiebewijs
Versies A / BResultaat, herhaling, oorzaak van falen
BeslissingAccepteren, corrigeren of stoppen; eigenaar en bewijs

Fictief uitgewerkt voorbeeld

Illustratieve situatie

Fictief voorbeeld: deze gegevens beschrijven geen klant of waargenomen resultaat. Een classificatiemodel verbetert zijn totaalscore, maar herkent aanvragen die dringende behandeling nodig hebben minder goed.

Beslissing en verwachte bewijs

Herhaal dezelfde gevallen, bewaar resultaten per aanvraagtype en beoordeel kritieke fouten met een gezamenlijke definitie. Beslis op ernst, omvang en herstelmogelijkheden. Het beste gemiddelde is niet automatisch de beste keuze voor de dienst.

Onderscheid de mechanismen

MechanismeDoelVerificatie of beperking
Stabiele setVersies vergelijkenOptimalisatie vermijden
Nieuwe gevallenBlinde vlekken opsporenRapporteren los van historische resultaten
Observatie tijdens gebruikWerkelijk gebruik begrijpenToestemmingen, minimalisatie en context respecteren

Managementindicatoren

IndicatorWat het meetEerste actie
Gekoppelde verliezenEerder geaccepteerde gevallen falen nuElk gevoelig verlies inspecteren
Verschil in annotatieGevallen met verschillende beoordelingenDe rubric verduidelijken vóór vergelijking
SegmentdekkingWerkelijk weergegeven situatiesOngeteste toepassingen benoemen

Veelvoorkomende fouten

  • Optimaliseren op de laatste test
  • Set en versie samen wijzigen
  • Een geautomatiseerde beoordelaar als waarheid beschouwen
  • Kritieke verliezen accepteren omdat het gemiddelde verbetert

Veelgestelde vragen

Is een geautomatiseerde beoordelaar nodig?

Nee. Het kan de triage versnellen als de beoordelingscriteria gevalideerd zijn; onduidelijke of kostbare gevallen vereisen nog steeds een zakelijke beoordeling.

Is een gemiddelde verbetering voldoende?

Nee. Vergelijk relevante gevallen en segmenten en pas vervolgens de criteria toe die vóór de test zijn vastgesteld.

Hoeveel gevallen zijn er nodig?

Het volume hangt af van de diversiteit en het risico. Rapportage, herkomst en beperkingen; een kleine set garandeert geen algemene veiligheid.

RAG: toegangsrechten, citaten en caches

De uitgebreide toelichtingen zijn in deze editie beschikbaar in het Engels.

Replay rights after every RAG-chain change

Changing a lexical engine, fusion, cache or citation resolver may reopen a secondary path. Freeze a fictional document set with expected outcomes before comparing versions.

  • Version policy, index, connector, model and cases.
  • Exercise initial, revoked-group and deleted-object states.
  • Examine every difference without hiding a critical failure in an average.

Explore the RAG access matrix and replay cases →

References consulted on · OWASP · LLM08:2025 Vector and Embedding Weaknesses OWASP · API1:2023 Broken Object Level Authorization

AI: een JSON-resultaat controleren

De uitgebreide toelichtingen zijn in deze editie beschikbaar in het Engels.

Test refused and undecidable outputs too

A model, prompt or validator update can change handling of duplicates, types and dates. Acceptance checks need to cover these decisions beyond the number of parseable JSON responses.

  • Version the schema, validator settings and reference cases.
  • Check that well-formed but false values remain blocked.
  • Keep syntax, contract, date and evidence errors separate.

Compare the 14 outputs and their reasons →

Sources reviewed on · IETF · RFC 8259 · JSON Schema · Object reference · JSON Schema · Draft 2020-12 validation · Python 3.12 · json decoder · python-jsonschema · Schema validation · OWASP · LLM05:2025 Improper Output Handling

RAG: relevantie en rangschikking

De uitgebreide toelichtingen zijn in deze editie beschikbaar in het Engels.

Compare retrieval before evaluating the answer

Keep the same needs, judgments and depth k when comparing configurations. Inspect regressing queries before drawing conclusions from an average.

  • Separate window precision, relevant-record coverage and ordering quality.
  • Document missing judgments and the no-relevant-record convention.
  • Then evaluate the answer, citations and refusals using a separate protocol.

Explore ranking measures and relevance judgments →

Stanford CS276 · Retrieval evaluation · 2019 course archive · PDF pp. 3, 5–6 · consulted 2026-10-23

NIST TREC · Reciprocal rank definition · Repository snapshot 35cf096ba6d5ae08ca4803c056b31ed61a56a6d4 · consulted 2026-10-23

Officiële referenties

Referenties ondersteunen de methode. Pas controles aan uw context aan; ze zijn geen certificering. Originele referentietitels en brondocumenten kunnen in een andere taal zijn.

Bronnen geraadpleegd op .