Bronnen · 49
Evalueer AI-regressies voordat u versies wijzigt
Vergelijk versies op dezelfde taken, vind lokale verliezen en neem een beslissing op basis van gevallen in plaats van een gemiddelde.
Bijgewerkt · 5 min
Wat deze handleiding helpt bereiken
- Isoleer de geteste wijziging
- Bewaar een onafhankelijke referentieset
- Inspecteer fouten per segment
- Bereid afsluiting of terugdraaien voor
Snelle controle
- Welke component is gewijzigd?
- Is de testset gebruikt om de kandidaat te optimaliseren?
- Wie lost meningsverschillen over annotaties op?
- Verbergt een gemiddelde een gevoelige fout?
- Kan de vorige configuratie worden hersteld?
Stapsgewijze methode
- 1
Definieer taken en weigeringen
Beschrijf de verwachte output, toegestane data en kostbare fouten. Maak onderscheid tussen nauwkeurigheid, bruikbaarheid, gepaste weigering en effecten van acties. Het NIST-raamwerk vereist contextspecifieke metingen; het biedt geen universele betrouwbaarheidsscore.
Resultaat: criteria en beslissingsverantwoordelijke.
- 2
Maak onderscheid tussen referentie en ontdekking.
Houd een stabiele set buiten de optimalisatie. Voeg nieuwe geanonimiseerde feedbackgevallen afzonderlijk toe: deze onthullen blinde vlekken, maar mogen de vergelijkingsnoemer niet stilletjes veranderen.
Resultaat: versiebeheerde sets met herkomstgegevens.
- 3
Documenteer annotaties.
Leg uit wat een antwoord acceptabel, gedeeltelijk of onjuist maakt. Laat een bekwame beoordelaar onduidelijkheden oplossen en bewaar de redenen voor meningsverschillen. Een enkel referentieantwoord kan te beperkend zijn voor een open taak.
Resultaat: beoordelingsschema en beoordeelde gevallen.
- 4
Vergelijken onder gelijke omstandigheden
Herhaal identieke invoer met opgenomen versies, parameters, tools en bronnen. Herhaal tests wanneer de uitvoer varieert en rapporteer de variatie. Scheid modelfouten, ontbrekende gegevens, niet-beschikbare tools en een defecte test.
Resultaat: gepaarde resultaten en geminimaliseerde sporen.
- 5
Beslissen op basis van risicocategorie
Inspecteer verliezen per taal, documenttype en gevoelige situatie, zelfs wanneer het gemiddelde verbetert. Definieer stop-, correctie- en beperkte vrijgavecriteria voordat de resultaten worden gelezen. Eén ernstig geval kan het uitstellen van een vrijgave rechtvaardigen.
Resultaat: beslissing, voorbehouden en uitzonderingen.
- 6
Herhaal na vrijgave
Bereid een herstelbare configuratie en een bereikbare eigenaar voor. Vergelijk vroege feedback met de testset zonder lokaal succes als bewijs voor alle toepassingen te beschouwen. Herbeoordeel wanneer gegevens of afhankelijkheden veranderen.
Resultaat: monitoring- en terugdraaiprocedure.
Begrijpen, berekenen en beslissen
Vergelijk dezelfde gevallen: nettowinst en lokale achteruitgang
Twee totaalpercentages tonen niet welke gevallen veranderden. In dit fictieve voorbeeld krijgt elke taak voor A en B hetzelfde vooraf vastgestelde oordeel: aanvaardbaar of niet aanvaardbaar.
Een passende weigering kan voor de taak aanvaardbaar zijn. Gevallen met een ontbrekend oordeel voor een versie blijven apart en tellen niet als fouten.
| A / B | B aanvaardbaar | B niet aanvaardbaar |
|---|---|---|
| A aanvaardbaar | 70Beide aanvaardbaar | 10Verliezen van A naar B |
| A niet aanvaardbaar | 15Winsten van A naar B | 5Beide niet aanvaardbaar |
Rekenregel
N = c + l + g + e ; A% = 100(c + l)/N ; B% = 100(c + g)/N ; Δpp = 100(g − l)/N
Overgangen uitleggen
Wat het percentage niet beslist
Deze fictieve varianten staan los van de invoer in de rekenhulp.
- Koppelen
Lijn geval-ID's, versies en testvoorwaarden uit.
- Beoordelen
Gebruik hetzelfde criterium en los ontbrekende of onduidelijke oordelen op.
- Onderzoeken
Bekijk verliezen per risicofamilie voordat u beslist.
Fictieve oefeningen zonder beoordeling van een echt systeem.
Zelfde percentage, dezelfde aanvaardbare antwoorden?
- Waarneming
- Een andere groep heeft tien winsten en tien verliezen.
- Verwachte uitleg
- Het nettoverschil is nul, maar twintig gevallen veranderen van status.
Het oordeel voor B ontbreekt?
- Waarneming
- A is beoordeeld, B nog niet.
- Verwachte uitleg
- Houd het paar buiten de volledige tabel, meld het ontbreken en verkrijg het oordeel.
De beoordelingsregel is veranderd?
- Waarneming
- A gebruikt het oude criterium en B het nieuwe.
- Verwachte uitleg
- Beoordeel beide versies opnieuw met een gemeenschappelijke regel.
Slechts één kritiek verlies?
- Waarneming
- Een verlies schendt een isolatieregel die vooraf als blokkerend is bepaald.
- Verwachte uitleg
- Houd vrijgave voor dat bereik tegen; vijftien winsten nemen de blokkade niet weg.
Herbruikbaar werkblad
Vul in met uw geautoriseerde observaties. Deze velden zijn een werksjabloon, geen waargenomen resultaten.
| Veld | Informatie om vast te leggen |
|---|---|
| Casus en segment | Stabiele identificator, taal, taaktype |
| Verwacht | Acceptatiecriterium en referentiebewijs |
| Versies A / B | Resultaat, herhaling, oorzaak van falen |
| Beslissing | Accepteren, corrigeren of stoppen; eigenaar en bewijs |
Fictief uitgewerkt voorbeeld
Illustratieve situatie
Fictief voorbeeld: deze gegevens beschrijven geen klant of waargenomen resultaat. Een classificatiemodel verbetert zijn totaalscore, maar herkent aanvragen die dringende behandeling nodig hebben minder goed.
Beslissing en verwachte bewijs
Herhaal dezelfde gevallen, bewaar resultaten per aanvraagtype en beoordeel kritieke fouten met een gezamenlijke definitie. Beslis op ernst, omvang en herstelmogelijkheden. Het beste gemiddelde is niet automatisch de beste keuze voor de dienst.
Onderscheid de mechanismen
| Mechanisme | Doel | Verificatie of beperking |
|---|---|---|
| Stabiele set | Versies vergelijken | Optimalisatie vermijden |
| Nieuwe gevallen | Blinde vlekken opsporen | Rapporteren los van historische resultaten |
| Observatie tijdens gebruik | Werkelijk gebruik begrijpen | Toestemmingen, minimalisatie en context respecteren |
Managementindicatoren
| Indicator | Wat het meet | Eerste actie |
|---|---|---|
| Gekoppelde verliezen | Eerder geaccepteerde gevallen falen nu | Elk gevoelig verlies inspecteren |
| Verschil in annotatie | Gevallen met verschillende beoordelingen | De rubric verduidelijken vóór vergelijking |
| Segmentdekking | Werkelijk weergegeven situaties | Ongeteste toepassingen benoemen |
Veelvoorkomende fouten
- Optimaliseren op de laatste test
- Set en versie samen wijzigen
- Een geautomatiseerde beoordelaar als waarheid beschouwen
- Kritieke verliezen accepteren omdat het gemiddelde verbetert
Veelgestelde vragen
Is een geautomatiseerde beoordelaar nodig?
Nee. Het kan de triage versnellen als de beoordelingscriteria gevalideerd zijn; onduidelijke of kostbare gevallen vereisen nog steeds een zakelijke beoordeling.
Is een gemiddelde verbetering voldoende?
Nee. Vergelijk relevante gevallen en segmenten en pas vervolgens de criteria toe die vóór de test zijn vastgesteld.
Hoeveel gevallen zijn er nodig?
Het volume hangt af van de diversiteit en het risico. Rapportage, herkomst en beperkingen; een kleine set garandeert geen algemene veiligheid.
RAG: toegangsrechten, citaten en caches
De uitgebreide toelichtingen zijn in deze editie beschikbaar in het Engels.
Replay rights after every RAG-chain change
Changing a lexical engine, fusion, cache or citation resolver may reopen a secondary path. Freeze a fictional document set with expected outcomes before comparing versions.
- Version policy, index, connector, model and cases.
- Exercise initial, revoked-group and deleted-object states.
- Examine every difference without hiding a critical failure in an average.
Explore the RAG access matrix and replay cases →
References consulted on · OWASP · LLM08:2025 Vector and Embedding Weaknesses OWASP · API1:2023 Broken Object Level Authorization
AI: een JSON-resultaat controleren
De uitgebreide toelichtingen zijn in deze editie beschikbaar in het Engels.
Test refused and undecidable outputs too
A model, prompt or validator update can change handling of duplicates, types and dates. Acceptance checks need to cover these decisions beyond the number of parseable JSON responses.
- Version the schema, validator settings and reference cases.
- Check that well-formed but false values remain blocked.
- Keep syntax, contract, date and evidence errors separate.
Compare the 14 outputs and their reasons →
Sources reviewed on · IETF · RFC 8259 · JSON Schema · Object reference · JSON Schema · Draft 2020-12 validation · Python 3.12 · json decoder · python-jsonschema · Schema validation · OWASP · LLM05:2025 Improper Output Handling
RAG: relevantie en rangschikking
De uitgebreide toelichtingen zijn in deze editie beschikbaar in het Engels.
Compare retrieval before evaluating the answer
Keep the same needs, judgments and depth k when comparing configurations. Inspect regressing queries before drawing conclusions from an average.
- Separate window precision, relevant-record coverage and ordering quality.
- Document missing judgments and the no-relevant-record convention.
- Then evaluate the answer, citations and refusals using a separate protocol.
Explore ranking measures and relevance judgments →
Stanford CS276 · Retrieval evaluation · 2019 course archive · PDF pp. 3, 5–6 · consulted 2026-10-23
NIST TREC · Reciprocal rank definition · Repository snapshot 35cf096ba6d5ae08ca4803c056b31ed61a56a6d4 · consulted 2026-10-23
Officiële referenties
Referenties ondersteunen de methode. Pas controles aan uw context aan; ze zijn geen certificering. Originele referentietitels en brondocumenten kunnen in een andere taal zijn.
Bronnen geraadpleegd op .
- NIST — AI Risk Management Framework 1.0, Measure
- NIST — AI RMF Core, Measure
- Dror et al. · ACL 2018 · §3.2.2, paired observations
- OWASP · LLM08:2025 Vector and Embedding Weaknesses
- OWASP · API1:2023 Broken Object Level Authorization
- IETF · RFC 8259
- JSON Schema · Object reference
- JSON Schema · Draft 2020-12 validation
- Python 3.12 · json decoder
- python-jsonschema · Schema validation
- OWASP · LLM05:2025 Improper Output Handling
- Stanford CS276 · Retrieval evaluation
- NIST TREC · Reciprocal rank definition
