Resurssit · 49
Tekoälyregressien arviointi ennen versioiden muuttamista
Vertaile samojen tehtävien versioita, löydä paikallisia häviöitä ja tee päätös tapausten, ei keskiarvon, perusteella.
Päivitetty · 4 min
Mitä tämä opas auttaa saavuttamaan
- Testatun muutoksen eristäminen
- Riippumattoman viitejoukon säilyttäminen
- Vikojen tarkastaminen segmenteittäin
- Sulkemisen tai palautuksen valmistelu
Pikatarkistus
- Mikä komponentti muuttui?
- Käytettiinkö testijoukkoa ehdokkaan optimointiin?
- Kuka ratkaisee annotaatioerimielisyydet?
- Piilottaako keskiarvo arkaluontoisen virheen?
- Voidaanko edellinen kokoonpano palauttaa?
Vaiheittainen menetelmä
- 1
Määrittele tehtävät ja hylkäykset
Kuvaile odotettu tuotos, sallittu data ja kalliit virheet. Erota tarkkuus, hyödyllisyys, asianmukainen hylkääminen ja toiminnan vaikutukset. NIST:n viitekehys vaatii kontekstiin sopivaa mittaamista; se ei tarjoa yleismaailmallista luotettavuuspistemäärää.
Tuotos: kriteerit ja päätöksen omistaja.
- 2
Erillinen viittaus ja löytäminen
Pidä vakaa joukko optimoinnin ulkopuolella. Lisää uusia anonymisoituja palautetapauksia erikseen: ne paljastavat sokeita pisteitä, mutta niiden ei pitäisi hiljaisesti muuttaa vertailun nimittäjää.
Tuotos: versioidut joukot alkuperän kanssa.
- 3
Asiakirjan annotaatio
Selitä, mikä tekee vastauksesta hyväksyttävän, osittaisen tai virheellisen. Pyydä pätevää arvioijaa ratkaisemaan epäselvyydet ja säilyttämään erimielisyyksien syyt. Yksittäinen viittausvastaus voi olla liian rajoittava avoimeen tehtävään.
Tuotos: arviointimatriisi ja ratkaistut tapaukset.
- 4
Vertaile tasavertaisissa olosuhteissa
Toista identtiset syötteet tallennetuilla versioilla, parametreilla, työkaluilla ja lähteillä. Toista kokeilut, kun tuotokset vaihtelevat, ja raportoi vaihtelusta. Erota mallin epäonnistuminen, puuttuva data, käyttämättömät työkalut ja viallinen testi.
Tuotanto: paritetut tulokset ja minimoidut jäljet.
- 5
Päätös riskiryhmän mukaan.
Tarkasta tappiot kielen, asiakirjatyypin ja arkaluontoisen tilanteen mukaan, vaikka keskiarvo paranisi. Määrittele pysäytys-, korjaus- ja rajoitetun julkaisun kriteerit ennen tulosten lukemista. Yksi vakava tapaus voi oikeuttaa julkaisun lykkäämisen.
Tuotanto: päätös, varaumat ja poikkeukset.
- 6
Toisto julkaisun jälkeen.
Valmistele palautettavissa oleva kokoonpano ja tavoitettavissa oleva omistaja. Vertaa varhaista palautetta testijoukkoon käsittelemättä paikallista onnistumista todisteena kaikkia käyttötarkoituksia varten. Arvioi uudelleen, kun data tai riippuvuudet muuttuvat.
Tuotanto: valvonta- ja palautusmenettely.
Ymmärrä, laske ja päätä
Vertaa samoja tapauksia: nettohyödyt ja paikalliset heikennykset
Kaksi kokonaisastetta ei kerro, mitkä tapaukset muuttuivat. Kuvitteellisessa esimerkissä jokainen tehtävä arvioidaan A:lle ja B:lle hyväksyttäväksi tai ei-hyväksyttäväksi samalla ennalta sovitulla kriteerillä.
Asianmukainen kieltäytyminen voi olla tehtävässä hyväksyttävä. Tapaukset, joilta puuttuu toisen version arvio, pidetään erillään eikä niitä lasketa epäonnistumisiksi.
| A / B | B hyväksyttävä | B ei hyväksyttävä |
|---|---|---|
| A hyväksyttävä | 70Molemmat hyväksyttäviä | 10Heikennykset A:sta B:hen |
| A ei hyväksyttävä | 15Parannukset A:sta B:hen | 5Kumpikaan ei hyväksyttävä |
Laskentasääntö
N = c + l + g + e ; A% = 100(c + l)/N ; B% = 100(c + g)/N ; Δpp = 100(g − l)/N
Tulkitse siirtymiä
Mitä onnistumisaste ei ratkaise
Kuvitteelliset muunnelmat eivät riipu laskuriin syötetyistä arvoista.
- Parita
Kohdista tunnisteet, versiot ja testiolosuhteet.
- Arvioi
Käytä yhteistä kriteeriä ja ratkaise puuttuvat tai epäselvät arviot.
- Tarkista
Käy heikennykset läpi riskiryhmittäin ennen päätöstä.
Kuvitteellisia harjoituksia ilman todellisen järjestelmän arviointia.
Sama aste, samat hyväksyttävät vastaukset?
- Havainto
- Toisessa erässä on kymmenen parannusta ja kymmenen heikennystä.
- Odotettu tulkinta
- Nettoero on nolla, mutta kaksikymmentä tapausta muuttuu.
B:n arvio puuttuu?
- Havainto
- A on arvioitu, B ei vielä.
- Odotettu tulkinta
- Pidä pari täydellisen taulukon ulkopuolella, ilmoita puute ja hanki arvio.
Arviointisääntö muuttui?
- Havainto
- A käyttää vanhaa ja B uutta kriteeriä.
- Odotettu tulkinta
- Arvioi molemmat uudelleen yhteisellä säännöllä.
Vain yksi kriittinen heikennys?
- Havainto
- Yksi heikennys rikkoo ennen testiä estäväksi määriteltyä eristyssääntöä.
- Odotettu tulkinta
- Keskeytä julkaisu tällä rajauksella; viisitoista parannusta ei poista estettä.
Uudelleenkäytettävä laskentataulukko
Täytä valtuutetut havaintosi. Nämä kentät ovat työskentelymalli, eivät havaittuja tuloksia.
| Kenttä | Kirjattavat tiedot |
|---|---|
| Tapaus ja segmentti | Vakaa tunniste, kieli, tehtävätyyppi |
| Odotettu | Hyväksymiskriteeri ja viitenäyttö |
| Versiot A / B | Lopputulos, toistuminen, epäonnistumisen syy |
| Päätös | Hyväksy, korjaa tai pysäytä; omistaja ja näyttö |
Kuvitteellinen esimerkki
Havainnollistava tilanne
Kuvitteellinen esimerkki: tiedot eivät kuvaa asiakasta tai havaittua tulosta. Luokittelijan kokonaispistemäärä paranee, mutta se tunnistaa kiireellistä käsittelyä vaativat pyynnöt aiempaa huonommin.
Päätös ja odotettu näyttö
Toista samat tapaukset, säilytä tulokset pyyntötyypeittäin ja arvioi kriittiset virheet yhteisen määritelmän avulla. Päätä vakavuuden, määrän ja korjausmahdollisuuksien perusteella. Paras keskiarvo ei automaattisesti tarkoita parasta palveluvalintaa.
Mekanismien erottaminen
| Mekanismi | Tarkoitus | Vahvistus tai rajoitus |
|---|---|---|
| Vakaa joukko | Versioiden vertailu | Optimoinnin välttäminen |
| Uudet tapaukset | Sokeiden pisteiden löytäminen | Erillään historiallisista tuloksista raportointi |
| Käytön aikainen havainnointi | Todellisen käytön ymmärtäminen | Lupien, minimoinnin ja kontekstin kunnioittaminen |
Johdon indikaattorit
| Indikaattori | Mitä se mittaa | Ensimmäinen toimenpide |
|---|---|---|
| Parittaiset häviöt | Aiemmin hyväksytyt tapaukset, jotka nyt epäonnistuvat | Tarkasta jokainen herkkä häviö |
| Merkintöjen erimielisyys | Tapaukset, joissa on erilaisia arvioita | Selvennä vertailuperuste ennen vertailua |
| Segmenttien kattavuus | Todellisuudessa esitetyt tilanteet | Testaamattomien käyttötarkoitusten nimeäminen |
Yleisiä virheitä
- Lopputestin optimointi
- Joukon ja version muuttaminen yhdessä
- Automaattisen arvioijan käsittely totuutena
- Kriittisten häviöiden hyväksyminen, koska keskiarvo paranee
Usein kysytyt kysymykset
Tarvitaanko automatisoitua arvioijaa?
Ei. Se voi nopeuttaa triage-arviointia, jos sen arviointiperusteet validoidaan; epäselvät tai kalliit tapaukset vaativat silti liiketoiminnan harkintaa.
Riittääkö keskimääräinen parannus?
Ei. Vertaa asiaankuuluvia tapauksia ja segmenttejä ja sovella sitten ennen testausta määritettyjä kriteerejä.
Kuinka monta tapausta tarvitaan?
Määrä riippuu monimuotoisuudesta ja riskistä. Raporttien lukumäärä, alkuperä ja rajoitukset; mikään pieni joukko ei takaa yleistä turvallisuutta.
RAG: käyttöoikeudet, viitteet ja välimuistit
Tämän kieliversion tarkemmat lähdekuvaukset ovat englanniksi.
Replay rights after every RAG-chain change
Changing a lexical engine, fusion, cache or citation resolver may reopen a secondary path. Freeze a fictional document set with expected outcomes before comparing versions.
- Version policy, index, connector, model and cases.
- Exercise initial, revoked-group and deleted-object states.
- Examine every difference without hiding a critical failure in an average.
Explore the RAG access matrix and replay cases →
References consulted on · OWASP · LLM08:2025 Vector and Embedding Weaknesses OWASP · API1:2023 Broken Object Level Authorization
Tekoäly: JSON-tuloksen tarkistus
Tämän kieliversion tarkemmat lähdekuvaukset ovat englanniksi.
Test refused and undecidable outputs too
A model, prompt or validator update can change handling of duplicates, types and dates. Acceptance checks need to cover these decisions beyond the number of parseable JSON responses.
- Version the schema, validator settings and reference cases.
- Check that well-formed but false values remain blocked.
- Keep syntax, contract, date and evidence errors separate.
Compare the 14 outputs and their reasons →
Sources reviewed on · IETF · RFC 8259 · JSON Schema · Object reference · JSON Schema · Draft 2020-12 validation · Python 3.12 · json decoder · python-jsonschema · Schema validation · OWASP · LLM05:2025 Improper Output Handling
RAG: osuvuus ja järjestys
Tämän kieliversion tarkemmat lähdekuvaukset ovat englanniksi.
Compare retrieval before evaluating the answer
Keep the same needs, judgments and depth k when comparing configurations. Inspect regressing queries before drawing conclusions from an average.
- Separate window precision, relevant-record coverage and ordering quality.
- Document missing judgments and the no-relevant-record convention.
- Then evaluate the answer, citations and refusals using a separate protocol.
Explore ranking measures and relevance judgments →
Stanford CS276 · Retrieval evaluation · 2019 course archive · PDF pp. 3, 5–6 · consulted 2026-10-23
NIST TREC · Reciprocal rank definition · Repository snapshot 35cf096ba6d5ae08ca4803c056b31ed61a56a6d4 · consulted 2026-10-23
Viralliset viitteet
Viitteet tukevat menetelmää. Sovita tarkastukset kontekstiisi; ne eivät ole sertifiointia. Alkuperäiset viitteiden otsikot ja lähdeasiakirjat voivat olla toisella kielellä.
Lähteet tarkistettu .
- NIST — AI Risk Management Framework 1.0, Measure
- NIST — AI RMF Core, Measure
- Dror et al. · ACL 2018 · §3.2.2, paired observations
- OWASP · LLM08:2025 Vector and Embedding Weaknesses
- OWASP · API1:2023 Broken Object Level Authorization
- IETF · RFC 8259
- JSON Schema · Object reference
- JSON Schema · Draft 2020-12 validation
- Python 3.12 · json decoder
- python-jsonschema · Schema validation
- OWASP · LLM05:2025 Improper Output Handling
- Stanford CS276 · Retrieval evaluation
- NIST TREC · Reciprocal rank definition
