Resurssit · 09
RAG-laatu: arvioi tietoavustajaa todisteiden avulla
Mittaa korpusta, hakua, viittauksia, vastauksia, pidättäytymistä ja ajautumista erikseen, jotta tiedät, mikä todella tarvitsee korjauksia.
Päivitetty · 2 min
Mitä tämä opas auttaa saavuttamaan
- Tiedä, johtuuko virhe korpuksesta, hausta vai mallista
- Jäljitä jokainen viittaus
- Palkitse asianmukainen pidättäytyminen
- Havaitse ajautuminen muutoksen jälkeen
Pikatarkistus
- Onko viitelähde auktorisoitu ja ajantasainen?
- Onko oikea kohta lähellä yläosaa?
- Onko jokainen ratkaiseva väite perusteltu?
- Voiko avustaja sanoa, ettei tiedä?
- Eskaloidaanko arkaluonteiset tapaukset?
Vaiheittainen menetelmä
- 1
Määrittele hyödylliset tehtävät
Kerää todelliset kysymykset, niiden muunnelmat ja odotettu liiketoimintatulos. Lisää epäselvyyksiä, lähderistiriitoja, vanhentuneita asiakirjoja ja laajuuden ulkopuolisia pyyntöjä.
Tuotos: tapausten ja riskien taksonomia.
- 2
Puhdista korpus
Määritä omistaja, oikeudet, voimassaolopäivämäärä ja tila jokaiselle lähteelle. Poista kaksoiskappaleet, orpofragmentit ja tuntemattoman auktoriteetin asiakirjat.
Tuotos: korpusrekisteri.
- 3
Arvioi hakua
Mittaa, löytyykö tarvittavat kohdat ja luokitellaanko ne ennen lopullisen sanamuodon arviointia. Tarkasta kyselyt, joista ei ole näyttöä.
Tuotos: kattavuus ja relevanssimittarit.
- 4
Arvioi vastauksia ja viittauksia
Tarkista tekstikatkelmien uskollisuus, täydellisyys, rajoitukset, viittauksen ja väitteen välinen suhde ja kyky merkitä ristiriitaisuuksia.
Tuotos: uskollisuus- ja hyödyllisyyskriteerit.
- 5
Testaa kieltäytyminen ja hyökkäykset
Lisää epäsuora injektio, kielletyt tietopyynnöt, haitalliset lähteet, väärät prioriteettiasiakirjat ja peruuttamattomat toimenpiteet. Määrittele ihmisen eskalointi.
Tuotos: tietoturvatulokset ja suojakaiteet.
- 6
Seuraa muutoksia
Versioi korpus, indeksi, asetukset, malli ja ohjeet. Toista vakaa joukko jokaisen muutoksen yhteydessä ja analysoi todellinen palaute säilyttämättä tarpeetonta tietoa.
Tuotos: drift-kojelauta ja tarkistusmenettely.
Kuvitteellinen esimerkki
Havainnollistava tilanne
Sisäinen avustaja vastaa toimenpiteisiin, joista osa on vanhentunut. Testisarja sisältää rutiininomaisia, monitulkintaisia ja vastaamattomia kysymyksiä; jokainen viittaus tarkistetaan dokumentin versiota vasten.
Päätös ja odotettu näyttö
Julkaisu odottaa, kunnes vanhentuneet lähteet on suljettu pois, tukemattomat vastaukset on hylätty ja korpuksen omistaja on tunnistettu.
Johdon indikaattorit
| Indikaattori | Mitä se mittaa | Ensimmäinen toimenpide |
|---|---|---|
| Haun kattavuus | Kysymykset, joille löydetään tarvittavat kohdat | Korpuksen, paloittelun tai kyselyn korjaaminen ennen mallia |
| Uskollisuus | Viitattujen lähteiden aidosti tukemat väitteet | Tukemattomien vastausten estäminen tai uudelleenkirjoittaminen |
| Hyödyllinen pidättäytyminen äänestämästä | Tapaukset, joissa ei ole todisteita, hylätty oikein tai eskaloitu | Luottamuskynnysten hienosäätö |
| Regressio | Laatuero saman joukon versioiden välillä | Vastuullisen muutoksen tunnistaminen |
Yleisiä virheitä
- Pelkän kirjoitussujuvuuden mittaaminen
- Haun epäonnistumisen ja hallusinaatioiden sekoittaminen
- Liian helpon arviointijoukon käyttö
- Useiden komponenttien muuttaminen ilman vertailua
Usein kysytyt kysymykset
Kuinka monta kysymystä tarvitaan?
Aloita edustavalla, versioidulla joukolla, joka kattaa tärkeät riskit. Monimuotoisuus ja laatu ovat tärkeämpiä kuin keinotekoinen määrä.
Riittääkö yksi automatisoitu mittari?
Ei. Se nopeuttaa triage-luokittelua, mutta arkaluonteiset, epäselvät ja eri alojen tapaukset vaativat selkeät kriteerit ja ihmisen tekemän tarkastuksen.
Pitäisikö jokainen keskustelu säilyttää?
Ei. Säilytä vain välttämättömät jäljet, joilla on määritelty tarkoitus, käyttöoikeus ja kesto. Parannusten vuoksi suosi anonymisoituja tapauksia.
Viralliset viitteet
Viitteet tukevat menetelmää. Sovita tarkastukset kontekstiisi; ne eivät ole sertifiointia. Alkuperäiset viitteiden otsikot ja lähdeasiakirjat voivat olla toisella kielellä.
