Bronnen · 09
RAG-kwaliteit: evalueer een kennisassistent met bewijsmateriaal
Meet corpus, retrieval, citaties, antwoorden, onthouding en drift afzonderlijk, zodat u weet wat er echt moet worden aangepast.
Bijgewerkt · 3 min
Wat deze handleiding helpt bereiken
- Bepaal of de fout te wijten is aan het corpus, de retrieval of het model
- Traceer elke citatie
- Beloon gepaste onthouding
- Detecteer afwijkingen na wijziging
Snelle controle
- Is de referentiebron geautoriseerd en actueel?
- Staat de juiste passage bovenaan?
- Wordt elke doorslaggevende bewering onderbouwd?
- Kan de assistent aangeven dat hij/zij het niet weet?
- Worden gevoelige gevallen geëscaleerd?
Stapsgewijze methode
- 1
Definieer nuttige taken
Verzamel echte vragen, hun varianten en het verwachte bedrijfsresultaat. Voeg ambiguïteit, bronconflicten, verlopen documenten en verzoeken buiten de scope toe.
Resultaat: taxonomie van casussen en risico's.
- 2
Reinig het corpus
Wijs aan elke bron een eigenaar, rechten, geldigheidsdatum en status toe. Verwijder duplicaten, weesfragmenten en documenten van onbekende autoriteit.
Resultaat: corpusregister.
- 3
Evalueer de retrieval
Meet of de benodigde passages zijn gevonden en gerangschikt voordat de definitieve formulering wordt beoordeeld. Inspecteer zoekopdrachten waarvoor geen bewijs bestaat.
Resultaat: dekkings- en relevantiemetingen.
- 4
Evalueer antwoorden en citaten
Controleer de trouw aan passages, volledigheid, beperkingen, de relatie tussen citaat en bewering en de mogelijkheid om tegenstrijdigheden te signaleren.
Resultaat: beoordelingsschema voor trouw en bruikbaarheid.
- 5
Test weigering en aanvallen
Voeg indirecte injectie, verboden gegevensverzoeken, kwaadwillige bronnen, documenten met valse prioriteit en onomkeerbare acties toe. Definieer menselijke escalatie.
Resultaat: beveiligingsresultaten en -richtlijnen.
- 6
Monitor wijzigingen
Versiebeheer van corpus, index, instellingen, model en instructies. Speel de stabiele set opnieuw af bij elke wijziging en analyseer de daadwerkelijke feedback zonder onnodige gegevens te bewaren.
Resultaat: driftdashboard en beoordelingsprocedure.
Fictief uitgewerkt voorbeeld
Illustratieve situatie
Een interne assistent beantwoordt vragen op basis van procedures, waarvan sommige verlopen zijn. De testset bevat routinematige, ambigue en onbeantwoordbare vragen; elke verwijzing wordt gecontroleerd aan de hand van de documentversie.
Beslissing en verwachte bewijs
Vrijgave wacht totdat verlopen bronnen zijn uitgesloten, niet-onderbouwde antwoorden zijn geweigerd en de eigenaar van het corpus is geïdentificeerd.
Managementindicatoren
| Indicator | Wat het meet | Eerste actie |
|---|---|---|
| Dekking van de zoekopdracht | Vragen waarvoor de benodigde passages zijn gevonden | Corpus, chunking of zoekopdracht corrigeren vóór het model |
| Betrouwbaarheid | Beweringen die daadwerkelijk worden ondersteund door geciteerde bronnen | Onondersteunde antwoorden blokkeren of herschrijven |
| Nuttige onthouding | Gevallen zonder bewijs correct afgewezen of geëscaleerd | Betrouwbaarheidsdrempels afstemmen |
| Regressie | Kwaliteitsverschil tussen versies op dezelfde dataset | De verantwoordelijke wijziging identificeren |
Veelvoorkomende fouten
- Alleen schrijfvaardigheid meten
- Ophaalfouten en hallucinaties combineren
- Een te gemakkelijke evaluatieset gebruiken
- Verschillende componenten wijzigen zonder vergelijking
Veelgestelde vragen
Hoeveel vragen zijn er nodig?
Begin met een representatieve, versiebeheerde dataset die belangrijke risico's dekt. Diversiteit en kwaliteit zijn belangrijker dan een kunstmatig volume.
Is één geautomatiseerde meetmethode voldoende?
Nee. Het versnelt de triage, maar gevoelige, ambigue en domeinspecifieke gevallen vereisen expliciete criteria en menselijke beoordeling.
Moet elk gesprek bewaard worden?
Nee. Bewaar alleen de noodzakelijke gegevens met een duidelijk omschreven doel, toegang en duur. Geef de voorkeur aan geanonimiseerde gevallen voor verbetering.
Officiële referenties
Referenties ondersteunen de methode. Pas controles aan uw context aan; ze zijn geen certificering. Originele referentietitels en brondocumenten kunnen in een andere taal zijn.
