Risorse · 09
Qualità RAG: valutare un assistente di conoscenza con prove
Misura separatamente corpus, recupero, citazioni, risposte, astensione e deriva in modo da sapere cosa necessita realmente di essere corretto.
Aggiornato · 3 min
Obiettivi di questa guida
- Sapere se l'errore deriva dal corpus, dal recupero o dal modello
- Tracciare ogni citazione
- Premiare l'astensione appropriata
- Rilevare la deriva dopo una modifica
Verifica rapida
- La fonte di riferimento è autorizzata e aggiornata?
- Il passaggio corretto compare in cima all'elenco?
- Ogni affermazione decisiva è supportata da prove?
- L'assistente può dichiarare di non sapere?
- I casi sensibili vengono segnalati ai livelli superiori?
Metodo passo passo
- 1
Definire attività utili
Raccogliere domande reali, le loro varianti e il risultato aziendale atteso. Aggiungere ambiguità, conflitti di fonte, documenti scaduti e richieste fuori ambito.
Risultato: tassonomia dei casi e dei rischi.
- 2
Pulire il corpus
Assegnare un proprietario, diritti, data di validità e stato a ogni fonte. Rimuovere duplicati, frammenti orfani e documenti di autorità sconosciuta.
Risultato: registro del corpus.
- 3
Valutare il recupero
Verificare se i passaggi necessari vengono trovati e classificati prima di valutare la formulazione finale. Esaminare le query per le quali non esiste alcuna prova.
Risultato: misure di copertura e pertinenza.
- 4
Valutare risposte e citazioni
Verificare la fedeltà ai passaggi, la completezza, le limitazioni, la relazione citazione-affermazione e la capacità di segnalare contraddizioni.
Risultato: rubrica di fedeltà e utilità.
- 5
Testare il rifiuto e gli attacchi
Aggiungere l'iniezione indiretta, le richieste di dati proibite, le fonti malevole, i documenti con priorità falsa e le azioni irreversibili. Definire l'escalation umana.
Risultato: risultati e misure di sicurezza.
- 6
Monitorare le modifiche
Versionare corpus, indice, impostazioni, modello e istruzioni. Riproduci il set stabile ad ogni modifica e analizza il feedback reale senza conservare dati superflui. Risultato
Risultato: dashboard di deriva e procedura di revisione.
Esempio pratico fittizio
Situazione illustrativa
Un assistente interno risponde seguendo procedure, alcune delle quali obsolete. Il set di test contiene domande di routine, ambigue e senza risposta; ogni citazione viene verificata rispetto alla versione del documento.
Decisione e prove attese
Il rilascio attende che le fonti obsolete siano escluse, le risposte non supportate siano rifiutate e il proprietario del corpus sia identificato.
Indicatori di gestione
| Indicatore | Cosa misura | Prima azione |
|---|---|---|
| Copertura del recupero | Domande per le quali sono stati trovati i passaggi necessari | Correggere il corpus, il chunking o la query prima del modello |
| Fedeltà | Affermazioni effettivamente supportate da fonti citate | Bloccare o riscrivere le risposte non supportate |
| Astensione utile | Casi senza prove correttamente rifiutati o inoltrati | Regolare le soglie di confidenza |
| Regressione | Differenza di qualità tra versioni sullo stesso set | Identificare la modifica responsabile |
Errori comuni
- Misurare solo la fluidità di scrittura
- Mescolare fallimento del recupero e allucinazione
- Utilizzare un set di valutazione troppo facile
- Modificare più componenti senza confronto
Domande frequenti
Quante domande sono necessarie?
Iniziare con un set rappresentativo e versionato che copra i rischi importanti. Diversità e qualità contano più del volume artificiale.
È sufficiente una sola metrica automatizzata?
No. Accelera la valutazione preliminare, ma i casi sensibili, ambigui e specifici del settore richiedono criteri espliciti e revisione umana.
È opportuno conservare ogni conversazione?
No. Conservare solo le tracce necessarie con uno scopo, un accesso e una durata definiti. Per migliorare, è preferibile utilizzare casi anonimizzati.
Riferimenti ufficiali
I riferimenti supportano il metodo. Adattare i controlli al proprio contesto; non costituiscono una certificazione. I titoli dei riferimenti originali e i documenti di origine potrebbero essere in un'altra lingua.
