Risorse · 49
Valutare le regressioni dell'IA prima di cambiare versione
Confronta le versioni relative alle stesse attività, individua le perdite locali e prendi una decisione basata su casi concreti anziché su una media.
Aggiornato · 6 min
Obiettivi di questa guida
- Isolare la modifica testata
- Preservare un set di riferimento indipendente
- Ispezionare i guasti per segmento
- Preparare l'arresto o il rollback
Verifica rapida
- Quale componente è cambiato?
- Il set di test è stato utilizzato per ottimizzare il candidato?
- Chi risolve le discrepanze nelle annotazioni?
- Una media nasconde un errore sensibile?
- È possibile ripristinare la configurazione precedente?
Metodo passo passo
- 1
Definire l'attività e i rifiuti
Descrivere l'output previsto, i dati consentiti e gli errori costosi. Separare accuratezza, utilità, rifiuto appropriato ed effetti delle azioni. Il framework NIST richiede misurazioni appropriate al contesto; non fornisce un punteggio di affidabilità universale.
Risultato: criteri e responsabile della decisione.
- 2
Separare la fase di riferimento da quella di scoperta.
Mantenere un set stabile al di fuori dell'ottimizzazione. Aggiungere separatamente i nuovi casi di feedback anonimizzati: questi rivelano punti ciechi, ma non dovrebbero modificare silenziosamente il denominatore del confronto.
Risultato: set versionati con provenienza.
- 3
Annotazione del documento.
Spiegare cosa rende una risposta accettabile, parziale o errata. Far sì che un revisore competente risolva le ambiguità e conservi le motivazioni dei disaccordi. Una singola risposta di riferimento potrebbe essere troppo restrittiva per un compito aperto.
Risultato: rubrica e casi valutati.
- 4
Confronto in condizioni uguali
Riprodurre input identici con versioni, parametri, strumenti e sorgenti registrati. Ripetere le prove quando gli output variano e segnalare le variazioni. Separare i casi di errore del modello, dati mancanti, strumenti non disponibili e test difettosi.
Risultato: risultati accoppiati e tracce minimizzate.
- 5
Decisione per famiglia di rischio
Ispezionare le perdite per lingua, tipo di documento e situazione sensibile anche quando la media migliora. Definire i criteri di arresto, correzione e rilascio limitato prima di leggere i risultati. Un caso grave può giustificare il blocco del rilascio.
Risultato: decisione, riserve ed eccezioni.
- 6
Riproduzione dopo il rilascio
Preparare una configurazione ripristinabile e un responsabile raggiungibile. Confrontare il feedback iniziale con il set di test senza considerare il successo locale come prova per tutti gli utilizzi. Rivalutare quando i dati o le dipendenze cambiano.
Risultato: procedura di monitoraggio e rollback.
Capire, calcolare e decidere
Confrontare gli stessi casi: guadagni netti e regressioni locali
Due tassi complessivi non dicono quali casi sono cambiati. Nell’esempio fittizio ogni compito è giudicato accettabile o non accettabile per A e B con lo stesso criterio stabilito prima del test.
Un rifiuto appropriato può essere accettabile per il compito. I casi senza giudizio per una versione restano separati e non diventano errori.
| A / B | B accettabile | B non accettabile |
|---|---|---|
| A accettabile | 70Entrambi accettabili | 10Perdite da A a B |
| A non accettabile | 15Guadagni da A a B | 5Entrambi non accettabili |
Regola di calcolo
N = c + l + g + e ; A% = 100(c + l)/N ; B% = 100(c + g)/N ; Δpp = 100(g − l)/N
Interpretare le transizioni
Ciò che il tasso non decide
Queste varianti fittizie sono indipendenti dai valori inseriti nel calcolatore.
- Appaiare
Allineare identificatori, versioni e condizioni di test.
- Giudicare
Usare un criterio comune e risolvere giudizi mancanti o ambigui.
- Esaminare
Rileggere le perdite per famiglia di rischio prima di decidere.
Esercizi fittizi, senza valutazione di un sistema reale.
Stesso tasso, stesse risposte accettabili?
- Osservazione
- Un altro insieme ha dieci guadagni e dieci perdite.
- Lettura attesa
- La differenza netta è zero, ma venti casi cambiano stato.
Manca il giudizio per B?
- Osservazione
- A è giudicato, B non ancora.
- Lettura attesa
- Tenere la coppia fuori dalla tabella completa, dichiarare la mancanza e ottenere il giudizio.
Cambia la regola di annotazione?
- Osservazione
- A usa il vecchio criterio, B il nuovo.
- Lettura attesa
- Rigiudicare entrambe le versioni con una regola comune.
Una sola perdita critica?
- Osservazione
- Una perdita viola una regola di isolamento definita bloccante prima del test.
- Lettura attesa
- Sospendere il rilascio in quel perimetro; quindici guadagni non eliminano il blocco.
Foglio di lavoro riutilizzabile
Completare con le proprie osservazioni autorizzate. Questi campi costituiscono un modello di lavoro, non risultati osservati.
| Campo | Informazioni da registrare |
|---|---|
| Caso e segmento | Identificatore stabile, lingua, tipo di attività |
| Atteso | Criterio di accettazione e prove di riferimento |
| Versioni A / B | Esito, ripetizione, causa del fallimento |
| Decisione | Accettare, correggere o interrompere; responsabile e prove |
Esempio pratico fittizio
Situazione illustrativa
Esempio fittizio: questi dati non descrivono clienti o risultati osservati. Un classificatore migliora il punteggio complessivo, ma riconosce peggio le richieste che richiedono intervento urgente.
Decisione e prove attese
Ripetere gli stessi casi, conservare i risultati per tipo di richiesta ed esaminare gli errori critici con una definizione comune. Decidere secondo gravità, volume e possibilità di recupero. La media migliore non identifica automaticamente la scelta migliore per il servizio.
Distinguere i meccanismi
| Meccanismo | Scopo | Verifica o limitazione |
|---|---|---|
| Set stabile | Confronta le versioni | Non utilizzare l'ottimizzazione |
| Nuovi casi | Trova i punti ciechi | Segnala separatamente dai risultati storici |
| Osservazione in servizio | Comprendi l'uso effettivo | Rispetta le autorizzazioni, la minimizzazione e il contesto |
Indicatori di gestione
| Indicatore | Cosa misura | Prima azione |
|---|---|---|
| Perdite accoppiate | Casi precedentemente accettati ora non superano il test | Ispeziona ogni perdita sensibile |
| Disaccordo di annotazione | Casi con giudizi diversi | Chiarisci la rubrica prima del confronto |
| Copertura del segmento | Situazioni effettivamente rappresentate | Nomina gli usi non testati |
Errori comuni
- Ottimizzazione sul test finale
- Modifica set e versione insieme
- Considerare un giudice automatico come verità
- Accettare perdite critiche perché la media Miglioramenti
Domande frequenti
È necessario un sistema di valutazione automatizzato?
No. Può velocizzare la valutazione preliminare se la sua griglia di valutazione è validata; i casi ambigui o costosi richiedono comunque una valutazione da parte dell'azienda.
È sufficiente un miglioramento medio?
No. Confrontare i casi e i segmenti pertinenti, quindi applicare i criteri stabiliti prima del test.
Quanti casi sono necessari?
Il volume dipende dalla diversità e dal rischio. Numero di report, provenienza e limitazioni; nessun piccolo insieme garantisce la sicurezza generale.
RAG: diritti, citazioni e cache
Le note dettagliate di questa edizione sono disponibili in inglese.
Replay rights after every RAG-chain change
Changing a lexical engine, fusion, cache or citation resolver may reopen a secondary path. Freeze a fictional document set with expected outcomes before comparing versions.
- Version policy, index, connector, model and cases.
- Exercise initial, revoked-group and deleted-object states.
- Examine every difference without hiding a critical failure in an average.
Explore the RAG access matrix and replay cases →
References consulted on · OWASP · LLM08:2025 Vector and Embedding Weaknesses OWASP · API1:2023 Broken Object Level Authorization
IA: verificare un risultato JSON
Le note dettagliate di questa edizione sono disponibili in inglese.
Test refused and undecidable outputs too
A model, prompt or validator update can change handling of duplicates, types and dates. Acceptance checks need to cover these decisions beyond the number of parseable JSON responses.
- Version the schema, validator settings and reference cases.
- Check that well-formed but false values remain blocked.
- Keep syntax, contract, date and evidence errors separate.
Compare the 14 outputs and their reasons →
Sources reviewed on · IETF · RFC 8259 · JSON Schema · Object reference · JSON Schema · Draft 2020-12 validation · Python 3.12 · json decoder · python-jsonschema · Schema validation · OWASP · LLM05:2025 Improper Output Handling
RAG: pertinenza e ordinamento
Le note dettagliate di questa edizione sono disponibili in inglese.
Compare retrieval before evaluating the answer
Keep the same needs, judgments and depth k when comparing configurations. Inspect regressing queries before drawing conclusions from an average.
- Separate window precision, relevant-record coverage and ordering quality.
- Document missing judgments and the no-relevant-record convention.
- Then evaluate the answer, citations and refusals using a separate protocol.
Explore ranking measures and relevance judgments →
Stanford CS276 · Retrieval evaluation · 2019 course archive · PDF pp. 3, 5–6 · consulted 2026-10-23
NIST TREC · Reciprocal rank definition · Repository snapshot 35cf096ba6d5ae08ca4803c056b31ed61a56a6d4 · consulted 2026-10-23
Riferimenti ufficiali
I riferimenti supportano il metodo. Adattare i controlli al proprio contesto; non costituiscono una certificazione. I titoli dei riferimenti originali e i documenti di origine potrebbero essere in un'altra lingua.
Riferimenti consultati il .
- NIST — AI Risk Management Framework 1.0, Measure
- NIST — AI RMF Core, Measure
- Dror et al. · ACL 2018 · §3.2.2, paired observations
- OWASP · LLM08:2025 Vector and Embedding Weaknesses
- OWASP · API1:2023 Broken Object Level Authorization
- IETF · RFC 8259
- JSON Schema · Object reference
- JSON Schema · Draft 2020-12 validation
- Python 3.12 · json decoder
- python-jsonschema · Schema validation
- OWASP · LLM05:2025 Improper Output Handling
- Stanford CS276 · Retrieval evaluation
- NIST TREC · Reciprocal rank definition
