Risorse · 49

Valutare le regressioni dell'IA prima di cambiare versione

Confronta le versioni relative alle stesse attività, individua le perdite locali e prendi una decisione basata su casi concreti anziché su una media.

Aggiornato · 6 min

Sala operativa di intelligence informatica vuota, di notte Illustrazione editoriale generata con IA

Obiettivi di questa guida

  • Isolare la modifica testata
  • Preservare un set di riferimento indipendente
  • Ispezionare i guasti per segmento
  • Preparare l'arresto o il rollback

Verifica rapida

  • Quale componente è cambiato?
  • Il set di test è stato utilizzato per ottimizzare il candidato?
  • Chi risolve le discrepanze nelle annotazioni?
  • Una media nasconde un errore sensibile?
  • È possibile ripristinare la configurazione precedente?

Metodo passo passo

  1. 1

    Definire l'attività e i rifiuti

    Descrivere l'output previsto, i dati consentiti e gli errori costosi. Separare accuratezza, utilità, rifiuto appropriato ed effetti delle azioni. Il framework NIST richiede misurazioni appropriate al contesto; non fornisce un punteggio di affidabilità universale.

    Risultato: criteri e responsabile della decisione.

  2. 2

    Separare la fase di riferimento da quella di scoperta.

    Mantenere un set stabile al di fuori dell'ottimizzazione. Aggiungere separatamente i nuovi casi di feedback anonimizzati: questi rivelano punti ciechi, ma non dovrebbero modificare silenziosamente il denominatore del confronto.

    Risultato: set versionati con provenienza.

  3. 3

    Annotazione del documento.

    Spiegare cosa rende una risposta accettabile, parziale o errata. Far sì che un revisore competente risolva le ambiguità e conservi le motivazioni dei disaccordi. Una singola risposta di riferimento potrebbe essere troppo restrittiva per un compito aperto.

    Risultato: rubrica e casi valutati.

  4. 4

    Confronto in condizioni uguali

    Riprodurre input identici con versioni, parametri, strumenti e sorgenti registrati. Ripetere le prove quando gli output variano e segnalare le variazioni. Separare i casi di errore del modello, dati mancanti, strumenti non disponibili e test difettosi.

    Risultato: risultati accoppiati e tracce minimizzate.

  5. 5

    Decisione per famiglia di rischio

    Ispezionare le perdite per lingua, tipo di documento e situazione sensibile anche quando la media migliora. Definire i criteri di arresto, correzione e rilascio limitato prima di leggere i risultati. Un caso grave può giustificare il blocco del rilascio.

    Risultato: decisione, riserve ed eccezioni.

  6. 6

    Riproduzione dopo il rilascio

    Preparare una configurazione ripristinabile e un responsabile raggiungibile. Confrontare il feedback iniziale con il set di test senza considerare il successo locale come prova per tutti gli utilizzi. Rivalutare quando i dati o le dipendenze cambiano.

    Risultato: procedura di monitoraggio e rollback.

Capire, calcolare e decidere

Confrontare gli stessi casi: guadagni netti e regressioni locali

Due tassi complessivi non dicono quali casi sono cambiati. Nell’esempio fittizio ogni compito è giudicato accettabile o non accettabile per A e B con lo stesso criterio stabilito prima del test.

Un rifiuto appropriato può essere accettabile per il compito. I casi senza giudizio per una versione restano separati e non diventano errori.

Caso fittizio di riferimento: 100 compiti giudicati per entrambe
A / BB accettabileB non accettabile
A accettabile 70Entrambi accettabili 10Perdite da A a B
A non accettabile 15Guadagni da A a B 5Entrambi non accettabili

Regola di calcolo

N = c + l + g + e ; A% = 100(c + l)/N ; B% = 100(c + g)/N ; Δpp = 100(g − l)/N

Interpretare le transizioni

Ciò che il tasso non decide

Queste varianti fittizie sono indipendenti dai valori inseriti nel calcolatore.

  1. Appaiare

    Allineare identificatori, versioni e condizioni di test.

  2. Giudicare

    Usare un criterio comune e risolvere giudizi mancanti o ambigui.

  3. Esaminare

    Rileggere le perdite per famiglia di rischio prima di decidere.

Esercizi fittizi, senza valutazione di un sistema reale.

Stesso tasso, stesse risposte accettabili?
Osservazione
Un altro insieme ha dieci guadagni e dieci perdite.
Lettura attesa
La differenza netta è zero, ma venti casi cambiano stato.
Manca il giudizio per B?
Osservazione
A è giudicato, B non ancora.
Lettura attesa
Tenere la coppia fuori dalla tabella completa, dichiarare la mancanza e ottenere il giudizio.
Cambia la regola di annotazione?
Osservazione
A usa il vecchio criterio, B il nuovo.
Lettura attesa
Rigiudicare entrambe le versioni con una regola comune.
Una sola perdita critica?
Osservazione
Una perdita viola una regola di isolamento definita bloccante prima del test.
Lettura attesa
Sospendere il rilascio in quel perimetro; quindici guadagni non eliminano il blocco.

Foglio di lavoro riutilizzabile

Completare con le proprie osservazioni autorizzate. Questi campi costituiscono un modello di lavoro, non risultati osservati.

CampoInformazioni da registrare
Caso e segmentoIdentificatore stabile, lingua, tipo di attività
AttesoCriterio di accettazione e prove di riferimento
Versioni A / BEsito, ripetizione, causa del fallimento
DecisioneAccettare, correggere o interrompere; responsabile e prove

Esempio pratico fittizio

Situazione illustrativa

Esempio fittizio: questi dati non descrivono clienti o risultati osservati. Un classificatore migliora il punteggio complessivo, ma riconosce peggio le richieste che richiedono intervento urgente.

Decisione e prove attese

Ripetere gli stessi casi, conservare i risultati per tipo di richiesta ed esaminare gli errori critici con una definizione comune. Decidere secondo gravità, volume e possibilità di recupero. La media migliore non identifica automaticamente la scelta migliore per il servizio.

Distinguere i meccanismi

MeccanismoScopoVerifica o limitazione
Set stabileConfronta le versioniNon utilizzare l'ottimizzazione
Nuovi casiTrova i punti ciechiSegnala separatamente dai risultati storici
Osservazione in servizioComprendi l'uso effettivoRispetta le autorizzazioni, la minimizzazione e il contesto

Indicatori di gestione

IndicatoreCosa misuraPrima azione
Perdite accoppiateCasi precedentemente accettati ora non superano il testIspeziona ogni perdita sensibile
Disaccordo di annotazioneCasi con giudizi diversiChiarisci la rubrica prima del confronto
Copertura del segmentoSituazioni effettivamente rappresentateNomina gli usi non testati

Errori comuni

  • Ottimizzazione sul test finale
  • Modifica set e versione insieme
  • Considerare un giudice automatico come verità
  • Accettare perdite critiche perché la media Miglioramenti

Domande frequenti

È necessario un sistema di valutazione automatizzato?

No. Può velocizzare la valutazione preliminare se la sua griglia di valutazione è validata; i casi ambigui o costosi richiedono comunque una valutazione da parte dell'azienda.

È sufficiente un miglioramento medio?

No. Confrontare i casi e i segmenti pertinenti, quindi applicare i criteri stabiliti prima del test.

Quanti casi sono necessari?

Il volume dipende dalla diversità e dal rischio. Numero di report, provenienza e limitazioni; nessun piccolo insieme garantisce la sicurezza generale.

RAG: diritti, citazioni e cache

Le note dettagliate di questa edizione sono disponibili in inglese.

Replay rights after every RAG-chain change

Changing a lexical engine, fusion, cache or citation resolver may reopen a secondary path. Freeze a fictional document set with expected outcomes before comparing versions.

  • Version policy, index, connector, model and cases.
  • Exercise initial, revoked-group and deleted-object states.
  • Examine every difference without hiding a critical failure in an average.

Explore the RAG access matrix and replay cases →

References consulted on · OWASP · LLM08:2025 Vector and Embedding Weaknesses OWASP · API1:2023 Broken Object Level Authorization

IA: verificare un risultato JSON

Le note dettagliate di questa edizione sono disponibili in inglese.

Test refused and undecidable outputs too

A model, prompt or validator update can change handling of duplicates, types and dates. Acceptance checks need to cover these decisions beyond the number of parseable JSON responses.

  • Version the schema, validator settings and reference cases.
  • Check that well-formed but false values remain blocked.
  • Keep syntax, contract, date and evidence errors separate.

Compare the 14 outputs and their reasons →

Sources reviewed on · IETF · RFC 8259 · JSON Schema · Object reference · JSON Schema · Draft 2020-12 validation · Python 3.12 · json decoder · python-jsonschema · Schema validation · OWASP · LLM05:2025 Improper Output Handling

RAG: pertinenza e ordinamento

Le note dettagliate di questa edizione sono disponibili in inglese.

Compare retrieval before evaluating the answer

Keep the same needs, judgments and depth k when comparing configurations. Inspect regressing queries before drawing conclusions from an average.

  • Separate window precision, relevant-record coverage and ordering quality.
  • Document missing judgments and the no-relevant-record convention.
  • Then evaluate the answer, citations and refusals using a separate protocol.

Explore ranking measures and relevance judgments →

Stanford CS276 · Retrieval evaluation · 2019 course archive · PDF pp. 3, 5–6 · consulted 2026-10-23

NIST TREC · Reciprocal rank definition · Repository snapshot 35cf096ba6d5ae08ca4803c056b31ed61a56a6d4 · consulted 2026-10-23

Riferimenti ufficiali

I riferimenti supportano il metodo. Adattare i controlli al proprio contesto; non costituiscono una certificazione. I titoli dei riferimenti originali e i documenti di origine potrebbero essere in un'altra lingua.

Riferimenti consultati il .