Ressources · 49

Évaluer une régression IA avant de changer de version

Comparer deux versions sur les mêmes tâches, repérer les pertes locales et décider avec des preuves plutôt qu’une moyenne.

· 7 min

Salle nocturne d’opérations de renseignement cyber, sans personnel Illustration éditoriale générée par IA

Ce que ce guide permet

  • Isoler le changement testé
  • Préserver un jeu de référence
  • Examiner les échecs par segment
  • Préparer l’arrêt ou le retour arrière

Contrôle express

  • Quel composant a changé ?
  • Le jeu de test a-t-il servi à optimiser la nouvelle version ?
  • Qui tranche un désaccord d’annotation ?
  • Une moyenne masque-t-elle une erreur sensible ?
  • La configuration précédente est-elle restaurable ?

Méthode pas à pas

  1. 01

    Fixer la tâche et les refus

    Décrivez résultat attendu, données autorisées et erreurs coûteuses. Séparez exactitude, utilité, refus approprié et effet d’une action. Le cadre NIST propose des mesures adaptées au contexte ; il ne délivre pas un score universel de fiabilité.

    Livrable : critères et responsable de décision.

  2. 02

    Séparer référence et découverte

    Conservez un ensemble stable non utilisé pour ajuster le système. Ajoutez séparément des cas nouveaux issus de retours anonymisés : ils détectent des angles morts, mais ne doivent pas modifier silencieusement le dénominateur de comparaison.

    Livrable : deux jeux versionnés et leur provenance.

  3. 03

    Documenter l’annotation

    Écrivez ce qui rend une réponse acceptable, partielle ou incorrecte. Faites relire les cas ambigus par une personne compétente et conservez le motif des désaccords. Une réponse de référence unique peut être trop restrictive pour une tâche ouverte.

    Livrable : grille et cas d’arbitrage.

  4. 04

    Comparer à conditions égales

    Rejouez les mêmes entrées avec versions, paramètres, outils et sources enregistrés. Si les sorties varient, répétez les essais et rapportez cette variabilité. Distinguez défaut du modèle, donnée absente, outil indisponible et erreur du test.

    Livrable : résultats appariés et traces minimisées.

  5. 05

    Décider par famille de risque

    Inspectez les pertes sur langues, types de documents et situations sensibles, même si la moyenne progresse. Fixez avant lecture des résultats les motifs d’arrêt, de correction ou de déploiement limité. Un cas grave peut justifier un refus de mise en service.

    Livrable : décision, réserves et exceptions.

  6. 06

    Rejouer après mise en service

    Préparez une configuration restaurable et un responsable joignable. Confrontez les premiers retours au jeu de test, sans considérer la réussite locale comme une preuve sur tous les usages. Réexaminez les cas lorsque les données ou dépendances changent.

    Livrable : suivi et procédure de retour arrière.

Quatre situations pour éprouver la méthode

Cas pédagogiques fictifs. Chaque situation relie un signal à une vérification et à une décision limitée par les preuves ; aucun résultat client n’est représenté.

Situation fictiveVérification concrèteDécision et limite
Comparer deux modèles sur les erreurs qui comptent — Un modèle de classification améliore son score global mais classe moins bien les demandes qui nécessitent un traitement urgent.Rejouer les mêmes cas, conserver les résultats par type de demande et faire examiner les erreurs critiques avec une définition commune.Arbitrer avec gravité, volume et capacité de reprise. Le meilleur score moyen n’est pas automatiquement le meilleur choix pour le service.
Vérifier ce que le transfert conserve et dégrade — Un modèle adapté à un nouveau domaine réussit les exemples récents mais régresse sur des catégories historiques encore utilisées.Conserver un jeu de référence historique distinct de l’entraînement et ajouter des cas du nouveau domaine. Comparer les versions sur les deux ensembles.Documenter les compromis et les exclusions avant déploiement. L’accélération de l’entraînement ne démontre pas la conservation des capacités nécessaires.
Ne pas effacer un écart avec une moyenne — Un réglage réduit les erreurs d’un groupe majoritaire et augmente celles d’un groupe minoritaire ; le taux global paraît meilleur.Publier effectifs, définition des groupes et conséquences des erreurs. Rejouer les cas concernés avec des annotations relues et des conditions comparables.Décrire les pertes locales dans l’arbitrage. Un résultat global ne suffit pas à conclure à l’équité ni à identifier la cause de l’écart.
Éviter d’évaluer le modèle sur la logique du générateur — Un modèle est entraîné avec des exemples synthétiques puis évalué uniquement sur des exemples produits par le même procédé.Prévoir un ensemble de contrôle indépendant et autorisé, comparer les cas rares et vérifier quelles contraintes le générateur reproduit ou omet.Présenter les limites de couverture. Une réussite sur le synthétique ne démontre ni performance sur les cas réels ni confidentialité des données produites.

Comprendre · essayer · décider

Comparer les mêmes cas : gains nets et régressions locales

Deux taux globaux ne disent pas quels cas ont changé. Dans cet exemple fictif, chaque tâche reçoit un jugement acceptable ou non acceptable pour A et B, selon le même critère fixé avant le test.

Un refus approprié peut être acceptable selon la tâche. Les cas sans jugement pour l’une des versions restent à part ; ils ne sont pas assimilés à des échecs.

Cas fictif de référence : 100 tâches communes jugées
A / BB acceptableB non acceptable
A acceptable 70Acceptables pour les deux 10Pertes de A vers B
A non acceptable 15Gains de A vers B 5Non acceptables pour les deux

Règle de calcul

N = c + l + g + e ; A% = 100(c + l)/N ; B% = 100(c + g)/N ; Δpp = 100(g − l)/N

Interpréter les transitions

Ce que le taux ne décide pas

Ces variantes sont fictives et indépendantes de vos saisies dans le calculateur.

  1. Apparier

    Garder les mêmes identifiants de cas, versions et conditions de test.

  2. Juger

    Appliquer le même critère et arbitrer les jugements manquants ou ambigus.

  3. Inspecter

    Relire les pertes par famille de risque avant la décision.

Exercices de lecture fictifs, sans évaluation d’un système réel.

Même taux : mêmes réponses acceptables ?
Constat
Un autre lot comporte dix gains et dix pertes.
Lecture attendue
L’écart net est nul, mais vingt cas changent de statut.
Un jugement manque pour B ?
Constat
A est jugé, B ne l’est pas encore.
Lecture attendue
Conserver cette paire hors du tableau complet, signaler son absence et obtenir le jugement.
La règle d’annotation change ?
Constat
A suit l’ancien critère et B le nouveau.
Lecture attendue
Rejuger les deux versions avec une règle commune avant de comparer.
Une seule perte critique ?
Constat
Une des dix pertes viole une règle d’isolation définie comme bloquante avant le test.
Lecture attendue
Suspendre la mise en service sur ce périmètre ; les quinze gains ne lèvent pas ce blocage.

Fiche de travail à réutiliser

À compléter avec vos observations autorisées. Ces champs constituent une trame de travail, pas des résultats observés.

ChampInformation à consigner
Cas et segmentIdentifiant stable, langue, type de tâche
AttenduCritère d’acceptation et source de référence
Versions A / BRésultat, répétition, cause d’échec
DécisionAccepter, corriger ou arrêter ; responsable et preuve

Exemple d’application

Situation illustrative

Exemple fictif : une mise à jour améliore les réponses courantes mais supprime la mention d’incertitude sur des documents contradictoires.

Décision et preuve attendue

Le rapport distingue ce sous-ensemble, conserve la trace des sources et suspend le déploiement sur cet usage jusqu’à une correction rejouée.

Distinguer les mécanismes

MécanismeUtilitéPoint de vigilance
Jeu stableComparer deux versionsNe pas l’utiliser comme jeu d’optimisation
Cas nouveauxDécouvrir un angle mortLes publier séparément du résultat historique
Observation en serviceVoir les usages réelsRespecter droits, minimisation et contexte

Indicateurs de pilotage

IndicateurCe qu’il mesurePremière action
Pertes appariéesCas auparavant acceptés devenus incorrectsExaminer chaque perte sensible
Désaccord d’annotationCas dont le jugement divergePréciser la règle avant de comparer
Couverture des segmentsSituations effectivement représentéesNommer les usages non testés

Erreurs fréquentes

  • Ajuster le système sur le test final
  • Changer le jeu et la version simultanément
  • Confondre juge automatique et vérité
  • Accepter une perte critique parce que la moyenne monte

Questions fréquentes

Faut-il toujours un juge automatique ?

Non. Il peut accélérer le tri si sa règle est validée ; un arbitrage métier reste nécessaire pour les cas ambigus ou coûteux.

Un gain moyen suffit-il ?

Non. Comparez les cas et segments qui comptent, puis appliquez les critères décidés avant le test.

Combien d’exemples utiliser ?

Le volume dépend de la diversité et du risque. Indiquez le nombre, la provenance et les limites ; aucun petit jeu ne prouve une sûreté générale.

RAG : droits, citations et caches

Rejouer les droits après chaque changement de chaîne RAG

Un changement de moteur lexical, de fusion, de cache ou de résolution de citations peut rouvrir une voie secondaire. Figez un jeu de documents fictifs avec résultats attendus avant de comparer les versions.

  • Versionner politique, index, connecteur, modèle et cas.
  • Tester les états initial, groupe révoqué et objet supprimé.
  • Analyser chaque différence sans masquer un échec critique dans une moyenne.

Explorer la matrice de droits RAG et ses cas de test →

Références consultées le · OWASP · LLM08:2025 Vector and Embedding Weaknesses OWASP · API1:2023 Broken Object Level Authorization

IA : contrôler un résultat JSON

Tester aussi les résultats refusés ou indécidables

Une évolution de modèle, de prompt ou de validateur peut changer la façon de gérer doublons, types et dates. La recette doit couvrir ces décisions, au-delà du seul nombre de réponses JSON lisibles.

  • Versionner schéma, options du validateur et cas de référence.
  • Vérifier qu’une sortie bien formée mais fausse reste bloquée.
  • Garder les erreurs de syntaxe, de contrat, de date et de preuve séparées.

Comparer les 14 sorties et leur motif →

Sources relues le · IETF · RFC 8259 · JSON Schema · Object reference · JSON Schema · Draft 2020-12 validation · Python 3.12 · json decoder · python-jsonschema · Schema validation · OWASP · LLM05:2025 Improper Output Handling

RAG : pertinence et classement

Comparer les résultats de recherche avant la réponse

Garder les mêmes besoins, jugements et profondeur k pour comparer deux configurations. Examiner les requêtes qui régressent avant de conclure à partir d’une moyenne.

  • Séparer précision de la fenêtre, couverture des pertinents et qualité de l’ordre.
  • Documenter les jugements manquants et la convention des cas sans pertinent.
  • Évaluer ensuite la réponse, ses citations et ses refus avec un protocole distinct.

Explorer les mesures et les jugements de pertinence →

Stanford CS276 · Retrieval evaluation · 2019 course archive · PDF pp. 3, 5–6 · consulted 2026-10-23

NIST TREC · Reciprocal rank definition · Repository snapshot 35cf096ba6d5ae08ca4803c056b31ed61a56a6d4 · consulted 2026-10-23

Références officielles

Date de consultation des références : . La méthode et la fiche de travail proposent des contrôles à adapter à votre contexte ; elles ne constituent pas une certification.