Ressources · 49
Évaluer une régression IA avant de changer de version
Comparer deux versions sur les mêmes tâches, repérer les pertes locales et décider avec des preuves plutôt qu’une moyenne.
· 7 min
Ce que ce guide permet
- Isoler le changement testé
- Préserver un jeu de référence
- Examiner les échecs par segment
- Préparer l’arrêt ou le retour arrière
Contrôle express
- Quel composant a changé ?
- Le jeu de test a-t-il servi à optimiser la nouvelle version ?
- Qui tranche un désaccord d’annotation ?
- Une moyenne masque-t-elle une erreur sensible ?
- La configuration précédente est-elle restaurable ?
Méthode pas à pas
- 01
Fixer la tâche et les refus
Décrivez résultat attendu, données autorisées et erreurs coûteuses. Séparez exactitude, utilité, refus approprié et effet d’une action. Le cadre NIST propose des mesures adaptées au contexte ; il ne délivre pas un score universel de fiabilité.
Livrable : critères et responsable de décision.
- 02
Séparer référence et découverte
Conservez un ensemble stable non utilisé pour ajuster le système. Ajoutez séparément des cas nouveaux issus de retours anonymisés : ils détectent des angles morts, mais ne doivent pas modifier silencieusement le dénominateur de comparaison.
Livrable : deux jeux versionnés et leur provenance.
- 03
Documenter l’annotation
Écrivez ce qui rend une réponse acceptable, partielle ou incorrecte. Faites relire les cas ambigus par une personne compétente et conservez le motif des désaccords. Une réponse de référence unique peut être trop restrictive pour une tâche ouverte.
Livrable : grille et cas d’arbitrage.
- 04
Comparer à conditions égales
Rejouez les mêmes entrées avec versions, paramètres, outils et sources enregistrés. Si les sorties varient, répétez les essais et rapportez cette variabilité. Distinguez défaut du modèle, donnée absente, outil indisponible et erreur du test.
Livrable : résultats appariés et traces minimisées.
- 05
Décider par famille de risque
Inspectez les pertes sur langues, types de documents et situations sensibles, même si la moyenne progresse. Fixez avant lecture des résultats les motifs d’arrêt, de correction ou de déploiement limité. Un cas grave peut justifier un refus de mise en service.
Livrable : décision, réserves et exceptions.
- 06
Rejouer après mise en service
Préparez une configuration restaurable et un responsable joignable. Confrontez les premiers retours au jeu de test, sans considérer la réussite locale comme une preuve sur tous les usages. Réexaminez les cas lorsque les données ou dépendances changent.
Livrable : suivi et procédure de retour arrière.
Quatre situations pour éprouver la méthode
Cas pédagogiques fictifs. Chaque situation relie un signal à une vérification et à une décision limitée par les preuves ; aucun résultat client n’est représenté.
| Situation fictive | Vérification concrète | Décision et limite |
|---|---|---|
| Comparer deux modèles sur les erreurs qui comptent — Un modèle de classification améliore son score global mais classe moins bien les demandes qui nécessitent un traitement urgent. | Rejouer les mêmes cas, conserver les résultats par type de demande et faire examiner les erreurs critiques avec une définition commune. | Arbitrer avec gravité, volume et capacité de reprise. Le meilleur score moyen n’est pas automatiquement le meilleur choix pour le service. |
| Vérifier ce que le transfert conserve et dégrade — Un modèle adapté à un nouveau domaine réussit les exemples récents mais régresse sur des catégories historiques encore utilisées. | Conserver un jeu de référence historique distinct de l’entraînement et ajouter des cas du nouveau domaine. Comparer les versions sur les deux ensembles. | Documenter les compromis et les exclusions avant déploiement. L’accélération de l’entraînement ne démontre pas la conservation des capacités nécessaires. |
| Ne pas effacer un écart avec une moyenne — Un réglage réduit les erreurs d’un groupe majoritaire et augmente celles d’un groupe minoritaire ; le taux global paraît meilleur. | Publier effectifs, définition des groupes et conséquences des erreurs. Rejouer les cas concernés avec des annotations relues et des conditions comparables. | Décrire les pertes locales dans l’arbitrage. Un résultat global ne suffit pas à conclure à l’équité ni à identifier la cause de l’écart. |
| Éviter d’évaluer le modèle sur la logique du générateur — Un modèle est entraîné avec des exemples synthétiques puis évalué uniquement sur des exemples produits par le même procédé. | Prévoir un ensemble de contrôle indépendant et autorisé, comparer les cas rares et vérifier quelles contraintes le générateur reproduit ou omet. | Présenter les limites de couverture. Une réussite sur le synthétique ne démontre ni performance sur les cas réels ni confidentialité des données produites. |
Comprendre · essayer · décider
Comparer les mêmes cas : gains nets et régressions locales
Deux taux globaux ne disent pas quels cas ont changé. Dans cet exemple fictif, chaque tâche reçoit un jugement acceptable ou non acceptable pour A et B, selon le même critère fixé avant le test.
Un refus approprié peut être acceptable selon la tâche. Les cas sans jugement pour l’une des versions restent à part ; ils ne sont pas assimilés à des échecs.
| A / B | B acceptable | B non acceptable |
|---|---|---|
| A acceptable | 70Acceptables pour les deux | 10Pertes de A vers B |
| A non acceptable | 15Gains de A vers B | 5Non acceptables pour les deux |
Règle de calcul
N = c + l + g + e ; A% = 100(c + l)/N ; B% = 100(c + g)/N ; Δpp = 100(g − l)/N
Interpréter les transitions
Ce que le taux ne décide pas
Ces variantes sont fictives et indépendantes de vos saisies dans le calculateur.
- Apparier
Garder les mêmes identifiants de cas, versions et conditions de test.
- Juger
Appliquer le même critère et arbitrer les jugements manquants ou ambigus.
- Inspecter
Relire les pertes par famille de risque avant la décision.
Exercices de lecture fictifs, sans évaluation d’un système réel.
Même taux : mêmes réponses acceptables ?
- Constat
- Un autre lot comporte dix gains et dix pertes.
- Lecture attendue
- L’écart net est nul, mais vingt cas changent de statut.
Un jugement manque pour B ?
- Constat
- A est jugé, B ne l’est pas encore.
- Lecture attendue
- Conserver cette paire hors du tableau complet, signaler son absence et obtenir le jugement.
La règle d’annotation change ?
- Constat
- A suit l’ancien critère et B le nouveau.
- Lecture attendue
- Rejuger les deux versions avec une règle commune avant de comparer.
Une seule perte critique ?
- Constat
- Une des dix pertes viole une règle d’isolation définie comme bloquante avant le test.
- Lecture attendue
- Suspendre la mise en service sur ce périmètre ; les quinze gains ne lèvent pas ce blocage.
Fiche de travail à réutiliser
À compléter avec vos observations autorisées. Ces champs constituent une trame de travail, pas des résultats observés.
| Champ | Information à consigner |
|---|---|
| Cas et segment | Identifiant stable, langue, type de tâche |
| Attendu | Critère d’acceptation et source de référence |
| Versions A / B | Résultat, répétition, cause d’échec |
| Décision | Accepter, corriger ou arrêter ; responsable et preuve |
Exemple d’application
Situation illustrative
Exemple fictif : une mise à jour améliore les réponses courantes mais supprime la mention d’incertitude sur des documents contradictoires.
Décision et preuve attendue
Le rapport distingue ce sous-ensemble, conserve la trace des sources et suspend le déploiement sur cet usage jusqu’à une correction rejouée.
Distinguer les mécanismes
| Mécanisme | Utilité | Point de vigilance |
|---|---|---|
| Jeu stable | Comparer deux versions | Ne pas l’utiliser comme jeu d’optimisation |
| Cas nouveaux | Découvrir un angle mort | Les publier séparément du résultat historique |
| Observation en service | Voir les usages réels | Respecter droits, minimisation et contexte |
Indicateurs de pilotage
| Indicateur | Ce qu’il mesure | Première action |
|---|---|---|
| Pertes appariées | Cas auparavant acceptés devenus incorrects | Examiner chaque perte sensible |
| Désaccord d’annotation | Cas dont le jugement diverge | Préciser la règle avant de comparer |
| Couverture des segments | Situations effectivement représentées | Nommer les usages non testés |
Erreurs fréquentes
- Ajuster le système sur le test final
- Changer le jeu et la version simultanément
- Confondre juge automatique et vérité
- Accepter une perte critique parce que la moyenne monte
Questions fréquentes
Faut-il toujours un juge automatique ?
Non. Il peut accélérer le tri si sa règle est validée ; un arbitrage métier reste nécessaire pour les cas ambigus ou coûteux.
Un gain moyen suffit-il ?
Non. Comparez les cas et segments qui comptent, puis appliquez les critères décidés avant le test.
Combien d’exemples utiliser ?
Le volume dépend de la diversité et du risque. Indiquez le nombre, la provenance et les limites ; aucun petit jeu ne prouve une sûreté générale.
RAG : droits, citations et caches
Rejouer les droits après chaque changement de chaîne RAG
Un changement de moteur lexical, de fusion, de cache ou de résolution de citations peut rouvrir une voie secondaire. Figez un jeu de documents fictifs avec résultats attendus avant de comparer les versions.
- Versionner politique, index, connecteur, modèle et cas.
- Tester les états initial, groupe révoqué et objet supprimé.
- Analyser chaque différence sans masquer un échec critique dans une moyenne.
Explorer la matrice de droits RAG et ses cas de test →
Références consultées le · OWASP · LLM08:2025 Vector and Embedding Weaknesses OWASP · API1:2023 Broken Object Level Authorization
IA : contrôler un résultat JSON
Tester aussi les résultats refusés ou indécidables
Une évolution de modèle, de prompt ou de validateur peut changer la façon de gérer doublons, types et dates. La recette doit couvrir ces décisions, au-delà du seul nombre de réponses JSON lisibles.
- Versionner schéma, options du validateur et cas de référence.
- Vérifier qu’une sortie bien formée mais fausse reste bloquée.
- Garder les erreurs de syntaxe, de contrat, de date et de preuve séparées.
Comparer les 14 sorties et leur motif →
Sources relues le · IETF · RFC 8259 · JSON Schema · Object reference · JSON Schema · Draft 2020-12 validation · Python 3.12 · json decoder · python-jsonschema · Schema validation · OWASP · LLM05:2025 Improper Output Handling
RAG : pertinence et classement
Comparer les résultats de recherche avant la réponse
Garder les mêmes besoins, jugements et profondeur k pour comparer deux configurations. Examiner les requêtes qui régressent avant de conclure à partir d’une moyenne.
- Séparer précision de la fenêtre, couverture des pertinents et qualité de l’ordre.
- Documenter les jugements manquants et la convention des cas sans pertinent.
- Évaluer ensuite la réponse, ses citations et ses refus avec un protocole distinct.
Explorer les mesures et les jugements de pertinence →
Stanford CS276 · Retrieval evaluation · 2019 course archive · PDF pp. 3, 5–6 · consulted 2026-10-23
NIST TREC · Reciprocal rank definition · Repository snapshot 35cf096ba6d5ae08ca4803c056b31ed61a56a6d4 · consulted 2026-10-23
Références officielles
Date de consultation des références : . La méthode et la fiche de travail proposent des contrôles à adapter à votre contexte ; elles ne constituent pas une certification.
- NIST — AI Risk Management Framework 1.0, Measure
- NIST — AI RMF Core, Measure
- Dror et al. · ACL 2018 · §3.2.2, paired observations
- OWASP · LLM08:2025 Vector and Embedding Weaknesses
- OWASP · API1:2023 Broken Object Level Authorization
- IETF · RFC 8259
- JSON Schema · Object reference
- JSON Schema · Draft 2020-12 validation
- Python 3.12 · json decoder
- python-jsonschema · Schema validation
- OWASP · LLM05:2025 Improper Output Handling
- Stanford CS276 · Retrieval evaluation
- NIST TREC · Reciprocal rank definition
