Ressources · 03

Gouvernance des agents IA : guide de mise en production

Cadrer les permissions, les données, les tests, la supervision et l’arrêt d’un agent avant de lui confier un processus métier.

· 5 min

Infrastructure de calcul IA privée dans un laboratoire vide Illustration · scène fictive

Ce que ce guide permet

  • Limiter l’agent au juste nécessaire
  • Tester les erreurs coûteuses avant le réel
  • Conserver des traces utiles sans sur-collecter
  • Maintenir une responsabilité humaine effective

Contrôle express

  • L’agent peut-il déclencher une action irréversible ?
  • Les données saisies sont-elles autorisées ?
  • Un seuil impose-t-il une validation humaine ?
  • Les outils ont-ils des permissions minimales ?
  • Peut-on arrêter et revenir en arrière rapidement ?

Méthode pas à pas

  1. 01

    Décrire le système réel

    Documentez l’objectif, les utilisateurs, les entrées, les modèles, les outils, les sorties, les dépendances et les personnes affectées.

    Livrable : fiche système versionnée.

  2. 02

    Classer actions et données

    Séparez lecture, recommandation, rédaction et exécution. Identifiez données interdites, sensibles, personnelles et soumises à conservation.

    Livrable : matrice données × actions.

  3. 03

    Réduire les permissions

    Utilisez des comptes dédiés, des listes d’outils autorisés, des environnements isolés et une validation avant toute action à impact élevé.

    Livrable : politique d’autorisation.

  4. 04

    Construire les évaluations

    Testez cas normaux, ambiguïtés, injections, données absentes, demandes hors périmètre et erreurs irréversibles. Fixez les seuils avant le pilote.

    Livrable : jeu de tests et résultats.

  5. 05

    Superviser en production

    Journalisez version, contexte utile, appel d’outil, décision de validation et résultat, tout en minimisant les données conservées.

    Livrable : tableau de suivi et alertes.

  6. 06

    Préparer l’échec

    Définissez désactivation, reprise manuelle, notification, analyse d’incident et critères de remise en service.

    Livrable : runbook incident IA.

De la proposition à l’action : où vérifier les droits ?

Un agent peut préparer une demande sans avoir le droit de l’exécuter. Le service qui réalise l’action doit contrôler l’identité, la ressource et les paramètres réels ; une phrase du modèle annonçant une validation ne suffit pas.

Atelier fictif : une politique interne exige une approbation pour envoyer une réponse client. Les décisions ci-dessous illustrent cette politique ; elles ne constituent ni une certification ni un contrôle de votre système.

Le parcours d’une action
  1. Données reçues

    Un ticket ou un document apporte du contexte, sans accorder de nouveaux droits.

  2. Action proposée

    L’agent prépare l’outil, la cible et les paramètres à examiner.

  3. Contrôle indépendant

    Le service d’exécution vérifie les droits et l’approbation liée à cette action.

  4. Résultat constaté

    Une trace relie la demande unique à son résultat réel, y compris un échec.

Quatre cas à rejouer

Le destinataire a changé

L’aperçu approuvé visait une adresse interne ; l’appel final vise une adresse externe.

Décision attendue

Suspendre l’envoi et faire examiner la nouvelle destination.

Preuve à rechercher

Comparer destinataire, contenu et pièces jointes de l’aperçu à l’appel final.

Le mauvais espace client

Le compte peut lire le dossier A ; l’agent demande une pièce du dossier B.

Décision attendue

Refuser l’accès au dossier B, même si le modèle affirme en avoir besoin.

Preuve à rechercher

Tester l’autorisation sur la ressource exacte avec l’identité de l’utilisateur.

L’approbation est trop ancienne

L’action correspond à l’aperçu, mais l’accord a expiré avant l’exécution.

Décision attendue

Demander un nouvel accord et revérifier les droits actuels.

Preuve à rechercher

Conserver l’expiration, l’identité de l’approbateur et les paramètres approuvés.

Le délai d’attente est dépassé

L’envoi ne répond pas ; on ignore s’il a déjà eu lieu.

Décision attendue

Vérifier l’état de l’opération avant de la relancer.

Preuve à rechercher

Relier la clé d’idempotence au même contenu et rapprocher le reçu du service.

Références : OWASP · LLM06:2025 Excessive Agency · OWASP · AI Agent Security Cheat Sheet

Exemple d’application

Situation illustrative

Un agent peut lire des demandes clients et préparer une réponse, mais ne doit ni envoyer un message ni modifier un compte sans validation. Le test inclut un document source qui tente de détourner ses instructions.

Décision et preuve attendue

Le registre fixe outils autorisés, données visibles, seuils d’escalade, journaux utiles et condition de retour à une intervention humaine.

Indicateurs de pilotage

IndicateurCe qu’il mesurePremière action
Taux de réussite utileTâches correctes selon le critère métier, pas seulement réponses plausiblesRevoir les échecs par famille de cas
Escalade humainePart des cas correctement transmis à une personneAjuster les seuils lorsque l’agent agit avec trop d’assurance
Actions annuléesActions bloquées ou reprises avant impactIdentifier les permissions trop larges et scénarios non testés
DériveÉcart de performance selon version, données ou populationComparer sur un jeu stable à chaque changement

Erreurs fréquentes

  • Mesurer uniquement la qualité rédactionnelle
  • Donner à l’agent les droits de l’utilisateur final
  • Conserver toutes les conversations par défaut
  • Modifier modèle et prompt sans rejouer les évaluations

Questions fréquentes

Quelle différence entre chatbot et agent IA ?

Un agent planifie ou enchaîne des actions et peut appeler des outils. Ce pouvoir d’action exige des permissions, validations, traces et mécanismes d’arrêt plus stricts.

Faut-il toujours une validation humaine ?

Elle est particulièrement nécessaire quand l’action est irréversible, sensible, réglementée, financière ou difficile à détecter après coup. Le niveau dépend du risque.

Que faut-il journaliser ?

La version du système, le contexte strictement utile, les appels d’outils, les validations, le résultat et les erreurs, avec une durée de conservation justifiée.

Références : données, usages et limites

Documentation consultée le .

Références : données, usages et limites
Source et objetDonnée ou repère vérifiéComment l’utiliserLimite à conserver
MITRE ATLAS

Examiner les tactiques, techniques et cas documentés visant des systèmes IA.

 Le dépôt officiel publie les données ATLAS : tactiques, techniques et études de cas. Ces éléments complètent une analyse du système réellement déployé. Choisissez les scénarios correspondant aux données, interfaces et outils de votre application. Testez les permissions et les conséquences, pas seulement la réponse du modèle.

Approfondir la méthode →

 Un catalogue de techniques n’est pas une garantie de couverture exhaustive ni un résultat de test sur votre système.
NIST · AI Risk Management Framework

Organiser la gestion des risques associés à l’IA.

 Le cœur de l’AI RMF s’articule autour de Govern, Map, Measure et Manage. Il s’agit d’un cadre volontaire de gestion du risque. Définissez usage, personnes concernées et conséquences d’erreur. Rapprochez chaque risque d’une évaluation, d’un responsable et d’un moyen d’arrêt ou de reprise.

Approfondir la méthode →

 Le cadre ne certifie ni un modèle ni une application. Son utilisation ne dispense pas d’examiner les obligations applicables.
OWASP · LLM Top 10

Préparer des tests sur les risques des applications de modèles de langage.

 L’édition 2025 inclut notamment Prompt Injection, Sensitive Information Disclosure et Excessive Agency. Traduisez un risque en scénario observable : document hostile, donnée réservée ou outil hors périmètre. Notez le comportement attendu et la preuve du refus.

Approfondir la méthode →

 Une liste de risques n’est pas une évaluation complète. Le filtrage des entrées ne démontre pas à lui seul l’autorisation de chaque action.

RAG : droits, citations et caches

Décrire l’autorité de chaque outil de l’agent

L’autorité d’un outil dépend de l’identité, des objets et des opérations permises. Une source documentaire, même interne, ne peut pas élargir ce périmètre. L’agent doit pouvoir réussir la tâche légitime avec des droits limités.

  • Établir une matrice identité, objet et opération.
  • Vérifier les refus dans le connecteur, puis l’absence d’effet.
  • Rejouer les témoins positifs après chaque restriction.

Explorer la matrice de droits RAG et ses cas de test →

Références consultées le · OWASP · LLM06:2025 Excessive Agency OWASP · API1:2023 Broken Object Level Authorization NIST AI 100-2 E2025 · Adversarial Machine Learning

OAuth/OIDC : audience et droits

Un agent IA conserve les frontières d’autorisation de chaque outil

Une instruction du modèle ne crée pas une délégation. Pour chaque outil, identifiez le client appelant, le serveur de ressources, l’audience et la politique sur les objets.

  • Limiter les droits à l’opération et au destinataire utiles au cas d’usage.
  • Ne pas transférer le jeton d’un outil à une autre API par simple commodité.
  • Tester qu’un agent ne lit pas les objets d’un autre locataire malgré un scope de lecture.

Voir les destinataires et les dix scénarios OAuth/OIDC →

Sources vérifiées le · IETF · RFC 9700 · OAuth 2.0 Security BCP · IETF · RFC 9068 · JWT access token profile · OpenID Foundation · OpenID Connect Core 1.0 · IETF · RFC 8725 · JWT Best Current Practices · IETF · RFC 6749 · OAuth 2.0 framework

SSRF : URL et connexions

Un outil d’agent IA garde des sorties réseau bornées

Le texte produit par un modèle, un document récupéré ou un résultat de recherche ne doit pas élargir les destinations autorisées d’un outil. Définir le connecteur par opération et par service permet de contrôler ce qu’un agent peut réellement joindre.

  • Reconstruire les requêtes à partir d’identifiants métier lorsque le service est connu.
  • Contrôler résolution, connexion, proxy et chaque redirection au composant de sortie.
  • Conserver une décision traçable et des limites de réponse, même après retry ou repli.

Lire les 12 cas et les contrôles de connexion →

Sources relues le · OWASP · SSRF Prevention Cheat Sheet · WHATWG · URL Living Standard · AWS EC2 · Instance metadata options · IETF · RFC 3849

Références officielles

Date de consultation des références : . La méthode et la fiche de travail proposent des contrôles à adapter à votre contexte ; elles ne constituent pas une certification.

Pour aller plus loin

← Tous les guides Guide suivant : SEO, AEO et GEO : feuille de route orientée SXO → Découvrir l’accompagnement