Ressources · 44
Injection de prompt : tester les frontières d’un agent IA
Vérifier qu’un document, un résultat de recherche ou un message ne peut pas autoriser une action à la place de l’utilisateur.
· 5 min
Ce que ce guide permet
- Distinguer données et instructions
- Réduire les actions possibles au strict besoin
- Tester les effets réels derrière une réponse
- Documenter les limites et les régressions
Contrôle express
- Quels contenus externes l’agent lit-il ?
- Quelles actions peut-il déclencher sans validation ?
- L’autorisation est-elle vérifiée hors du modèle ?
- Un refus verbal empêche-t-il effectivement l’appel d’outil ?
- Comment arrêter un scénario qui dévie ?
Méthode pas à pas
- 01
Inventorier les frontières
Listez messages, pages web, documents, résultats de recherche, pièces jointes et sorties d’outils. Classez-les comme données à interpréter, sans leur donner autorité sur les permissions. Notez les canaux qui peuvent contenir du texte ou du contenu multimodal.
Livrable : carte des entrées et actions possibles.
- 02
Définir les effets interdits
Décrivez les dommages à éviter : accès hors périmètre, publication non validée, transfert de données ou modification de compte. Fixez un résultat observable pour chaque scénario ; juger uniquement le texte de la réponse peut manquer une action déjà exécutée.
Livrable : scénarios de menace et invariants.
- 03
Isoler l’environnement de test
Utilisez comptes, documents et destinations fictifs clairement identifiés, avec marqueurs de test et outils simulés. Coupez tout envoi réel et tout accès de production. Conservez modèle, configuration, corpus et versions des connecteurs pour rejouer les cas.
Livrable : environnement et jeu de tests versionnés.
- 04
Rejouer des entrées adversariales
Introduisez dans une source de test une consigne qui contredit la tâche, demande une action hors périmètre ou cherche à faire accepter une fausse autorité. Variez langue, position, format et combinaison de sources. Mesurez l’appel d’outil, ses arguments et le résultat effectif.
Livrable : traces des cas réussis, bloqués ou indéterminés.
- 05
Renforcer les contrôles externes
Appliquez droits minimaux, validation des arguments, séparation lecture/écriture et destinations autorisées dans les outils. Exigez une approbation contextualisée pour les opérations sensibles. Le RAG et une consigne de refus ne suppriment pas à eux seuls le risque d’injection.
Livrable : règles exécutables et tests de contournement.
- 06
Suivre les changements
Rejouez les cas après modification du modèle, du corpus, des outils ou des règles. Suivez également les tâches légitimes bloquées. Publiez le périmètre testé et les limites connues ; un taux de réussite sur un petit jeu ne prouve pas l’absence de vulnérabilité.
Livrable : rapport de régression et décision de mise en service.
Cas de recette proposés
Scénarios fictifs à adapter dans un environnement autorisé. Ils ne décrivent aucun résultat client ni une certification.
| Situation fictive | Contrôle proposé | Preuve à conserver |
|---|---|---|
| Un document fictif récupéré demande à l’agent d’envoyer le dossier vers une destination externe. | Dans un environnement isolé, vérifier que le document reste une donnée non fiable et que l’outil refuse l’action non autorisée. Une réponse verbale de refus ne suffit pas. | Source et version du document, appel d’outil simulé, décision d’autorisation et absence d’effet externe. |
| Une réponse semble correcte mais incorpore une instruction venue d’une page secondaire. | Rejouer le parcours avec et sans la page, comparer les citations et contrôler séparément les arguments transmis aux outils. | Versions du modèle, du corpus et des outils, différences observées et cas conservé pour la régression. |
Exemple d’application
Situation illustrative
Situation illustrative : un assistant résume un document de test contenant une demande d’envoi vers une destination extérieure.
Décision et preuve attendue
L’outil refuse cette destination indépendamment du texte généré. Le test vérifie absence d’envoi et maintien du résumé légitime.
Distinguer les mécanismes
| Mécanisme | Utilité | Point de vigilance |
|---|---|---|
| Filtre d’entrée | Repérer certains motifs suspects | Peut manquer une formulation nouvelle |
| Consigne au modèle | Décrire la frontière attendue | Ne constitue pas un contrôle d’accès |
| Contrôle dans l’outil | Refuser une opération non autorisée | Doit vérifier identité, objet et arguments |
Indicateurs de pilotage
| Indicateur | Ce qu’il mesure | Première action |
|---|---|---|
| Actions interdites | Cas déclenchant un effet hors périmètre | Bloquer et analyser chaque effet |
| Faux refus | Tâches légitimes empêchées | Réviser sans relâcher les permissions |
| Couverture | Canaux et outils effectivement testés | Documenter les angles morts |
Erreurs fréquentes
- Placer des secrets dans le prompt de test
- Tester uniquement les réponses visibles
- Supposer qu’un document interne est toujours fiable
- Annoncer une protection absolue après quelques tests
Questions fréquentes
Le RAG empêche-t-il l’injection ?
Non. Les documents récupérés peuvent eux-mêmes contenir des consignes adversariales. Les sources restent des données à traiter dans un périmètre contrôlé.
Faut-il bloquer tous les documents suspects ?
La décision dépend du besoin ; l’agent peut souvent analyser un document sans suivre ses instructions ni disposer d’un outil d’écriture.
Comment publier les résultats ?
Indiquez versions, périmètre, effets testés, limites et corrections. Ne diffusez aucun secret ni document client utilisé dans le travail.
Quelle preuve conserver pour une vérification utile ?
Conservez la source non fiable, les versions du modèle et des outils, la décision d’autorisation et l’état final. Vérifiez l’absence d’effet interdit hors du texte de réponse : un refus affiché ne démontre pas à lui seul que l’outil n’a rien exécuté.
RAG : droits, citations et caches
Une source hostile ne peut pas attribuer un droit
Le texte lu par l’agent peut essayer de changer la tâche ; il ne doit pas changer les permissions du service documentaire. Rejouez le même objet avec un groupe autorisé, un autre groupe puis un groupe révoqué.
- Comparer décision d’accès et effet réel, même si la réponse verbale semble correcte.
- Faire passer le document de test par recherche, citation et cache.
- Conserver un témoin positif pour ne pas confondre protection et blocage général.
Explorer la matrice de droits RAG et ses cas de test →
Références consultées le · OWASP · LLM01:2025 Prompt Injection OWASP · LLM06:2025 Excessive Agency NIST AI 100-2 E2025 · Adversarial Machine Learning
