Déployer une IA utile et maîtrisée

Votre checklist d’action

1. 01

   Définir la tâche et ses limites

   Décrivez les entrées, la sortie attendue, les utilisateurs et les décisions interdites à l’IA. Comparez le gain espéré à une solution simple sans modèle génératif. Exemple : retrouver la procédure interne applicable à une demande, avec passage cité et date de version. La réussite demande une source correcte et accessible au demandeur. Une réponse plausible sans preuve doit compter comme un échec, même si sa rédaction paraît convaincante.

2. 02

   Cartographier les données

   Documentez les données envoyées, leur localisation, la conservation et les conditions du fournisseur. Limitez les informations sensibles et vérifiez les autorisations sur les documents indexés. Pour un RAG, séparez autorisation d’indexer, autorisation de retrouver et autorisation de restituer. Un document visible par l’administrateur ne doit pas devenir accessible à tous. Testez le même sujet avec plusieurs profils et conservez les refus attendus.

3. 03

   Évaluer sur des cas représentatifs

   Constituez un jeu de cas normaux, difficiles et adversariaux avec critères de réussite. Mesurez erreurs factuelles, citations, refus, coûts et latence, puis conservez les versions testées. Gardez un lot de contrôle distinct des exemples utilisés pour ajuster les instructions. Faites annoter les réponses par une personne compétente et suivez séparément citations incorrectes, réponses incomplètes et refus justifiés. Comparez à une recherche documentaire simple.

4. 04

   Limiter les capacités des agents

   Accordez le minimum de permissions. Exigez une validation humaine avant toute action engageante, séparez les environnements et prévoyez un arrêt ainsi qu’un retour arrière. Une réponse correcte ne donne pas le droit d’envoyer un message, modifier un compte ou supprimer un document. Délimitez les outils par action et par ressource ; exigez une confirmation explicite lorsque l’opération engage son destinataire ou modifie des données sensibles.

5. 05

   Tester les entrées hostiles

   Traitez les documents et pages récupérés comme des données non fiables. Testez les injections de prompt, l’exfiltration, les outils détournés et les réponses sans preuve ; ne supposez pas qu’un filtrage résout tout. Placez une consigne contradictoire dans un document de test et observez si le système la traite comme du contenu. Vérifiez aussi qu’un résultat d’outil ne devient pas une autorisation. Le test porte sur le parcours complet, pas uniquement sur le modèle.

6. 06

   Surveiller et réévaluer

   Nommez un responsable, surveillez les incidents et refaites les évaluations lors des changements de modèle, de prompt ou de corpus. Définissez un seuil d’arrêt et une alternative manuelle. Conservez un journal proportionné permettant de retrouver le cas, les sources et la décision humaine sans recopier inutilement les données sensibles. Rejouez les cas critiques après toute modification et prévoyez le retour à une procédure manuelle documentée.

   Exemple pédagogique : un assistant répond aux questions sur des contrats. Préparez le même dossier avec un profil autorisé et un profil exclu. Le premier doit recevoir une réponse appuyée sur le bon passage ; le second ne doit révéler ni contenu ni extrait réservé. Ajoutez un document sans rapport contenant une instruction d’envoi par email : sa présence dans le corpus ne doit pas autoriser cet envoi.