Garde-fous d’une fonction IA en production : par où partir?
Injection de requête, hallucinations, sorties non validées : les garde-fous à mettre en place d’abord pour une fonction LLM, selon Anthropic et l’OWASP.
Pour une fonction IA (grand modèle de langage, ou LLM) en production, commencez par trois garde-fous : traiter tout ce que le modèle lit comme des données non fiables, valider tout ce qu’il produit avant que le reste de votre système y touche, et limiter ce qu’il a le droit de faire. Le reste (filtres, classificateurs, consignes de refus) vient en renfort. Aucune technique ne règle le problème à elle seule, et la documentation d’Anthropic le dit elle-même : ses techniques contre les hallucinations « réduisent significativement » le problème, sans l’éliminer.
Quels risques faut-il couvrir en premier?
L’OWASP Top 10 pour les applications LLM, édition 2025, est une bonne grille de départ. Pour une fonction typique d’un produit SaaS, quatre entrées pèsent le plus :
- LLM01, injection de requête : un texte (celui de l’utilisateur ou celui d’un document) qui tente de détourner les instructions du modèle.
- LLM05, gestion inadéquate des sorties : la réponse du modèle est transmise à un navigateur, une base de données ou un service sans validation.
- LLM06, agentivité excessive : le modèle a accès à des outils ou à des permissions dont il n’a pas besoin.
- LLM09, désinformation : le modèle affirme des choses fausses avec assurance.
Les autres entrées de la liste (divulgation d’information sensible, consommation non bornée, etc.) comptent aussi. À notre avis, ces quatre-là décident généralement de ce qui arrive quand quelque chose tourne mal.
- Entréefiltrer et classer ce que l’utilisateur envoie
- Contenu tiersdocuments, courriels et résultats d’outils traités comme données
- Modèleconsignes claires, droit de dire « je ne sais pas »
- Sortievalidée et encodée avant tout usage
- Permissionsoutils et accès réduits au strict nécessaire
Schéma pédagogique inspiré de la documentation d’Anthropic et de l’OWASP, novembre 2026.
Comment se défendre contre l’injection de requête?
En date de novembre 2026, la documentation d’Anthropic distingue deux situations, qui n’appellent pas les mêmes défenses.
L’utilisateur est l’adversaire (contournement direct). Les mesures décrites :
- Présélectionner l’entrée avec un petit modèle qui renvoie une simple classification (une sortie structurée, par exemple un booléen).
- Filtrer les motifs d’injection connus avant l’appel au modèle.
- Rédiger des consignes système qui fixent les limites et disent comment refuser.
- Réagir aux récidivistes : limiter ou bloquer les utilisateurs qui insistent.
L’utilisateur est de confiance, mais le contenu ne l’est pas (injection indirecte : une page web, un courriel, un document, un résultat d’outil). Les mesures décrites :
- Placer le contenu tiers uniquement dans des blocs de résultats d’outils, jamais dans les consignes système ni dans le message de l’utilisateur.
- Dire au modèle ce qu’est ce contenu et d’où il vient.
- Énoncer dans les consignes système que ce contenu est une donnée non fiable qui ne doit jamais l’emporter sur ces consignes ni sur la demande initiale de l’utilisateur.
- Encoder le contenu tiers en JSON plutôt que de le concaténer à du texte libre.
- Limiter l’accès du modèle aux données et aux actions sensibles (moindre privilège, outils isolés).
- Faire examiner les sorties d’outils par un petit classificateur avant que le modèle n’agisse.
Anthropic recommande aussi de tester votre propre agent avec des documents et des courriels qui contiennent volontairement des tentatives d’injection avant le déploiement, puis de surveiller les sorties en continu.
Que faire des sorties du modèle?
Traitez-les comme celles d’un utilisateur quelconque. C’est la première recommandation de l’OWASP pour la gestion des sorties : une approche « confiance zéro », où l’on valide les réponses du modèle avant qu’elles atteignent les services en aval. Le même document liste des mesures concrètes :
- Encoder la sortie selon son destinataire (HTML pour une page web, échappement pour du SQL).
- Utiliser des requêtes paramétrées pour toute opération de base de données qui touche une sortie du modèle.
- Appliquer une politique de sécurité du contenu stricte pour limiter le risque de script intersite (XSS).
- Journaliser et surveiller les sorties inhabituelles.
Un exemple concret : si votre fonction génère du Markdown affiché dans l’application, vérifiez que le rendu n’exécute ni script ni lien inattendu. Si elle génère un appel d’API, validez le format et les valeurs avec un schéma, comme vous le feriez pour une requête venant d’un client.
Comment limiter les hallucinations?
La documentation d’Anthropic sur les hallucinations propose, comme stratégies de base :
- Permettre au modèle de dire « je ne sais pas », explicitement, dans la consigne.
- Ancrer la réponse dans des citations : pour les longs documents (plus de 20 000 jetons), demander d’extraire d’abord des citations mot à mot, puis de n’analyser qu’à partir d’elles.
- Vérifier avec des citations : demander une citation à l’appui de chaque affirmation, et retirer celles qui n’en ont pas.
Parmi les techniques plus avancées, la même page cite la restriction des connaissances externes (n’utiliser que les documents fournis) et la comparaison de plusieurs exécutions de la même requête : des écarts entre les résultats peuvent signaler une hallucination.
La documentation ajoute qu’il faut toujours valider l’information critique, surtout pour les décisions à fort enjeu. Pour une fonction qui touche des décisions, des montants ou des données personnelles, prévoyez donc une étape de validation humaine ou une règle métier déterministe en aval.
Tester avec de fausses injections, mesurer ce qui passe, corriger, puis surveiller en production.
Que vérifier en premier, concrètement?
Voici l’ordre dans lequel nous procéderions pour une fonction existante :
- Dresser la liste des outils et des accès du modèle. Retirer tout ce dont la fonction n’a pas besoin. C’est la mesure qui limite les dégâts quand les autres échouent.
- Repérer où entre du contenu tiers (documents téléversés, courriels, pages web, résultats d’API) et s’il arrive dans les consignes système ou dans des résultats d’outils.
- Repérer où va la sortie : navigateur, base de données, appel d’API, courriel envoyé. Chaque destination demande sa validation.
- Écrire une série de cas d’attaque (injections dans un document, consignes à ignorer, demandes hors périmètre) et les rejouer à chaque changement de consigne ou de modèle. C’est le même réflexe que pour les évaluations de qualité.
- Décider ce qui se passe en cas de refus ou de doute : message neutre, réessai, escalade vers une personne. Un garde-fou sans comportement prévu en cas de déclenchement risque de frustrer les utilisateurs.
- Journaliser les entrées bloquées et les sorties rejetées, sans y conserver de renseignements personnels inutiles. Au Québec, la Loi 25 encadre le traitement des renseignements personnels par les entreprises : la Commission d’accès à l’information en décrit les obligations. Validez votre situation avec votre conseiller juridique.
Quels coûts et quels compromis?
Chaque couche ajoute de la latence et un coût. Un classificateur devant l’entrée, un autre sur chaque résultat d’outil et une vérification par citations multiplient les appels au modèle. Anthropic suggère un modèle léger pour ces classificateurs, mais le surcoût dépend de votre trafic : mesurez la latence et le coût par requête avant et après, plutôt que de supposer.
Une règle simple pour dimensionner l’effort : plus la fonction peut agir (écrire, envoyer, payer, supprimer), plus les garde-fous sur les permissions et les sorties comptent. Une fonction qui ne fait que résumer un texte de l’utilisateur pour lui-même demande moins de couches qu’un agent qui lit des courriels et appelle des outils.
Si vous voulez un regard externe sur l’architecture de votre fonction IA, voyez nos services.
Information générale seulement, ne constituant pas un avis juridique ni un avis de sécurité. Validez vos choix avec des spécialistes et consultez la documentation à jour des fournisseurs.