Évaluer une fonction IA avant la production : par où partir?
Comment bâtir des évaluations (evals) pour une fonction LLM : critères de succès, jeu de tests, méthodes de correction et seuils avant la mise en production.
Pour évaluer une fonction IA avant la production, il faut trois choses : des critères de succès mesurables, un jeu de cas tirés de votre usage réel, et une correction automatisée que vous relancez à chaque changement de modèle ou de prompt. Sans cela, la qualité se juge à l'impression, et une mise à jour du modèle peut dégrader le produit sans que personne s'en aperçoive. Voici comment démarrer, avec les recommandations de la documentation d'Anthropic, et ce que nous vérifierions d'abord.
Pourquoi une démo ne suffit pas
Une démo montre quelques bons exemples. La production envoie des questions mal formulées, des cas limites et des données inattendues. La documentation d'Anthropic sur les évaluations demande de concevoir des évaluations qui reflètent la distribution réelle de vos tâches, sans oublier les cas limites.
Une évaluation sert aussi à décider. Changer de modèle, modifier une requête (prompt), ajouter une source à un système de génération augmentée par récupération (RAG) : chaque changement devient un test que l'on peut comparer à la version précédente, au lieu d'un pari.
Quels critères de succès fixer?
Avant d'écrire un seul test, nommez ce que « bien » veut dire. Selon la documentation sur la définition du succès, de bons critères sont précis, mesurables, atteignables et pertinents. L'exemple donné : plutôt que « bonne performance », écrire « classification précise du sentiment ».
La même page propose une liste, non exhaustive, de dimensions courantes (état en novembre 2026) :
- Fidélité à la tâche : le modèle réussit-il, y compris sur les entrées rares ou difficiles?
- Constance : des entrées semblables donnent-elles des réponses semblables?
- Pertinence et cohérence : la réponse traite-t-elle la consigne, de façon logique?
- Ton et style : adaptés au public visé?
- Protection des renseignements personnels : comment le modèle traite-t-il les données sensibles?
- Utilisation du contexte : exploite-t-il bien les documents et l'historique fournis?
- Latence et prix : temps de réponse acceptable et budget d'appels.
La documentation note que la plupart des cas d'usage demandent une évaluation sur plusieurs critères à la fois. Son exemple pour l'analyse de sentiment combine un score F1 d'au moins 0.85, 99.5 % de sorties non toxiques et 95 % des réponses en moins de 200 ms, sur un jeu de 10 000 messages variés. Ces chiffres illustrent le format. Vos seuils doivent venir de votre produit, pas de cet exemple.
Démarche inspirée de la documentation d'Anthropic sur les évaluations.
Comment construire le jeu de tests?
Les trois principes d'Anthropic, en bref :
- Soyez spécifique à la tâche. Les cas doivent ressembler à ce que vos utilisateurs envoient vraiment.
- Automatisez quand c'est possible. Structurez les questions pour permettre une correction automatique : choix multiple, correspondance de chaînes, code, ou correction par un modèle.
- Préférez le volume à la perfection. Selon la documentation, plus de questions corrigées automatiquement, même avec un signal un peu plus faible, valent mieux que peu de questions corrigées à la main avec soin.
En pratique, nous partirions des vraies requêtes : journaux de support, questions de clients, cas qui ont déjà échoué. Traitez ces données comme celles de la production : retirez ou masquez les renseignements personnels avant de les copier dans un jeu de tests, et vérifiez vos obligations avec votre responsable de la protection des renseignements personnels.
Quelle méthode de correction choisir?
La documentation présente des exemples où la méthode suit le critère :
| Critère | Méthode donnée en exemple |
|---|---|
| Fidélité à la tâche (classification) | Correspondance exacte avec l'étiquette attendue |
| Constance (FAQ) | Similarité cosinus sur des plongements de phrases |
| Pertinence (résumé) | ROUGE-L, comparaison avec des résumés de référence |
| Ton (service à la clientèle) | Échelle de Likert corrigée par un modèle |
| Renseignements personnels (santé) | Classification binaire par un modèle |
Les corrections par modèle conviennent aux nuances comme l'empathie ou le professionnalisme. La documentation recommande, en règle générale, de corriger avec un modèle différent de celui qui a produit la réponse. Elle conseille aussi de tester la fiabilité d'une correction par modèle avant de l'étendre. Chez nous, cela veut dire relire un petit échantillon à la main pour vérifier qu'elle juge comme vous le feriez.
Quels pièges éviter?
- Un seul score global. Il cache les régressions. Suivez chaque critère séparément.
- Un jeu de tests trop propre. S'il ne contient que des questions bien formulées, il vous rassurera à tort.
- Évaluer une seule fois. Relancez la suite à chaque changement de modèle, de prompt ou de données de recherche.
- Oublier le coût et la latence. Une réponse juste mais lente ou chère peut quand même échouer au critère du produit.
- Des seuils inventés. Un seuil sans lien avec le besoin d'affaires n'aide pas à trancher.
Par où commencer cette semaine?
- Écrivez de trois à cinq critères, chacun avec un seuil chiffré.
- Rassemblez quelques dizaines de cas réels pour commencer (vous les multiplierez), dont les pires échecs connus, et masquez les renseignements personnels.
- Automatisez la correction de ce que vous pouvez, et limitez la relecture manuelle à ce qui ne s'automatise pas.
- Lancez la suite sur la version actuelle pour obtenir un point de départ.
- Branchez-la à votre pipeline pour qu'elle roule à chaque changement, puis agrandissez le jeu de cas au fil des incidents.
Nous commençons ainsi avec une équipe : un seul cas d'usage, des critères écrits, un point de départ chiffré. C'est une démarche, pas une promesse de résultat. Pour la suite, voyez nos services ou le CTO fractionnel.
Information générale, non un avis juridique ni technique. Validez vos seuils et vos obligations de protection des renseignements personnels avec les personnes compétentes.