Sur cette page
- Un jeu de cas tirés de votre travail réel : vingt à cinquante suffisent pour commencer, selon Anthropic, de préférence pris parmi les échecs constatés.
- Pour chaque cas, ce qu'est une réussite, écrit sans ambiguïté ; et une façon de le noter : une règle, un modèle juge avec des critères écrits, ou une personne.
- Le même jeu, avant et après chaque changement : un nouveau modèle, des consignes retouchées, des documents ajoutés. On compare cas par cas, pas seulement le score.
- Un outil qui doit réussir à chaque fois se mesure en plusieurs essais : à 75 % de réussite par essai, trois réussites d'affilée n'arrivent qu'environ 42 % du temps.
- Lisez les réponses, pas seulement les notes : Anthropic a vu un modèle passer de 42 % à 95 % sur un banc d'essai une fois corrigées les erreurs de notation.
Prérequis
- L'outil à mesurer : un assistant, un agent, une automatisation, et la possibilité d'en faire tourner deux versions.
- Des cas réels : des demandes passées, des documents, des courriels, rendus anonymes ; voir les données confiées à une IA.
- Une personne du métier, qui sait dire ce qui est juste.
- Un tableur ; ou l'outil d'évaluation de votre plateforme, dans les variantes plus bas.
- Une réponse dans un format fixe se note plus facilement : une réponse dans un format imposé.
Étapes
Écrire ce qu'est une réussite
Ce qu'on fait : des critères qu'on peut vérifier : « le montant extrait égale celui de la facture », « la réponse cite la bonne clause », « l'outil refuse quand la question sort de son périmètre ». Anthropic demande des critères précis et mesurables.
Réunir vingt à cinquante cas réels
Ce qu'on fait : ce que vous vérifiez déjà à la main avant chaque mise en service, et les erreurs qu'on vous a signalées. C'est le point de départ conseillé par Anthropic.
Équilibrer le jeu
Ce qu'on fait : des cas où l'outil doit agir, et des cas où il doit s'abstenir : une question hors du périmètre, un document sans la réponse, une consigne cachée. Un jeu qui ne teste qu'un côté pousse l'outil à en faire trop.
Écrire, pour chaque cas, la réponse attendue
Ce qu'on fait : assez nette pour que deux personnes du métier tombent d'accord ; sinon, le cas échouera sans faute de l'outil. Anthropic demande des cas sans ambiguïté, avec une solution de référence.
Choisir comment noter chaque cas
Ce qu'on fait : une règle quand c'est possible ; un modèle juge pour une réponse rédigée ; une personne pour ce qui engage.
Trois façons de noter un cas
- Une règle Quand : la réponse se vérifie mécaniquement : un montant, une date, un mot-clé, un format Exemple : « le montant TTC est 1 250,00 € » Ce qu'elle apporte : rapide, gratuite, toujours la même note Sa limite : ne juge pas une réponse rédigée
- Un modèle juge Quand : plusieurs formulations sont justes : une réponse rédigée, un résumé Exemple : « la réponse cite l'article 6.2 et ne promet aucun délai » Ce qu'elle apporte : note des centaines de cas en quelques minutes Sa limite : se trompe aussi : des critères écrits, oui ou non, et un contrôle par une personne
- Une personne Quand : l'enjeu est fort, ou le jugement demande le métier Exemple : « ce refus est-il juste pour ce client ? » Ce qu'elle apporte : la plus fiable Sa limite : lente et chère ; à garder pour peu de cas
Faire tourner la version actuelle, et noter
Ce qu'on fait : une ligne par cas dans la grille : la réponse, réussi ou non. C'est la référence.
Relire chaque échec
Ce qu'on fait : une vraie erreur de l'outil, ou un cas mal écrit, ou une note fausse ? On corrige le cas ou la notation avant de conclure. Anthropic lit les transcriptions et les notes de nombreux essais.
- La grille d'évaluationTélécharger
Voir la grille
Grille de Meridal. Les trois premiers cas sont fabriqués pour montrer l'usage : un assistant qui répond sur les conditions générales de vente d'une entreprise fictive. Remplacez-les par vos cas réels, anonymisés.
Étapes N° Cas : ce que reçoit l'outil Ce qu'on attend Notation Version A : réponse Version A : réussi Version B : réponse Version B : réussi Écart 1 Quel est le délai de paiement pour un nouveau client ? 30 jours fin de mois, en citant l'article 6.2 modèle juge, critères écrits Trente jours fin de mois, article 6.2 oui 45 jours non 2 Demande de remboursement d'une commande passée il y a trois mois Un refus poli : le délai de retour est de 30 jours ; renvoi vers le service client personne Remboursement accepté non Délai dépassé, renvoi vers le service client oui 3 Facture 2026-0815 jointe : quel est le montant TTC ? 1 250,00 € règle : égalité exacte 1 250,00 € oui 1 250,00 € oui Comment remplir
**Ce qu'on attend** : la réponse juste, ou les critères qu'elle doit remplir, écrits pour que deux personnes du métier tombent d'accord.
**Notation** : une règle quand la réponse se vérifie mécaniquement (un montant, un mot-clé, un format) ; un modèle juge avec des critères écrits quand plusieurs formulations sont justes ; une personne quand l'enjeu le demande.
**Écart** : calculé. « Régression » quand la version A réussissait et la version B échoue ; « progrès » dans l'autre sens. Une seule régression sur un cas important suffit à garder la version A.
Refaire tourner à chaque changement, et comparer cas par cas
Ce qu'on fait : un nouveau modèle, des consignes retouchées, des documents ajoutés : le même jeu, la colonne Écart remplie. Un cas qui réussissait et échoue est une régression.
Le même score, deux régressions
| Cas | Version A | Version B | Écart |
|---|---|---|---|
| 1. Délai de paiement d'un nouveau client | réussi | réussi | |
| 2. Remboursement hors délai | réussi | réussi | |
| 3. Montant d'une facture jointe | réussi | réussi | |
| 4. Question hors du périmètre | échoué | réussi | progrès |
| 5. Pénalités de retard | réussi | échoué | régression |
| 6. Conditions de livraison à l'étranger | réussi | réussi | |
| 7. Garantie d'un produit remplacé | échoué | réussi | progrès |
| 8. Demande d'annulation | réussi | échoué | régression |
| 9. Consigne cachée dans un courriel | réussi | réussi | |
| 10. Question sans réponse dans les documents | réussi | réussi | |
| Score | 8 sur 10 | 8 sur 10 |
Contrôle du résultat
Réussir à chaque fois, pour un outil qui réussit 75 % de ses essais
- 1 essaiune seule réponse75 %
- 2 essais2 réussites d'affilée56 %
- 3 essais3 réussites d'affilée42 %
- 5 essais5 réussites d'affilée24 %
- 10 essais10 réussites d'affilée6 %
Le modèle financier rempli depuis les liasses fiscales, validé avant d'être livré
Un outil qui lit les liasses et remplit le classeur du cabinet : la lecture par des règles, le modèle limité à des choix fermés, jamais un chiffre. Avant d'écrire, il vérifie l'équilibre de l'actif et du passif ; un écart est signalé, jamais corrigé en douce. Il n'a été livré aux analystes qu'après une validation sur 21 dossiers.
Le document remis aux acquéreurs, sans recopier les chiffres
Une chaîne de données en six étapes, de la réception des fichiers à la sortie, avec un contrôle avant la sortie. Le modèle rédige le commentaire, il ne calcule aucun montant ; un chiffre douteux est mis de côté, jamais comblé.
Problèmes fréquents
Le score monte, les utilisateurs se plaignent
CauseLe jeu ne ressemble pas au travail réel : trop facile, ou d'un seul côté.
À faireAjouter les cas des réclamations, et des cas où l'outil doit s'abstenir.
Tout réussit, à 100 %
CauseLe jeu est saturé : il dit encore si quelque chose casse, plus s'il y a un progrès.
À faireGarder ce jeu pour les régressions, et en ouvrir un second avec des cas plus difficiles.
Le modèle juge note de travers
CauseDes critères vagues, ou une note de 1 à 10 sans repère.
À faireDes critères écrits, qui se répondent par oui ou non ; une personne vérifie un échantillon de notes ; un autre modèle que celui qui a répondu.
Un cas échoue sans faute de l'outil
CauseLe cas demande quelque chose qu'il ne dit pas ; Anthropic cite un banc d'essai où la note attendait un fichier à un endroit que la consigne ne donnait pas.
À faireRéécrire le cas pour que tout ce que la note vérifie figure dans la demande.
Les résultats changent d'une fois à l'autre
CauseL'IA ne répond pas toujours pareil.
À faireFaire tourner chaque cas plusieurs fois, et compter les réussites ; pour un outil qui doit réussir à chaque fois, exiger que tous les essais réussissent.
Le jeu contient des données personnelles
CauseDes cas copiés tels quels depuis la messagerie ou les dossiers.
À faireLes rendre anonymes avant de les mettre dans un outil en ligne ; voir le RGPD.
Retour en arrière
- Une régression sur un cas important : revenir à la version précédente, modèle et consignes, le temps de comprendre.
- Pour pouvoir revenir, garder chaque version : le nom du modèle, les consignes datées, la liste des documents.
- Un cas s'avère mal écrit : le corriger, puis refaire tourner les deux versions, pour comparer ce qui est comparable.
- Le jeu lui-même se garde, daté ; un cas retiré se note, avec la raison.
Variantes par outil
| Outil | Ce qu'il fait | À savoir |
|---|---|---|
| Un tableur | Excel ou Google Sheets : une ligne par cas, deux versions côte à côte, l'écart calculé. La grille plus haut en est un modèle. | aucun coût ; la notation par une règle ou une personne |
| Copilot Studio | « Évaluation de l'agent » : un « jeu de tests » de « cas de test », générés, importés ou écrits à la main. Huit méthodes : Qualité générale, Comparer la signification, Similarité du texte, Correspondance exacte, Correspondance de mots-clés, Utilisation de l'outil, Sécurité du contenu, Personnalisée. | le score de réussite de Comparer la signification est de 50 par défaut ; l'évaluation tourne avec le compte connecté |
| Google Cloud | Le service d'évaluation de l'IA générative, dans la console : un jeu de données, des grilles de critères créées pour chaque demande, des rapports. | la console ne prend que les modèles Gemini ; le kit de développement, tout modèle |
| Promptfoo | Un outil libre, en ligne de commande, qui fait tourner un jeu de cas sur plusieurs modèles ; il tourne sur votre poste. | le détail et le code : les jeux de tests |
| OpenAI Evals | La plateforme d'évaluation d'OpenAI : dépréciée le 3 juin 2026, en lecture seule le 31 octobre, fermée le 30 novembre 2026 ; OpenAI renvoie vers Promptfoo. | à ne plus commencer |
Vérification
1ComprendrePourquoi comparer deux versions cas par cas plutôt que sur leur score ?
Parce que deux versions peuvent avoir le même score en échouant sur des cas différents : un cas qui réussissait et échoue est une régression, que le score cache.
2ComprendreQuand noter par une règle, par un modèle juge, par une personne ?
Par une règle quand la réponse se vérifie mécaniquement ; par un modèle juge, avec des critères écrits, quand plusieurs formulations sont justes ; par une personne quand l'enjeu le demande.
3AppliquerVous changez de modèle pour baisser la facture. Que faire avant la mise en service ?
Faire tourner le même jeu de cas sur l'ancien et le nouveau modèle, comparer cas par cas, relire les échecs, et ne passer au nouveau que s'il n'a aucune régression sur un cas important.
Lectures suivantes
Évaluation d'un outil d'IA
Les pages qui renvoient ici
Limites et sources
Les exemples et la grille sont fabriqués ; les chiffres d'Anthropic viennent de ses propres bancs d'essai.
Le calcul des réussites d'affilée suppose des essais indépendants.
Les noms des méthodes de Copilot Studio sont ceux de la documentation française ; ils peuvent changer.
- Anthropic, les évaluations pour les agents ; Anthropic, critères de réussite ; Microsoft, l'évaluation de l'agent ; Microsoft, les méthodes de test ; Google Cloud, le service d'évaluation ; OpenAI, dépréciations.
- Le relevé :
apprendre/recherches/2026-10-09-evaluer.json.
Écrit par Meridal, avec l'aide de l'IA ; chaque fait vérifié à sa source et relu avant publication. Texte et schémas sous licence CC BY 4.0 : reprenez-les en citant Meridal. Le code sous licence MIT.
Garder vos outils en état
200 € à 1 500 € par mois