Sur cette page
Répondez de tête, puis ouvrez. Le modèle de langage
1Un assistant répond avec assurance. Qu'est-ce que cela dit de sa réponse ?
Rien sur sa justesse. Un modèle écrit la suite la plus probable d'un texte ; une réponse fausse peut être aussi bien écrite qu'une juste.
2Vous demandez à un assistant la règle en vigueur depuis le mois dernier. Que faire pour avoir une réponse fiable ?
Activer la recherche sur le web ou joindre le texte de la règle : ses connaissances s'arrêtent avant ; puis vérifier la source citée.
- Un modèle invente surtout les faits rares (une date, un nom, une référence) : rien dans la langue ne permet de les deviner, et son entraînement récompense une réponse plus qu'un « je ne sais pas ».
- Il se range volontiers à l'avis de son interlocuteur : présentez une erreur comme votre conviction, et il la confirmera plus souvent.
- Même avec le document sous les yeux, il ajoute parfois ce qui n'y est pas : de 1,8 % à 24,2 % des résumés, selon le modèle, sur un classement indépendant.
- Un détail sans rapport glissé dans une question suffit à faire baisser ses résultats en calcul.
- Les parades : lui permettre de dire qu'il ne sait pas, exiger la citation du passage source, reposer la question, faire calculer par un outil, et vérifier ce qui compte.
Problème
Une base de données tenue par un chercheur recense, au 8 octobre 2026, 2 149 décisions de justice dans le monde où une partie s'est appuyée sur un contenu inventé par une IA, le plus souvent une jurisprudence qui n'existe pas. Chaque fois, quelqu'un a cru une réponse bien écrite. Pour s'en protéger, il faut savoir comment un modèle se trompe, et pourquoi.
Principe
OpenAI appelle hallucination une affirmation plausible mais fausse produite par un modèle de langage ; Anthropic y ajoute le texte incohérent avec le contexte fourni. Deux causes, d'après OpenAI :
- Les faits rares ne se devinent pas. L'orthographe ou la grammaire suivent des régularités que le modèle apprend ; la date de naissance d'une personne peu connue n'en suit aucune. Le modèle écrit alors une date plausible.
- L'entraînement récompense la réponse. Comme un élève à un examen noté sans pénalité, un modèle qui devine gagne plus de points qu'un modèle qui s'abstient.
Une troisième cause vient de la façon dont on apprend au modèle à répondre : des personnes notent ses réponses, et préfèrent parfois une réponse qui leur donne raison à une réponse juste. Des chercheurs d'Anthropic ont trouvé cette complaisance chez cinq assistants de premier plan, en 2023.
Fonctionnement
Cinq erreurs reviennent dans les mesures publiées. Les chiffres viennent de tests différents : ils disent l'ordre de grandeur, pas le taux d'erreur de votre assistant sur vos questions.
S'abstenir ou deviner. OpenAI compare deux de ses modèles sur un même test de questions factuelles : ils trouvent la bonne réponse presque aussi souvent (22 % et 24 %). Le premier s'abstient une fois sur deux, et se trompe dans 26 % des cas ; le second répond presque toujours, et se trompe dans 75 %. À exactitude égale, celui qui sait dire « je ne sais pas » trompe trois fois moins.
Exemple détaillé
Même avec le document. Vectara, un éditeur de logiciels de recherche, donne les mêmes documents à résumer à chaque modèle, avec la consigne de n'utiliser que leurs faits, puis compte les résumés qui ajoutent quelque chose. C'est la situation d'un assistant branché sur vos documents : la réponse est sous ses yeux, et il s'en écarte quand même, de temps en temps.
Part des résumés qui contiennent une information absente du document
- Finix S1 32BAnt Group1,8 %
- GPT-6 SolOpenAI6,5 %
- Gemma 4 31BGoogle7,4 %
- DeepSeek V4 ProDeepSeek8,6 %
- GPT-6 AstraOpenAI8,7 %
- Claude Haiku 4.5Anthropic9,8 %
- Gemini 3.1 Pro, en aperçuGoogle10,4 %
- Claude Opus 4.6Anthropic12,2 %
- GPT-5.6 SolOpenAI12,4 %
- gpt-oss-120bOpenAI14,2 %
- Grok 4.1 Fast, avec raisonnementxAI19,2 %
- Mistral Medium, août 2025Mistral AI22,7 %
- Ministral 3 3BMistral AI24,2 %
Deux leçons. Le plus puissant n'est pas toujours le plus fidèle : GPT-6 Astra, le haut de gamme d'OpenAI, ajoute plus que GPT-6 Sol ; Claude Opus 4.6 plus que Claude Haiku 4.5, le petit modèle d'Anthropic. Et aucun modèle ne descend à zéro : sur cent résumés, même le meilleur en livre deux qui contiennent une information inventée.
Risques
| Où l'erreur coûte | Ce qui arrive | La parade |
|---|---|---|
| Une référence citée : loi, décision, étude, norme | Elle peut ne pas exister, ou ne pas dire ce qu'on lui prête | L'ouvrir à la source avant de la citer |
| Un chiffre dans un document qui part | Un montant recalculé de travers, un chiffre ajouté au résumé | Les montants par un tableur ou un programme ; le modèle n'écrit que le texte autour |
| Une question qui contient déjà sa réponse | Le modèle confirme ce que vous croyiez, juste ou non | Poser la question sans donner son avis |
| Un fait récent ou propre à l'entreprise | Le modèle ne le connaît pas, et répond quand même | Lui donner le document, ou activer la recherche sur le web |
Mise en place
Anthropic recommande ces gestes, en précisant qu'ils réduisent les erreurs sans les supprimer :
- Permettre de ne pas savoir : écrire dans la demande « si l'information n'est pas dans le document, dis-le ».
- Exiger la citation : pour chaque affirmation, le passage exact du document d'où elle vient ; une affirmation sans passage se retire.
- Reposer la question, plusieurs fois, et comparer : ce qui change d'une réponse à l'autre est suspect.
Trois gestes de plus, tirés des mesures ci-dessus :
- Ne pas souffler la réponse : « quel est le plafond ? » plutôt que « le plafond est bien de 45 €, non ? ».
- Faire calculer par un outil : un tableur, ou l'exécution de code que proposent plusieurs assistants, plutôt qu'un calcul écrit dans le texte.
- Vérifier ce qui compte avant que cela parte : la vérification d'une réponse d'IA.
Exercice
Un salarié joint la note ci-dessous et pose sa question. La réponse contient trois erreurs, de trois sortes différentes. Lesquelles ?
À compter du 1er novembre, les notes de frais se déposent avant le 5 du mois suivant. Le plafond du repas d'affaires passe à 35 € par personne. Les frais kilométriques suivent le barème fiscal.
Ouvrir la correction
1. La complaisance« Oui, 45 € » : la note dit 35 €. La question soufflait la réponse, et l'assistant l'a confirmée.
2. L'écart au document« Avant le 10 » : la note dit avant le 5.
3. L'invention« L'article 12 de votre convention collective » : la note n'en parle pas. Une source qui rend la réponse plus sûre d'elle, et qui n'existe pas dans ce qu'on a donné.
Vérification
1ComprendrePourquoi un modèle invente-t-il plus volontiers une date ou une référence qu'une explication générale ?
Parce qu'un fait rare ne se déduit d'aucune régularité de la langue, et que son entraînement récompense une réponse plus qu'un « je ne sais pas ».
2ComprendreVous écrivez : « Le plafond est bien de 45 €, non ? ». Quel risque prenez-vous ?
Que le modèle confirme votre erreur : il tend à se ranger à l'avis de son interlocuteur. Posez la question sans donner votre avis.
3AppliquerComment repérer une invention sans connaître soi-même la réponse ?
Exiger la citation exacte du passage source, reposer la question plusieurs fois et comparer, puis ouvrir la référence à la source.
Lectures suivantes
Rien avant : c'est un point de départ.
Les erreurs des modèles
Usage quotidien d'un assistant · étape 6 sur 9
Rien avant : c'est un point de départ.
Les pages qui renvoient ici
Limites et sources
Les mesures citées viennent de tests différents, à des dates différentes, souvent sur des modèles de 2024 et 2025 : elles disent la nature et l'ordre de grandeur des erreurs, pas le taux de votre assistant sur vos questions.
Les éditeurs publient leurs propres mesures dans les fiches de leurs modèles (OpenAI, Anthropic, Google), souvent sous forme de graphiques sans valeurs chiffrées : la page leur préfère les mesures indépendantes.
Le classement de Vectara est en anglais ; aucun classement comparable n'existe en français.
- OpenAI, Why language models hallucinate ; Anthropic, la complaisance des modèles ; Stanford, outils juridiques ; Apple, GSM-Symbolic ; AI Index 2026 ; Vectara ; la base de Damien Charlotin.
- Le relevé complet :
apprendre/recherches/2026-10-08-comprendre-modeles.json; le classement :apprendre/donnees/hallucinations.json.
Écrit par Meridal, avec l'aide de l'IA ; chaque fait vérifié à sa source et relu avant publication. Texte et schémas sous licence CC BY 4.0 : reprenez-les en citant Meridal. Le code sous licence MIT.
Former vos équipes, et vous
Une demi-journée à deux journées, 550 € à 3 400 €