Sur cette page
Répondez de tête, puis ouvrez. Le modèle de langage
1Un assistant répond avec assurance. Qu'est-ce que cela dit de sa réponse ?
Rien sur sa justesse. Un modèle écrit la suite la plus probable d'un texte ; une réponse fausse peut être aussi bien écrite qu'une juste.
2D'où vient ce que sait un modèle quand vous lui posez une question ?
De ce qu'il a lu pendant son entraînement, arrêté à une date, et de ce qu'on met sous ses yeux dans la conversation. Rien d'autre : il ne connaît pas vos documents, sauf si on les lui donne.
Fiche
Un modèle de langage, en dix lignes
Une réponse bien écrite n'est pas une réponse juste : le modèle a appris à écrire comme on écrit, pas à distinguer le vrai du faux. Meridal, apprendre, 9 octobre 2026. Exemples fabriqués.
L'écriture
Il prédit la suite la plus probable d'un texte, un morceau après l'autre.
« La même question, deux réponses possibles »
Le savoir
Ce qu'il a lu pendant son entraînement, arrêté à une date, et ce qu'on met sous ses yeux. Pas vos documents, sauf si on les lui donne.
« La règle du mois dernier : joindre le texte »
Les tokens
Des morceaux de mots ; il lit et écrit en tokens, et chacun se paie, à chaque demande.
« En anglais, environ quatre caractères »
La fenêtre
Tout ce qu'il lit d'un coup : consignes, documents, historique, question, et sa réponse.
« L'historique relu à chaque message »
La fabrication
Un pré-entraînement sur des milliers de milliards de tokens, puis un post-entraînement qui lui apprend à répondre.
« Le gros du calcul avant, l'essentiel du comportement après »
Les erreurs
Il invente surtout les faits rares, et se range volontiers à votre avis.
« Une date, un nom, une référence : à vérifier »
Les parades
Lui permettre de dire qu'il ne sait pas, exiger la source, faire calculer par un outil, vérifier.
« Citez le passage d'où vient ce chiffre »
Le raisonnement
Une réflexion invisible avant la réponse, payée comme du texte écrit ; utile sur les calculs et les plans.
« Commencer bas, monter si une mesure le justifie »
Fermé ou open weight
Loué chez son fabricant, ou téléchargé et installé chez vous ; open weight n'est pas open source.
« La licence dit ce qu'on a le droit d'en faire »
Images et sons
Les grands modèles lisent images et PDF ; ils répondent en texte ; une image se change aussi en tokens.
« Les chiffres lus sur une image : à vérifier »
La mesure. Même avec le document sous les yeux, les modèles ajoutent ce qui n'y est pas dans 1,8 % à 24,2 % des résumés, selon le modèle, sur le classement de Vectara.
Points clés
- Les connaissances s'arrêtent à une date ; pour ce qui est plus récent, la recherche sur le web ou le texte joint.
- L'entraînement récompense une réponse plus qu'un « je ne sais pas » : c'est l'une des causes des inventions, selon OpenAI.
- Le pré-entraînement prend presque tout le calcul : plus de 95 % des heures de calcul de DeepSeek V3.
- Le post-entraînement change tout : en 2022, un modèle de 1,3 milliard de paramètres ainsi ajusté était préféré à un modèle plus de cent fois plus gros.
- Au-delà d'une certaine difficulté, tous les modèles qui raisonnent échouent, d'après Apple.
Pièges
Lectures suivantes
Rien avant : c'est un point de départ.
Fiche mémo : comment marche un modèle
Rien avant : c'est un point de départ.
Les pages qui renvoient ici
Limites et sources
La fiche résume les pages du dossier IA ; les exemples sont fabriqués.
Les mesures citées viennent des éditeurs et de classements publics, à leurs dates de relevé.
- OpenAI, la fabrication des modèles ; OpenAI, les inventions ; Vectara, classement ; Google, les tokens ; Anthropic, la fenêtre.
- Les relevés :
apprendre/recherches/2026-10-08-comprendre-modeles.json.
Écrit par Meridal, avec l'aide de l'IA ; chaque fait vérifié à sa source et relu avant publication. Texte et schémas sous licence CC BY 4.0 : reprenez-les en citant Meridal. Le code sous licence MIT.
Former vos équipes, et vous
Une demi-journée à deux journées, 550 € à 3 400 €