Sur cette page
Répondez de tête, puis ouvrez. Le modèle de langage
1Un assistant répond avec assurance. Qu'est-ce que cela dit de sa réponse ?
Rien sur sa justesse. Un modèle écrit la suite la plus probable d'un texte ; une réponse fausse peut être aussi bien écrite qu'une juste.
2D'où vient ce que sait un modèle quand vous lui posez une question ?
De ce qu'il a lu pendant son entraînement, arrêté à une date, et de ce qu'on met sous ses yeux dans la conversation. Rien d'autre : il ne connaît pas vos documents, sauf si on les lui donne.
- Un modèle se fabrique en deux temps : le pré-entraînement, où il apprend à prédire le texte sur des milliers de milliards de tokens ; le post-entraînement, où il apprend à répondre.
- Le pré-entraînement prend presque tout le calcul : plus de 95 % des heures de calcul de DeepSeek V3 ; le post-entraînement, moins de 1 %.
- Le post-entraînement change pourtant tout : en 2022, un modèle de 1,3 milliard de paramètres ainsi ajusté était préféré à un modèle plus de cent fois plus gros qui ne l'était pas.
- Les données mêlent internet public, données achetées, échanges d'utilisateurs qui l'acceptent et textes écrits par d'autres modèles ; les éditeurs en disent de moins en moins.
- Depuis août 2025, l'Europe impose aux éditeurs de modèles une documentation, une politique de droit d'auteur et un résumé public de leurs données d'entraînement.
Problème
On se sert tous les jours de modèles dont on ne sait presque rien : ce qu'ils ont lu, comment ils ont appris à répondre, ce qu'ils ont coûté. Et les éditeurs en disent de moins en moins : l'indice de transparence des grands modèles, suivi par Stanford, est tombé de 58 à 40 points en 2025 ; OpenAI, Anthropic et Google ne publient plus ni le nombre de paramètres, ni la taille des données, ni la durée d'entraînement de leurs plus grands modèles. Les chiffres viennent donc des rares éditeurs qui les publient, Meta et DeepSeek, et d'estimations indépendantes.
Principe
D'abord, lire. Le pré-entraînement donne au modèle des milliers de milliards de tokens de texte, et lui apprend à prédire chaque mot à partir des précédents. Il en sort un modèle qui connaît la langue et beaucoup de ce qu'elle contient, mais qui ne sait pas encore répondre à une question.
Ensuite, apprendre à répondre. Le post-entraînement lui montre des exemples de bonnes réponses écrites par des personnes, puis des personnes classent plusieurs réponses entre elles, et le modèle apprend à produire les mieux classées. Anthropic décrit ainsi l'ajustement de Claude Opus 5.5 au comportement voulu par sa « constitution ». Les modèles qui raisonnent ajoutent une étape de renforcement : les modèles qui raisonnent.
Fonctionnement
La règle européenne. Pour la Commission, un modèle entraîné avec plus de 1023 opérations de calcul, qui produit du texte, des images ou des vidéos, est en principe un modèle d'IA à usage général. Ses éditeurs doivent, depuis le 2 août 2025, tenir une documentation technique, se donner une politique de droit d'auteur et publier un résumé des données d'entraînement. Au-delà de 1025 opérations, le modèle est présumé à risque systémique : évaluations, signalement des incidents, cybersécurité. Llama 3 dans sa version de 405 milliards de paramètres, à 3,8 × 1025, dépasse ce second seuil. Ces obligations pèsent sur l'éditeur, pas sur l'entreprise qui se sert du modèle.
Le coût. Epoch AI estime que le calcul d'entraînement des modèles de pointe est multiplié par cinq chaque année depuis 2020, et leur coût par 3,5 ; le matériel en fait la plus grande part (47 % à 67 %), devant les équipes (29 % à 49 %) et l'énergie (2 % à 6 %).
Exemple détaillé
Heures de calcul de DeepSeek V3, en milliers d'heures de processeur H800
- Pré-entraînement14 800 milliards de tokens2 664
- Allongement de la fenêtre de contexte119
- Post-entraînement5
Le post-entraînement compte pour 0,2 % des heures. Il pèse pourtant autant que le reste dans ce que vous voyez : c'est lui qui fait d'un prédicteur de texte un assistant. En 2022, OpenAI a montré que des réponses d'un modèle de 1,3 milliard de paramètres, ajusté ainsi, étaient préférées à celles de GPT-3, plus de cent fois plus gros, qui ne l'était pas.
Le chantier. Pendant 54 jours de pré-entraînement de Llama 3, Meta a compté 466 interruptions, dont 419 imprévues, près de 80 % dues au matériel. Fabriquer un modèle de pointe, c'est aussi tenir des milliers de machines en marche pendant des semaines.
Risques
| Ce qui reste caché | Ce que cela change pour vous |
|---|---|
| Les données d'entraînement | On ne sait ni ce que le modèle a lu, ni avec quels biais ; le résumé exigé par l'Europe reste un résumé |
| Le recouvrement avec les tests | Un modèle qui a vu les questions d'un test pendant l'entraînement y a une note gonflée : la lecture d'un classement |
| Les données écrites par d'autres modèles | OpenAI s'en sert de plus en plus ; pour Stanford, elles ne remplacent pas encore les données réelles au pré-entraînement |
| L'empreinte | Les éditeurs mesurent chacun à sa façon ; les chiffres ci-dessous ne se comparent pas entre eux |
Ce que pèsent une demande et un modèle, d'après ceux qui l'ont mesuré. Les méthodes diffèrent : Google mesure une demande médiane, Mistral une réponse de 400 tokens avec tout son cycle de vie. Le patron d'OpenAI a avancé 0,34 Wh par demande, sans publier de méthode : la page ne le retient pas.
Mise en place
- Lire la fiche du modèle avant de le choisir : ses sources de données, sa date de connaissance, ses évaluations, ses limites. Les éditeurs la publient sous le nom de « model card » ou de « system card ».
- Décider si votre site peut servir à l'entraînement : le fichier robots.txt de votre site dit aux robots ce qu'ils peuvent lire ; celui d'Anthropic, par exemple, le respecte, et ne lit pas les pages protégées par un mot de passe.
- Régler l'usage de vos échanges : les échanges des utilisateurs qui l'acceptent servent à entraîner les modèles ; voyez les réglages de confidentialité.
- Prendre le plus petit modèle qui suffit : moins cher, plus rapide, et moins d'énergie par demande ; garder le raisonnement et la vidéo pour ce qui en a besoin.
Exercice
Vrai ou faux ?
- L'essentiel du calcul d'un modèle sert à lui apprendre à répondre poliment aux questions.
- Un modèle plus gros est toujours préféré à un modèle plus petit.
- Les obligations européennes sur les modèles d'IA à usage général pèsent sur la PME qui s'en sert.
- Les chiffres d'empreinte de Google et de Mistral permettent de dire lequel est le plus sobre.
Ouvrir la correction
1. FauxPlus de 95 % des heures de calcul de DeepSeek V3 vont au pré-entraînement ; le post-entraînement, 0,2 %.
2. FauxEn 2022, un modèle de 1,3 milliard de paramètres bien ajusté était préféré à un modèle plus de cent fois plus gros.
3. FauxElles pèsent sur l'éditeur du modèle. La PME a ses propres obligations, selon l'usage qu'elle en fait.
4. FauxLes méthodes de mesure diffèrent ; les chiffres ne se comparent pas.
Vérification
1ComprendreQuelles sont les deux grandes étapes de la fabrication d'un modèle, et laquelle coûte le plus de calcul ?
Le pré-entraînement, où il apprend à prédire le texte, et le post-entraînement, où il apprend à répondre. Le premier prend presque tout le calcul.
2ComprendrePourquoi un modèle plus petit peut-il donner de meilleures réponses qu'un plus gros ?
Parce que le post-entraînement, bref mais décisif, lui apprend à répondre ; en 2022, un modèle plus de cent fois plus petit, ainsi ajusté, était préféré.
3AppliquerVous ne voulez pas que le contenu de votre site serve à entraîner des modèles. Par où commencer ?
Par le fichier robots.txt du site, que respectent les robots qui l'annoncent, comme celui d'Anthropic ; les pages protégées par un mot de passe ne sont pas lues.
Lectures suivantes
Rien avant : c'est un point de départ.
Fabrication d'un modèle
Rien avant : c'est un point de départ.
Les pages qui renvoient ici
Limites et sources
Les chiffres détaillés viennent des éditeurs qui les publient (Meta, DeepSeek), pour des modèles de 2024 ; ceux d'OpenAI, d'Anthropic et de Google ne sont pas publiés.
Le coût de DeepSeek V3 suppose une location à 2 $ l'heure et exclut la recherche préalable : il ne dit pas ce qu'a coûté le modèle.
Les deux estimations d'Epoch AI sur la hausse du coût (2,4 fois par an depuis 2016, 3,5 fois sur son tableau de bord) portent sur des périodes et des méthodes différentes ; la page retient la plus récente.
- Meta, The Llama 3 Herd of Models ; DeepSeek-V3 Technical Report ; OpenAI, InstructGPT ; Commission européenne, lignes directrices ; Epoch AI ; Agence internationale de l'énergie ; Mistral ; Google.
- Le relevé complet :
apprendre/recherches/2026-10-08-comprendre-modeles.json.
Écrit par Meridal, avec l'aide de l'IA ; chaque fait vérifié à sa source et relu avant publication. Texte et schémas sous licence CC BY 4.0 : reprenez-les en citant Meridal. Le code sous licence MIT.
Former vos équipes, et vous
Une demi-journée à deux journées, 550 € à 3 400 €