---
title: "Fabrication d'un modèle"
description: "Les données, l'entraînement, l'ajustement : comment un modèle devient ce qu'il est."
url: https://meridal.fr/apprendre/fabrication-d-un-modele/
language: fr
written: 2026-10-08
verified: 2026-10-08
license: CC BY 4.0
---

[Apprendre](https://meridal.fr/apprendre/) › [Fonctionnement d'une IA](https://meridal.fr/apprendre/dossier/ia/)

Comprendre · Niveau 3, Construire · 12 minutes

# Fabrication d'un modèle

Un modèle se fabrique en deux temps : un pré-entraînement sur des milliers de milliards de tokens, qui coûte presque tout le calcul, puis un post-entraînement bref qui lui apprend à répondre. Ce que disent les rares éditeurs qui publient leurs chiffres, ce qu'impose l'Europe, et ce que pèse une réponse.

Écrit le 8 octobre 2026 · Vérifié le 8 octobre 2026

## Vous saurez

- Décrire les étapes de fabrication d'un modèle, chiffrées
- Comprendre pourquoi un petit modèle bien ajusté peut battre un gros
- Savoir ce que les éditeurs publient, et ce qu'ils taisent
- Lire la fiche d'un modèle et décider si votre site peut servir à l'entraîner

## Dans le parcours

[Construction](https://meridal.fr/apprendre/parcours/construire/)

Étape 2 sur 12

- [← Avant Le modèle de langage expliqué simplement](https://meridal.fr/apprendre/modele-de-langage/)
- [→ Ensuite Premier appel à un modèle](https://meridal.fr/apprendre/premier-appel/)

Rappel de la page précédente

Répondez de tête, puis ouvrez. [Le modèle de langage](https://meridal.fr/apprendre/modele-de-langage/)

**1 Un assistant répond avec assurance. Qu'est-ce que cela dit de sa réponse ?**

Rien sur sa justesse. Un modèle écrit la suite la plus probable d'un texte ; une réponse fausse peut être aussi bien écrite qu'une juste.

**2 D'où vient ce que sait un modèle quand vous lui posez une question ?**

De ce qu'il a lu pendant son entraînement, arrêté à une date, et de ce qu'on met sous ses yeux dans la conversation. Rien d'autre : il ne connaît pas vos documents, sauf si on les lui donne.

L'essentiel

1. Un modèle se fabrique en deux temps : le pré-entraînement, où il apprend à prédire le texte sur des milliers de milliards de tokens ; le post-entraînement, où il apprend à répondre.
2. Le pré-entraînement prend presque tout le calcul : plus de 95 % des heures de calcul de DeepSeek V3 ; le post-entraînement, moins de 1 %.
3. Le post-entraînement change pourtant tout : en 2022, un modèle de 1,3 milliard de paramètres ainsi ajusté était préféré à un modèle plus de cent fois plus gros qui ne l'était pas.
4. Les données mêlent internet public, données achetées, échanges d'utilisateurs qui l'acceptent et textes écrits par d'autres modèles ; les éditeurs en disent de moins en moins.
5. Depuis août 2025, l'Europe impose aux éditeurs de modèles une documentation, une politique de droit d'auteur et un résumé public de leurs données d'entraînement.

## Problème

On se sert tous les jours de modèles dont on ne sait presque rien : ce qu'ils ont lu, comment ils ont appris à répondre, ce qu'ils ont coûté. Et les éditeurs en disent de moins en moins : l'indice de transparence des grands modèles, suivi par Stanford, est tombé de 58 à 40 points en 2025 ; OpenAI, Anthropic et Google ne publient plus ni le nombre de paramètres, ni la taille des données, ni la durée d'entraînement de leurs plus grands modèles. Les chiffres viennent donc des rares éditeurs qui les publient, Meta et DeepSeek, et d'estimations indépendantes.

## Principe

**D'abord, lire.** Le pré-entraînement donne au modèle des milliers de milliards de tokens de texte, et lui apprend à prédire chaque mot à partir des précédents. Il en sort un modèle qui connaît la langue et beaucoup de ce qu'elle contient, mais qui ne sait pas encore répondre à une question.

**Ensuite, apprendre à répondre.** Le post-entraînement lui montre des exemples de bonnes réponses écrites par des personnes, puis des personnes classent plusieurs réponses entre elles, et le modèle apprend à produire les mieux classées. Anthropic décrit ainsi l'ajustement de Claude Opus 5.5 au comportement voulu par sa « constitution ». Les modèles qui raisonnent ajoutent une étape de renforcement : [les modèles qui raisonnent](https://meridal.fr/apprendre/modeles-qui-raisonnent/).

La prédiction du mot suivant : [le modèle de langage](https://meridal.fr/apprendre/modele-de-langage/).

## Fonctionnement

| Étape | Ce qui se passe | Ce qu'en publient les éditeurs |
|---|---|---|
| Les données | Internet public, données achetées ou sous licence, échanges d'utilisateurs qui l'acceptent, textes écrits par d'autres modèles | Claude Opus 5.5 : ces quatre sources, sans quantités ; Llama 3 : 15 600 milliards de tokens, la moitié de connaissances générales, un quart de mathématiques et de raisonnement, 17 % de code, 8 % d'autres langues |
| Le pré-entraînement | Prédire le texte, sur des milliers de processeurs pendant des semaines | Llama 3, 405 milliards de paramètres : jusqu'à 16 000 processeurs H100 |
| Le post-entraînement | Des exemples de réponses, puis des classements par des personnes, ou du renforcement | InstructGPT, 2022 : 40 personnes recrutées pour écrire et classer |
| L'évaluation | Des tests de capacités et de sécurité, internes et externes | GPT-6 Astra : évaluations par l'institut britannique de sécurité de l'IA et par Apollo Research ; Anthropic dit chercher à écarter des données d'entraînement les questions de ses tests |

**La règle européenne.** Pour la Commission, un modèle entraîné avec plus de 10^23 opérations de calcul, qui produit du texte, des images ou des vidéos, est en principe un modèle d'IA à usage général. Ses éditeurs doivent, depuis le 2 août 2025, tenir une documentation technique, se donner une politique de droit d'auteur et publier un résumé des données d'entraînement. Au-delà de 10^25 opérations, le modèle est présumé à risque systémique : évaluations, signalement des incidents, cybersécurité. Llama 3 dans sa version de 405 milliards de paramètres, à 3,8 × 10^25, dépasse ce second seuil. Ces obligations pèsent sur l'éditeur, pas sur l'entreprise qui se sert du modèle.

**Le coût.** Epoch AI estime que le calcul d'entraînement des modèles de pointe est multiplié par cinq chaque année depuis 2020, et leur coût par 3,5 ; le matériel en fait la plus grande part (47 % à 67 %), devant les équipes (29 % à 49 %) et l'énergie (2 % à 6 %).

## Exemple détaillé

**La facture de calcul d'un modèle.** DeepSeek a publié le détail de l'entraînement de V3, un modèle de 671 milliards de paramètres.

Heures de calcul de DeepSeek V3, en milliers d'heures de processeur H800

1. Pré-entraînement 14 800 milliards de tokens 2 664
2. Allongement de la fenêtre de contexte 119
3. Post-entraînement 5

*Rapport technique de DeepSeek V3, 2024. Au total 2,788 millions d'heures, soit 5,576 millions de dollars à 2 $ l'heure de location, hors recherche et essais préalables, que DeepSeek exclut.*

Le post-entraînement compte pour 0,2 % des heures. Il pèse pourtant autant que le reste dans ce que vous voyez : c'est lui qui fait d'un prédicteur de texte un assistant. En 2022, OpenAI a montré que des réponses d'un modèle de 1,3 milliard de paramètres, ajusté ainsi, étaient préférées à celles de GPT-3, plus de cent fois plus gros, qui ne l'était pas.

**Le chantier.** Pendant 54 jours de pré-entraînement de Llama 3, Meta a compté 466 interruptions, dont 419 imprévues, près de 80 % dues au matériel. Fabriquer un modèle de pointe, c'est aussi tenir des milliers de machines en marche pendant des semaines.

## Risques

| Ce qui reste caché | Ce que cela change pour vous |
|---|---|
| Les données d'entraînement | On ne sait ni ce que le modèle a lu, ni avec quels biais ; le résumé exigé par l'Europe reste un résumé |
| Le recouvrement avec les tests | Un modèle qui a vu les questions d'un test pendant l'entraînement y a une note gonflée : [la lecture d'un classement](https://meridal.fr/apprendre/lire-un-classement/) |
| Les données écrites par d'autres modèles | OpenAI s'en sert de plus en plus ; pour Stanford, elles ne remplacent pas encore les données réelles au pré-entraînement |
| L'empreinte | Les éditeurs mesurent chacun à sa façon ; les chiffres ci-dessous ne se comparent pas entre eux |

**Ce que pèsent une demande et un modèle, d'après ceux qui l'ont mesuré.** Les méthodes diffèrent : Google mesure une demande médiane, Mistral une réponse de 400 tokens avec tout son cycle de vie. Le patron d'OpenAI a avancé 0,34 Wh par demande, sans publier de méthode : la page ne le retient pas.

| Qui mesure | Quoi | Résultat |
|---|---|---|
| Google | Une demande de texte médiane à l'application Gemini, mai 2025 | 0,24 Wh, 0,03 g de CO₂e, 0,26 mL d'eau ; divisé par 33 en énergie en un an |
| Mistral, avec Carbone 4 et l'ADEME | Une réponse de 400 tokens du Chat, analyse de cycle de vie, 2025 | 1,14 g de CO₂e, 45 mL d'eau |
| Mistral | Mistral Large 2, entraînement et 18 mois d'usage | 20 400 tonnes de CO₂e, 281 000 m³ d'eau |
| Meta | L'entraînement de la famille Llama 3.1 | 11 390 tonnes de CO₂e selon le lieu ; zéro selon les contrats d'électricité renouvelable |
| Agence internationale de l'énergie | Les centres de données dans le monde | 485 TWh en 2025, environ 950 TWh prévus en 2030, près de 3 % de l'électricité mondiale ; vidéo, raisonnement et agents consomment cent à mille fois plus par demande qu'un texte simple |

## Mise en place

1. **Lire la fiche du modèle** avant de le choisir : ses sources de données, sa date de connaissance, ses évaluations, ses limites. Les éditeurs la publient sous le nom de « model card » ou de « system card ».
2. **Décider si votre site peut servir à l'entraînement** : le fichier robots.txt de votre site dit aux robots ce qu'ils peuvent lire ; celui d'Anthropic, par exemple, le respecte, et ne lit pas les pages protégées par un mot de passe.
3. **Régler l'usage de vos échanges** : les échanges des utilisateurs qui l'acceptent servent à entraîner les modèles ; voyez [les réglages de confidentialité](https://meridal.fr/apprendre/reglages-de-confidentialite/).
4. **Prendre le plus petit modèle qui suffit** : moins cher, plus rapide, et moins d'énergie par demande ; garder le raisonnement et la vidéo pour ce qui en a besoin.

## Exercice

Vrai ou faux ?

1. L'essentiel du calcul d'un modèle sert à lui apprendre à répondre poliment aux questions.
2. Un modèle plus gros est toujours préféré à un modèle plus petit.
3. Les obligations européennes sur les modèles d'IA à usage général pèsent sur la PME qui s'en sert.
4. Les chiffres d'empreinte de Google et de Mistral permettent de dire lequel est le plus sobre.

**Ouvrir la correction**

**1. Faux**Plus de 95 % des heures de calcul de DeepSeek V3 vont au pré-entraînement ; le post-entraînement, 0,2 %.

**2. Faux**En 2022, un modèle de 1,3 milliard de paramètres bien ajusté était préféré à un modèle plus de cent fois plus gros.

**3. Faux**Elles pèsent sur l'éditeur du modèle. La PME a ses propres obligations, selon l'usage qu'elle en fait.

**4. Faux**Les méthodes de mesure diffèrent ; les chiffres ne se comparent pas.

## Vérification

**1 Comprendre Quelles sont les deux grandes étapes de la fabrication d'un modèle, et laquelle coûte le plus de calcul ?**

Le pré-entraînement, où il apprend à prédire le texte, et le post-entraînement, où il apprend à répondre. Le premier prend presque tout le calcul.

**2 Comprendre Pourquoi un modèle plus petit peut-il donner de meilleures réponses qu'un plus gros ?**

Parce que le post-entraînement, bref mais décisif, lui apprend à répondre ; en 2022, un modèle plus de cent fois plus petit, ainsi ajusté, était préféré.

**3 Appliquer Vous ne voulez pas que le contenu de votre site serve à entraîner des modèles. Par où commencer ?**

Par le fichier robots.txt du site, que respectent les robots qui l'annoncent, comme celui d'Anthropic ; les pages protégées par un mot de passe ne sont pas lues.

## Lectures suivantes

↑ Plus général

Rien avant : c'est un point de départ.

← Avant [Le modèle de langage expliqué simplement Comprendre · Niveau 1 · 10 minutes](https://meridal.fr/apprendre/modele-de-langage/)

Vous êtes ici

Fabrication d'un modèle

→ Ensuite [Premier appel à un modèle S'exercer · Niveau 3 · 15 minutes](https://meridal.fr/apprendre/premier-appel/)

Construction · étape 3 sur 12

↓ Plus concret

Rien avant : c'est un point de départ.

[Tout le dossier « Fonctionnement d'une IA »](https://meridal.fr/apprendre/dossier/ia/)

Les pages qui renvoient ici

- [Les modèles du monde](https://meridal.fr/apprendre/les-modeles-du-monde/)
- [Tokens, fenêtre de contexte et prix](https://meridal.fr/apprendre/tokens/)
- [Ajustement d'un modèle](https://meridal.fr/apprendre/ajustement-d-un-modele/)

**Limites et sources**

Les chiffres détaillés viennent des éditeurs qui les publient (Meta, DeepSeek), pour des modèles de 2024 ; ceux d'OpenAI, d'Anthropic et de Google ne sont pas publiés.

Le coût de DeepSeek V3 suppose une location à 2 $ l'heure et exclut la recherche préalable : il ne dit pas ce qu'a coûté le modèle.

Les deux estimations d'Epoch AI sur la hausse du coût (2,4 fois par an depuis 2016, 3,5 fois sur son tableau de bord) portent sur des périodes et des méthodes différentes ; la page retient la plus récente.

1. [Meta, The Llama 3 Herd of Models](https://arxiv.org/abs/2407.21783) ; [DeepSeek-V3 Technical Report](https://arxiv.org/abs/2412.19437) ; [OpenAI, InstructGPT](https://arxiv.org/abs/2203.02155) ; [Commission européenne, lignes directrices](https://digital-strategy.ec.europa.eu/en/faqs/guidelines-obligations-general-purpose-ai-providers) ; [Epoch AI](https://epoch.ai/trends) ; [Agence internationale de l'énergie](https://www.iea.org/reports/key-questions-on-energy-and-ai/executive-summary) ; [Mistral](https://mistral.ai/news/our-contribution-to-a-global-environmental-standard-for-ai) ; [Google](https://cloud.google.com/blog/products/infrastructure/measuring-the-environmental-impact-of-ai-inference).
2. Le relevé complet : `apprendre/recherches/2026-10-08-comprendre-modeles.json`.

Écrit par Meridal, avec l'aide de l'IA ; chaque fait vérifié à sa source et relu avant publication. Texte et schémas sous licence [CC BY 4.0](https://creativecommons.org/licenses/by/4.0/deed.fr) : reprenez-les en citant Meridal. Le code sous licence MIT.

Service correspondant

Former vos équipes, et vous

Une demi-journée à deux journées, 550 € à 3 400 €

[Voir le service](https://meridal.fr/offre/#formation)

## Un premier échange de 30 minutes

En visio et sans frais : vous décrivez votre situation, nous vous indiquons ce qui est réalisable, avec quels outils et pour quel ordre de prix. Vous pouvez aussi nous écrire ; chaque message reçoit une réponse écrite.

[Réserver 30 minutes](https://meridal.fr/contact/#reserver) [Écrire un message](https://meridal.fr/contact/)