--- title: "Lecture d'un classement de modèles" description: "Qui mesure, sur quoi, avec quel réglage, et ce qu'un écart de deux points veut dire." url: https://meridal.fr/apprendre/lire-un-classement/ language: fr written: 2026-10-08 verified: 2026-10-08 license: CC BY 4.0 --- [Apprendre](https://meridal.fr/apprendre/) › [Choix d'un modèle](https://meridal.fr/apprendre/dossier/modeles/) Comprendre · Niveau 2, Pratiquer · 10 minutes # Lecture d'un classement de modèles Qui a mesuré, sur quel test, avec quel réglage, et ce qu'un écart de deux points veut dire : de quoi lire une annonce de modèle sans s'y laisser prendre, avec des cas relevés dans les classements publics. Écrit le 8 octobre 2026 · Vérifié le 8 octobre 2026 ## Vous saurez - Distinguer une note mesurée par un tiers d'une note publiée par l'éditeur - Reconnaître un test saturé, trop petit, ou contaminé - Savoir ce que changent le réglage, le harnais et la version d'un test - Comparer deux modèles sans se fier à un seul chiffre ## Dans le parcours [Choix des modèles](https://meridal.fr/apprendre/parcours/modeles/) Étape 2 sur 9 - [← Avant La carte des acteurs de l'IA](https://meridal.fr/apprendre/acteurs-de-l-ia/) - [↓ Plus concret Atelier : comparer trois modèles sur vos propres tâches](https://meridal.fr/apprendre/atelier-comparer-les-modeles/) - [→ Ensuite Les modèles de décision](https://meridal.fr/apprendre/modeles-de-decision/) Rappel de la page précédente Répondez de tête, puis ouvrez. [La carte des acteurs de l'IA](https://meridal.fr/apprendre/acteurs-de-l-ia/) **1 L'éditeur d'un assistant et le fabricant du modèle sont-ils toujours la même entreprise ?** Non : Microsoft Copilot s'appuie sur des modèles d'OpenAI et d'Anthropic, et un même assistant peut proposer les modèles de plusieurs fabricants. **2 Que veut dire « open weight » ?** Que les poids du modèle sont publiés : on peut le faire tourner sur ses propres machines, dans les limites de sa licence. L'essentiel 1. Une note ne veut rien dire sans quatre choses : qui l'a mesurée, sur quel test, avec quel réglage, dans quelle version du test. 2. Une note publiée par l'éditeur se mesure avec ses propres réglages, souvent avec des outils et l'effort maximal : elle se compare mal à une mesure indépendante. 3. Un test où tous les modèles dépassent 90 % ne les départage plus : un ou deux points d'écart sont du bruit. 4. Le harnais, c'est-à-dire le programme qui fait travailler le modèle, peut faire varier une note de vingt points ou plus. 5. Un classement dit un ordre sur ses tâches ; seule une mesure sur vos tâches dit lequel convient chez vous. ## Problème Chaque semaine, un éditeur annonce « le meilleur modèle du monde », chiffres à l'appui. Les classements publics donnent d'autres chiffres, et ne mettent pas tous les mêmes modèles en tête : au relevé du 6 octobre 2026, sur vingt-deux tests, neuf modèles différents arrivaient premiers ([le marché des modèles](https://meridal.fr/apprendre/modeles/)). Pour choisir, il faut savoir lire ce que mesure un chiffre. ## Principe Quatre questions devant une note : - **Qui a mesuré** : un tiers, qui fait passer le même test à tous les modèles avec la même méthode, ou l'éditeur du modèle, qui choisit ses réglages. - **Sur quel test** : ce qu'il mesure, combien de questions il compte, et s'il départage encore les meilleurs. - **Avec quel réglage** : l'effort de raisonnement, les outils permis, et le harnais, le programme qui fait travailler le modèle sur les tâches d'agent. - **Quelle version du test** : les tests changent de version, et une note d'une version ne se compare pas à une note d'une autre. ![Une note, 80,2 % pour Gemini 3.1 Pro sur Terminal-Bench 2.0, relevée le 6 octobre 2026, et ses quatre questions : qui a mesuré, un tiers ou l'éditeur ; sur quel test, GPQA Diamond ne compte que 198 questions ; avec quel réglage, avec un autre harnais le même modèle fait 59,4 % ; quelle version du test.](https://meridal.fr/assets/apprendre/medias/apprendre-lire-classement.svg) *Les quatre questions, sur une note relevée.* ## Fonctionnement **Un test de questions** donne une part de bonnes réponses. Plus il compte de questions, moins le hasard pèse : GPQA Diamond n'en a que 198, si bien qu'un ou deux points d'écart y sont du bruit. **Un test d'agent** fait accomplir des tâches : corriger un vrai bug de logiciel, mener une suite de commandes dans un terminal. La note dépend alors autant du harnais que du modèle. **Une arène de préférence**, comme LMArena, fait comparer deux réponses à l'aveugle par des internautes : elle mesure ce que les gens préfèrent, le ton, la forme, pas la justesse. **Un indice**, comme celui d'Artificial Analysis, fait la moyenne de plusieurs tests ; il dépend des tests choisis et change de version. **Un test saturé** ne départage plus : quand les meilleurs modèles dépassent tous 90 %, l'écart restant tient du bruit. Un test public peut aussi se retrouver dans les données d'entraînement : c'est la contamination, un risque fort pour les tests construits sur des dépôts de code publics. Au 6 octobre 2026, sur 377 notes de la page du marché, 370 sont mesurées par un tiers et 7 publiées par l'éditeur, marquées comme telles. ## Exemple détaillé | Le cas, relevé le 6 octobre 2026 | Ce que la note seule laisse croire | Ce qu'il faut savoir | |---|---|---| | Gemini 3.1 Pro sur Terminal-Bench 2.0 : 80,2 % avec un harnais, 59,4 % avec un autre | Deux modèles différents | Le même modèle ; seul le programme qui le fait travailler change | | GPT-6 Astra sur ARC-AGI-3 : 62,7 % avec le harnais standard, 98,6 % avec un adaptateur fourni par l'éditeur | Un test presque réussi | Deux façons de faire passer le test, qui ne se mélangent pas | | Claude Opus 5.5 sur ARC-AGI-2 : 0,24 $ par tâche en effort faible, 1,85 $ en effort maximal | Un seul prix pour une note | La note publiée est souvent celle de l'effort maximal, au coût le plus haut | | Humanity's Last Exam, avec ou sans outils | Une note comparable d'une annonce à l'autre | Les éditeurs publient surtout avec outils, quelques points plus haut ; les mesures indépendantes, sans | | GPQA Diamond : les meilleurs autour de 95 % | Deux points d'avance départagent | 198 questions, et un test presque saturé : l'écart est du bruit | | LMArena : les vingt premiers dans une quarantaine de points | Un premier et un vingtième | Des intervalles qui se chevauchent : un rang n'y est pas un écart réel | ## Risques | Le piège | La parade | |---|---| | Prendre une préférence pour une justesse | Une arène dit ce qu'on aime lire ; un test à réponses dit ce qui est juste | | Comparer deux versions d'un test | Ne comparer que des notes de la même version, chez la même source | | Comparer deux réglages | Même effort, mêmes outils, même harnais ; sinon, le dire | | Croire un écart d'un ou deux points | Regarder la taille du test et sa saturation ; préférer les tests qui départagent encore | | Se fier à un seul indice | Deux indices classent autrement les mêmes modèles ; lire plusieurs tests | ## Mise en place 1. **Devant une annonce** : retrouver qui a mesuré, le test, le réglage et la version ; sans eux, la note ne dit rien. 2. **Pour un premier tri** : les mesures indépendantes, sur les tests qui départagent encore ; [le marché des modèles](https://meridal.fr/apprendre/modeles/) les rassemble, datées. 3. **Pour choisir** : deux ou trois modèles essayés sur vos propres tâches, avec une grille notée : [l'atelier pour comparer trois modèles](https://meridal.fr/apprendre/atelier-comparer-les-modeles/). ## Exercice Un éditeur annonce : « Notre modèle atteint 96,4 % sur GPQA Diamond, deux points devant le meilleur concurrent ; mesuré avec outils et effort maximal. » Que retenir ? **Ouvrir la correction** **Presque rien**La note est publiée par l'éditeur, avec ses réglages les plus favorables ; le test compte 198 questions et ne départage plus les meilleurs. Deux points d'écart y sont du bruit. Pour juger, il faut une mesure indépendante sur des tests qui départagent encore, puis un essai sur vos tâches. Annonce fabriquée. ## Vérification **1 Comprendre Une note publiée par l'éditeur du modèle vaut-elle une note mesurée par un tiers ?** Pas sans le dire : l'éditeur mesure avec ses propres réglages, souvent avec des outils et l'effort de raisonnement maximal. La carte des notes marque chaque mesure d'éditeur d'un coin. **2 Appliquer Deux modèles ont un point d'écart sur un test où tous dépassent 90 %. Lequel prendre ?** Le test ne les départage plus : l'écart est du bruit. Il faut regarder les tests qui départagent encore, et surtout essayer les deux sur vos tâches. **3 Comprendre Que mesure une arène comme LMArena ?** La préférence de personnes qui comparent deux réponses à l'aveugle : le ton et la forme comptent, pas seulement la justesse. ## Lectures suivantes ↑ Plus général Rien avant : c'est un point de départ. ← Avant [La carte des acteurs de l'IA Comprendre · Niveau 1 · 10 minutes](https://meridal.fr/apprendre/acteurs-de-l-ia/) Vous êtes ici Lecture d'un classement de modèles → Ensuite [Les modèles de décision Comprendre · Niveau 2 · 12 minutes](https://meridal.fr/apprendre/modeles-de-decision/) Choix des modèles · étape 3 sur 9 ↓ Plus concret [Atelier : comparer trois modèles sur vos propres tâches S'exercer · Niveau 2 · 60 minutes](https://meridal.fr/apprendre/atelier-comparer-les-modeles/) [Tout le dossier « Choix d'un modèle »](https://meridal.fr/apprendre/dossier/modeles/) Les pages qui renvoient ici - [La carte des acteurs de l'IA](https://meridal.fr/apprendre/acteurs-de-l-ia/) - [Le marché des modèles d'IA](https://meridal.fr/apprendre/modeles/) - Le banc d'essai de Meridal **Limites et sources** Les cas cités viennent des classements relevés le 6 octobre 2026 ; les notes changent à chaque version de modèle ou de test. Cette page explique comment lire une note ; elle ne classe aucun modèle. 1. Les classements, chaque note avec sa source et sa date : `apprendre/donnees/classements.json`, et la page du marché des modèles. Écrit par Meridal, avec l'aide de l'IA ; chaque fait vérifié à sa source et relu avant publication. Texte et schémas sous licence [CC BY 4.0](https://creativecommons.org/licenses/by/4.0/deed.fr) : reprenez-les en citant Meridal. Le code sous licence MIT. Service correspondant Choisir un outil ou un abonnement 275 € à 850 € [Voir le service](https://meridal.fr/offre/#choisir) ## Un premier échange de 30 minutes En visio et sans frais : vous décrivez votre situation, nous vous indiquons ce qui est réalisable, avec quels outils et pour quel ordre de prix. Vous pouvez aussi nous écrire ; chaque message reçoit une réponse écrite. [Réserver 30 minutes](https://meridal.fr/contact/#reserver) [Écrire un message](https://meridal.fr/contact/)