Sur cette page
Répondez de tête, puis ouvrez. Lire un classement de modèles
1Une note publiée par l'éditeur du modèle vaut-elle une note mesurée par un tiers ?
Pas sans le dire : l'éditeur mesure avec ses propres réglages, souvent avec des outils et l'effort de raisonnement maximal. La carte des notes marque chaque mesure d'éditeur d'un coin.
2Deux modèles ont un point d'écart sur un test où tous dépassent 90 %. Lequel prendre ?
Le test ne les départage plus : l'écart est du bruit. Il faut regarder les tests qui départagent encore, et surtout essayer les deux sur vos tâches.
- Le banc d'essai de Meridal n'a pas été lancé : aucun modèle n'a été testé, aucune note n'existe.
- Ce qui existe : soixante tâches de PME en français, fabriquées, avec leur bonne réponse écrite avant tout appel, et un contrôle automatique qui les vérifie.
- Les tâches se rangent en six familles de dix : lire un document, répondre avec des documents, rédiger, trier et décider, calculer, appliquer les règles françaises.
- Ce qui manque : le budget des appels aux modèles et les clés d'accès, qui attendent la décision d'Oscar Grima.
- Les résultats, quand ils existeront, vaudront pour ces soixante tâches : ils ne feront pas un classement général.
Annonce
Les classements publics mesurent des savoirs, des mathématiques, du code ou des agents, le plus souvent en anglais. Aucun ne porte sur une tâche de PME en français. Meridal a donc conçu son propre banc d'essai.
Il n'a pas encore tourné. Cette page décrit ce qui est prêt, comme on lirait un protocole avant ses résultats, et sera réécrite le jour où un passage complet aura eu lieu.
Éléments vérifiés
| Famille | Dix tâches | Comment on note | Quel contrôle |
|---|---|---|---|
| Lire un document | Factures, bon de commande, relevé bancaire, scan, avoir, acompte, facture étrangère | Chaque champ comparé à la bonne réponse, par du code | Automatique |
| Répondre avec des documents | Une question, trois à cinq passages internes, une citation exigée, parfois une contradiction ou une réponse absente | Citation vérifiée par du code, réponse par une grille | Automatique et grille |
| Rédiger | Relances de paiement, réponse à un client mécontent, compte rendu, résumé, réclamation, réponse à un avis | Contrôles automatiques et deux juges, d'éditeurs différents | Juges |
| Trier et décider | Dix tâches de cinq courriels : catégorie parmi neuf, urgence, transmission au dirigeant | La bonne catégorie, par du code | Automatique |
| Calculer | Ligne de facture fausse, total de tableur, écart de TVA, pénalités, marge, remboursement au prorata | Le chiffre juste et l'erreur repérée, par du code | Automatique |
| Les règles françaises | Délais de paiement, conservation comptable, bulletins de paie, mentions de la facture électronique, démarchage téléphonique | Réponse juste avec son texte de loi, non notée dans la première version | Source écrite |
Les soixante tâches sont fabriquées, et dites telles : les entreprises, les montants et les documents n'existent pas. Chaque bonne réponse est calculée par le même programme que le document, jamais recopiée à la main. Le contrôle vérifie que chaque bonne réponse obtient la note maximale. Il a été lancé le 31 octobre 2026 : soixante tâches, aucune faute.
Chaque tâche passera trois fois par modèle, pour voir si la réponse varie, avec le réglage par défaut de l'éditeur écrit à côté de la note. Onze tâches privées resteront hors du jeu publié, pour vérifier qu'un modèle n'a pas appris le jeu.
Éléments non vérifiés
- Aucune réponse de modèle n'a été recueillie : ce que chaque modèle fait de ces tâches est inconnu.
- Aucune note, aucun classement, aucun coût réel n'existe.
- Les adresses et les formes de requête de plusieurs éditeurs sont tirées de leur documentation et du relevé du marché : un essai à blanc les confirmera ou les corrigera avant tout passage complet.
- Les modèles testés seront choisis dans le relevé du marché au moment du passage ; la liste de la première version n'est pas figée.
Contexte
Un classement mesure ce qu'il mesure : voir lire un classement de modèles. La règle que le banc applique est la plus simple : on juge un outil sur ses propres cas. Le même geste est proposé au lecteur dans le projet de banc d'évaluation et dans les jeux de tests.
Position de Meridal
Position datée du 31 octobre 2026. Le banc d'essai ne sera lancé qu'après validation du budget des appels aux modèles par Oscar Grima. Quand il le sera, les réponses brutes seront publiées avec les notes, chaque note vaudra pour ces soixante tâches et aucune ne sera présentée comme un classement général.
Révision de la position
Cette page sera réécrite au premier passage complet, avec les résultats, leur coût réel et leurs limites. Elle sera refaite à chaque relevé du marché qui change le haut du classement.
Journal des mises à jour
- 31 octobre 2026 : page écrite, protocole et jeu de tâches prêts, aucun résultat.
Lectures suivantes
Le banc d'essai de Meridal
Les pages qui renvoient ici
Limites et sources
Aucun résultat n'est présenté, ni suggéré. Une note du banc, quand il existera, ne vaudra que pour les soixante tâches, dites fabriquées.
- Les tâches et leur contrôle : dépôt de Meridal, dossier
apprendre/banc, contrôle du 31 octobre 2026.
Écrit par Meridal, avec l'aide de l'IA ; chaque fait vérifié à sa source et relu avant publication. Texte et schémas sous licence CC BY 4.0 : reprenez-les en citant Meridal. Le code sous licence MIT.
Le diagnostic
Deux à cinq jours, 1 100 € à 4 250 € selon le nombre de services