--- title: "L'IA multimodale" description: "Images, voix, documents scannés : ce que les modèles savent faire au-delà du texte." url: https://meridal.fr/apprendre/ia-multimodale/ language: fr written: 2026-10-08 verified: 2026-10-08 license: CC BY 4.0 --- [Apprendre](https://meridal.fr/apprendre/) › [Fonctionnement d'une IA](https://meridal.fr/apprendre/dossier/ia/) Comprendre · Niveau 1, Découvrir · 10 minutes # L'IA multimodale Les modèles de 2026 lisent des images et des documents scannés ; certains écoutent un enregistrement ou regardent une vidéo ; d'autres fabriquent des images, des voix et des vidéos. Ce que chaque modèle sait lire, ce que cela coûte, et où il se trompe. Écrit le 8 octobre 2026 · Vérifié le 8 octobre 2026 ## Vous saurez - Savoir ce que chaque grand modèle sait lire au-delà du texte - Comprendre comment un modèle lit une image, un son ou une vidéo - Reconnaître les cas où sa lecture d'une image n'est pas fiable - Préparer un document scanné ou un enregistrement pour qu'il soit bien lu - [← Avant Le modèle de langage expliqué simplement](https://meridal.fr/apprendre/modele-de-langage/) - [→ Ensuite Les modèles du monde](https://meridal.fr/apprendre/les-modeles-du-monde/) Rappel de la page précédente Répondez de tête, puis ouvrez. [Le modèle de langage](https://meridal.fr/apprendre/modele-de-langage/) **1 D'où vient ce que sait un modèle quand vous lui posez une question ?** De ce qu'il a lu pendant son entraînement, arrêté à une date, et de ce qu'on met sous ses yeux dans la conversation. Rien d'autre : il ne connaît pas vos documents, sauf si on les lui donne. **2 Vous demandez à un assistant la règle en vigueur depuis le mois dernier. Que faire pour avoir une réponse fiable ?** Activer la recherche sur le web ou joindre le texte de la règle : ses connaissances s'arrêtent avant ; puis vérifier la source citée. L'essentiel 1. Tous les grands modèles de 2026 lisent des images et des PDF ; seuls quelques-uns, dont Gemini, écoutent un enregistrement ou regardent une vidéo directement. 2. Ils répondent toujours par du texte : fabriquer une image, une voix ou une vidéo passe par d'autres modèles, spécialisés. 3. Une image, un son, une vidéo se changent en tokens, comme le texte : une heure d'enregistrement pèse environ 115 000 tokens chez Google. 4. La lecture d'une image se trompe sur le texte petit ou de travers, sur les comptes d'objets, sur les graphiques chargés ; les éditeurs le disent eux-mêmes. 5. Un document bien préparé se lit mieux : le PDF d'origine plutôt qu'une photo, des pages droites, et les chiffres lus sur une image toujours vérifiés. ## Problème Une facture photographiée au téléphone, l'enregistrement d'une réunion, un plan scanné, une vidéo de démonstration : une grande partie de ce qu'une entreprise reçoit n'est pas du texte. Peut-on le confier à un assistant ? Oui, souvent, mais pas à n'importe lequel, pas sous n'importe quelle forme, et pas sans vérifier. ## Principe Un modèle multimodal lit plusieurs sortes d'entrées. Il découpe une image, un son ou une vidéo en morceaux qu'il traite comme des tokens, puis écrit sa réponse comme pour un texte. Google l'écrit en chiffres : environ 100 tokens par seconde de vidéo à la résolution par défaut, 300 en haute résolution, et 32 par seconde de son. En sortie, les grands modèles d'usage général n'écrivent que du texte : Anthropic le précise pour Claude, qui ne fabrique ni ne retouche d'image. Les images, les voix et les vidéos viennent de modèles à part : GPT Image chez OpenAI, Veo chez Google, des modèles de voix et de transcription chez les deux. Ce qu'est un token : [tokens, fenêtre de contexte et prix](https://meridal.fr/apprendre/tokens/). ## Fonctionnement ![Texte, images et PDF pour tous les grands modèles, son et vidéo pour quelques-uns ; tout devient des tokens ; le modèle rend toujours du texte.](https://meridal.fr/assets/apprendre/medias/apprendre-multimodal.svg) *Ce qu'un modèle lit, et ce qu'il rend.* **Ce que chaque modèle lit.** D'après les pages des éditeurs, relevées le 8 octobre 2026. Tous lisent du texte ; « non annoncé » veut dire que l'éditeur ne le mentionne pas pour ce modèle. | Modèle | Image | PDF, documents | Son | Vidéo | |---|---|---|---|---| | GPT-6 Astra OpenAI | oui | oui | non annoncé | non annoncé | | Claude Opus 5.5 Anthropic | oui | oui | non annoncé | non annoncé | | Gemini 3.8 Flash Google | oui | oui | oui | oui | | Mistral Medium 3.5 Mistral AI | oui | oui | non annoncé | non annoncé | | Muse Spark 1.3 Meta | oui | oui | oui | oui | | Qwen3.8-Max Alibaba | oui | non annoncé | non annoncé | oui | | Kimi K3 Moonshot AI | oui | non annoncé | non annoncé | oui | | Grok 4.7 xAI | oui | non annoncé | non annoncé | non annoncé | | DeepSeek V4 Pro DeepSeek | non annoncé | non annoncé | non annoncé | non annoncé | **Comment un PDF est lu.** Claude lit chaque page à la fois comme du texte et comme une image, jusqu'à 600 pages par demande ; l'API d'OpenAI envoie elle aussi au modèle le texte extrait et l'image de chaque page. Un tableau ou un graphique dans le PDF est donc vu, pas seulement lu. **Comment une vidéo est lue.** Gemini prend une image par seconde : un mouvement rapide ou un changement de plan bref peut lui échapper. Il accepte jusqu'à trois heures de vidéo à la résolution par défaut, une heure en haute résolution. Il entend aussi les sons qui ne sont pas des paroles, comme une sirène. ## Exemple détaillé **Une réunion enregistrée.** Ce qu'elle pèse selon la forme qu'on lui donne, d'après les règles de comptage de Google. Pour un compte rendu, le son suffit : trois fois moins lourd que la vidéo, donc moins cher et plus rapide. | Une réunion d'une heure, donnée à Gemini | Tokens par seconde | Pour une heure | |---|---|---| | L'enregistrement du son | 32 | 115 200 | | La vidéo, résolution par défaut | environ 100 | environ 360 000 | | La vidéo, haute résolution | environ 300 | environ 1 000 000, la fenêtre entière | **Une facture photographiée de travers.** Le modèle la lit comme une image. Anthropic prévient qu'il peut se tromper sur une image de mauvaise qualité, tournée, ou de moins de 200 pixels ; OpenAI cite le texte petit ou tourné et les graphiques aux couleurs ou aux traits variés parmi les limites de ses modèles. Une photo droite et nette évite les deux premiers pièges ; le PDF envoyé par le fournisseur, produit par son logiciel, contient en plus son texte, que le modèle lit avec l'image. Les montants, eux, se vérifient dans tous les cas : [faire sortir les chiffres d'un document](https://meridal.fr/apprendre/extraction-des-chiffres/). ## Risques | Ce qui trompe | Pourquoi | La parade | |---|---|---| | Les comptes d'objets | Approximatifs, surtout avec beaucoup de petits objets | Ne pas s'en servir pour un inventaire | | L'imagerie médicale | Claude n'est pas conçu pour lire un scanner ou une IRM ; OpenAI cite les images médicales spécialisées parmi ses limites | Des outils médicaux certifiés, et un médecin | | L'image fabriquée | Claude ne sait pas dire si une image a été produite par une IA ; le filigrane de Google, SynthID, ne marque que les images et vidéos de Google | Ne pas demander à un assistant d'authentifier une image | | La marque d'un visuel à l'autre | GPT Image peine à garder un personnage ou les éléments d'une marque d'une image à l'autre, et à placer un texte avec précision | Un graphiste pour l'identité ; l'IA pour des essais | | Le service qui disparaît | OpenAI a fermé l'API de Sora, son modèle de vidéo, le 24 septembre 2026, sans remplaçant équivalent | Ne pas bâtir un usage sur un seul service, sans solution de rechange | ## Mise en place 1. **Le PDF d'origine plutôt qu'une photo** : un PDF produit par un logiciel contient son texte, lu en plus de l'image ; un scan ou une photo n'est qu'une image. 2. **Des pages droites et nettes** : Anthropic conseille de remettre les pages à l'endroit avant de les envoyer. 3. **Le son plutôt que la vidéo** quand seules les paroles comptent : trois fois moins de tokens. 4. **Le bon modèle** : pour un enregistrement, un modèle qui écoute, ou une transcription d'abord ; Claude et GPT-6 Astra ne prennent pas le son directement. 5. **Les chiffres vérifiés** : tout montant, toute date lus sur une image se contrôlent, par une règle ou par une personne. 6. **Les personnes informées** : un enregistrement contient des voix et des noms ; prévenez les participants avant d'enregistrer, et voyez [le RGPD](https://meridal.fr/apprendre/rgpd-et-ia/). ## Exercice Pour chaque besoin, quelle forme donner, et à quel modèle ? Les situations sont fabriquées pour l'exercice. 1. Le compte rendu d'une réunion de deux heures, enregistrée en vidéo. 2. Le nombre de cartons sur la photo d'un quai de chargement. 3. Les montants de trente factures reçues en photo par messagerie. 4. Dix visuels pour les réseaux, avec le logo et les couleurs de l'entreprise. **Ouvrir la correction** **1. Le son seul**À un modèle qui écoute, comme Gemini, ou après une transcription : la vidéo coûterait trois fois plus sans rien ajouter au compte rendu. **2. Pas à un assistant**Les comptes d'objets sont approximatifs : un inventaire se compte autrement. **3. Le PDF d'origine, si possible**Sinon des photos droites et nettes ; puis les montants vérifiés par des règles : sommes, taux de TVA. **4. Pour des essais seulement**Un modèle d'image peine à garder une marque cohérente d'un visuel à l'autre. ## Vérification **1 Comprendre Pourquoi une facture photographiée de travers donne-t-elle plus d'erreurs que le PDF envoyé par le fournisseur ?** Parce que le modèle la lit seulement comme une image, et que les éditeurs signalent ses erreurs sur le texte petit ou tourné ; le PDF d'origine contient en plus son texte. **2 Comprendre Un assistant peut-il dire si une image a été fabriquée par une IA ?** Non : Anthropic le dit pour Claude. Le filigrane de Google ne marque que les images de Google. **3 Appliquer Pour le compte rendu d'une réunion filmée, que donner au modèle ?** Le son seul, à un modèle qui écoute ou après une transcription : trois fois moins de tokens que la vidéo, pour le même compte rendu. ## Lectures suivantes ↑ Plus général Rien avant : c'est un point de départ. ← Avant [Le modèle de langage expliqué simplement Comprendre · Niveau 1 · 10 minutes](https://meridal.fr/apprendre/modele-de-langage/) Vous êtes ici L'IA multimodale → Ensuite [Les modèles du monde Comprendre · Niveau 2 · 13 minutes](https://meridal.fr/apprendre/les-modeles-du-monde/) ↓ Plus concret Rien avant : c'est un point de départ. [Tout le dossier « Fonctionnement d'une IA »](https://meridal.fr/apprendre/dossier/ia/) Les pages qui renvoient ici - [Les modèles de raisonnement](https://meridal.fr/apprendre/modeles-qui-raisonnent/) **Limites et sources** Le tableau dit ce que les éditeurs annoncent pour chaque modèle ; il ne mesure pas la qualité de la lecture, qu'aucun classement indépendant ne compare encore sur des documents d'entreprise français. Les règles de comptage des tokens sont celles de Google pour Gemini ; chaque éditeur compte à sa façon. 1. [Anthropic, Vision](https://platform.claude.com/docs/en/build-with-claude/vision) ; [Anthropic, PDF support](https://platform.claude.com/docs/en/build-with-claude/pdf-support) ; [OpenAI, Images and vision](https://platform.openai.com/docs/guides/images-vision) ; [OpenAI, File inputs](https://platform.openai.com/docs/guides/pdf-files) ; [Google, Video understanding](https://ai.google.dev/gemini-api/docs/video-understanding) ; [Google, Audio understanding](https://ai.google.dev/gemini-api/docs/audio) ; [Google, Veo](https://ai.google.dev/gemini-api/docs/veo). 2. Le relevé complet : `apprendre/recherches/2026-10-08-comprendre-modeles.json` ; le tableau lit `apprendre/donnees/marche.json`. Écrit par Meridal, avec l'aide de l'IA ; chaque fait vérifié à sa source et relu avant publication. Texte et schémas sous licence [CC BY 4.0](https://creativecommons.org/licenses/by/4.0/deed.fr) : reprenez-les en citant Meridal. Le code sous licence MIT. Service correspondant Préparer les documents qui reviennent 1 650 € à 5 100 €, puis sur devis [Voir le service](https://meridal.fr/offre/#documents) ## Un premier échange de 30 minutes En visio et sans frais : vous décrivez votre situation, nous vous indiquons ce qui est réalisable, avec quels outils et pour quel ordre de prix. Vous pouvez aussi nous écrire ; chaque message reçoit une réponse écrite. [Réserver 30 minutes](https://meridal.fr/contact/#reserver) [Écrire un message](https://meridal.fr/contact/)