---
title: "Streaming, cache et traitement par lots"
description: "Trois réglages qui changent le délai et le coût d'une application."
url: https://meridal.fr/apprendre/streaming-cache-et-lots/
language: fr
written: 2026-10-08
verified: 2026-10-08
license: CC BY 4.0
---

[Apprendre](https://meridal.fr/apprendre/) › [Construction et programmation](https://meridal.fr/apprendre/dossier/construire/)

Comprendre · Niveau 3, Construire · 12 minutes

# Streaming, cache et traitement par lots

Trois réglages qui changent le délai et le coût d'une application d'IA : le streaming, qui affiche la réponse au fil de l'eau ; le cache, qui fait payer moins ce qui se répète ; les lots, qui coûtent moitié moins quand rien ne presse.

Écrit le 8 octobre 2026 · Vérifié le 8 octobre 2026

## Vous saurez

- Dire ce que change le streaming, et ce qu'il complique
- Faire jouer le cache : ce qui se met en tête, et ce qu'on y gagne
- Savoir quand passer par les lots, à moitié prix
- Lire dans la réponse de l'API ce qui a été caché et payé

- [← Avant Premier appel à un modèle](https://meridal.fr/apprendre/premier-appel/)
- [↓ Plus concret Réponse dans un format imposé](https://meridal.fr/apprendre/format-impose/)
- [→ Ensuite Embeddings et bases vectorielles](https://meridal.fr/apprendre/embeddings-et-bases-vectorielles/)

Rappel de la page précédente

Répondez de tête, puis ouvrez. [Tokens, fenêtre de contexte et prix](https://meridal.fr/apprendre/tokens/)

**1 Pourquoi une conversation coûte-t-elle de plus en plus cher à chaque échange ?**

Parce que le modèle relit tout l'historique à chaque échange : ce qu'il lit grandit à chaque tour. Le cache réduit le prix de ce qui est relu.

**2 Deux modèles affichent le même prix par million de tokens. Coûtent-ils autant pour le même texte ?**

Pas forcément : chaque éditeur découpe le texte à sa façon, et le même texte peut compter nettement plus de tokens chez l'un. Comparez sur vos textes, avec l'outil de comptage de chaque éditeur.

L'essentiel

1. Le streaming ne rend pas le modèle plus rapide : il montre la réponse pendant qu'elle s'écrit.
2. Le cache fait relire à prix réduit le début d'une demande déjà vu : souvent 10 % du prix d'entrée, parfois 5 %.
3. Le cache ne marche que si ce qui se répète est en tête : les consignes et les documents d'abord, la question à la fin.
4. Les lots coûtent moitié prix chez OpenAI, Anthropic, Google et Mistral, contre un délai de quelques heures, jusqu'à 24.
5. Chaque réponse de l'API dit combien de tokens ont été lus dans le cache : c'est là qu'on vérifie le gain.

## Problème

Une application d'IA en service se juge sur deux choses : le temps qu'elle met à répondre, et ce qu'elle coûte chaque mois. Les deux dépendent moins du modèle choisi que de trois réglages que l'on oublie souvent : afficher la réponse au fil de l'eau, ne pas faire repayer ce qui se répète, et grouper ce qui n'est pas urgent.

## Principe

- **Le streaming** : la réponse arrive morceau par morceau, au lieu d'arriver d'un bloc à la fin. Les quatre éditeurs l'offrent, par des événements envoyés par le serveur.
- **Le cache** : quand une demande commence comme une demande récente, l'éditeur relit ce début dans sa mémoire, à prix réduit. OpenAI annonce jusqu'à 95 % de remise sur l'entrée cachée.
- **Les lots** : on envoie un fichier de demandes, l'éditeur les traite quand il peut, à moitié prix.

## Fonctionnement

![Première demande : les outils, les consignes et les documents sont écrits en cache, à 125 % du prix d'entrée chez OpenAI et Anthropic ; la question, au prix plein. La demande suivante qui commence pareil relit ce début dans le cache, souvent à 10 % du prix d'entrée, parfois 5 %. Si la question vient en tête, le début a changé : rien ne se relit.](https://meridal.fr/assets/apprendre/medias/apprendre-cache-prefixe.svg)

*Le cache relit le début identique d'une demande.*

**Le cache lit un préfixe** : seul le début identique d'une demande se relit. Chez Anthropic, l'ordre compte : les outils, puis les consignes, puis les messages. D'où la règle : ce qui ne change pas en tête, ce qui change à la fin.

**Il a une taille minimale** : 1 024 tokens chez OpenAI, 512 chez Anthropic, 4 096 pour Gemini 3.x ; chez Anthropic, une demande plus courte passe sans cache, et sans erreur.

**Il dure peu** : cinq minutes chez Anthropic, prolongées à chaque usage ; au moins trente minutes chez OpenAI pour les modèles récents.

**L'écriture coûte un peu plus** : mettre en cache se paie 125 % du prix d'entrée chez OpenAI et chez Anthropic ; le gain vient dès la deuxième relecture.

**Le streaming change le traitement des erreurs** : une erreur peut arriver au milieu d'une réponse déjà commencée, et Anthropic exige le streaming pour les réponses très longues, sous peine d'expiration.

## Exemple détaillé

Les règles du cache et des lots chez quatre éditeurs, relevées les 7 et 8 octobre 2026. Pour voir l'effet du cache sur une conversation, le calcul de [la page des tokens](https://meridal.fr/apprendre/tokens/) le chiffre, avec et sans.

Un avantage À savoir

| Outil et offre | Cache automatique | Taille minimale | Prix d'une relecture | Durée du cache | Traitement par lots |
|---|---|---|---|---|---|
| OpenAI GPT-5.6 et suivants | Un avantage : Oui, par défaut | 1 024 tokens | 10 % du prix d'entrée ; 5 % sur GPT-6.1 Sol ; écriture à 125 % | Au moins 30 minutes après le dernier usage | Moitié prix, rendu sous 24 heures |
| Anthropic Claude 5.5 | Un avantage : Oui, avec un seul repère en tête de demande ; ou repères posés à la main | À savoir : 512 tokens ; en dessous, pas de cache, sans erreur | 10 % du prix d'entrée, 5 % sur Opus 5.5 ; écriture à 125 % (5 minutes) ou 200 % (1 heure) | 5 minutes, prolongées à chaque usage ; 1 heure en option | Moitié prix ; la plupart des lots finis en moins d'une heure, 24 heures au plus |
| Google Gemini 3.x | À savoir : Implicite, par défaut, sans économie garantie ; explicite, avec garantie, hors API Interactions | 4 096 tokens pour Gemini 3.x Flash et 3.1 Pro | 10 % du prix d'entrée sur Gemini 3.8 Flash, plus un stockage à l'heure en cache explicite | 1 heure par défaut en cache explicite | Moitié prix, rendu visé sous 24 heures |
| Mistral API de Mistral | À savoir : Oui ; une clé de cache augmente les chances, sans garantie | Blocs de 64 tokens ; rien en dessous | 10 % du prix d'entrée | Non relevé | Moitié prix |

## Risques

| Ce qui guette | Pourquoi | La parade |
|---|---|---|
| Un cache qui ne sert jamais | Une date ou un nom placés en tête changent le préfixe à chaque demande | Tout ce qui varie à la fin ; vérifier les tokens lus dans le cache |
| Un cache trop court pour servir | Sous la taille minimale, rien n'est caché ; chez Anthropic, sans le dire | Grouper consignes et documents fixes en tête, au-delà du minimum |
| Une économie qu'on croit acquise | Le cache implicite de Google ne garantit aucune économie | Le cache explicite, quand l'économie doit être sûre |
| Des secrets dans la clé de cache | Mistral demande de n'y mettre ni secret ni donnée sensible | Une clé neutre, comme le nom de l'application |
| Une réponse en streaming qui se coupe | Les erreurs peuvent arriver en cours de route, et de nouveaux types d'événements apparaître | Traiter l'erreur en cours de flux ; ignorer sans planter les événements inconnus |
| Un contenu non modéré déjà affiché | OpenAI note que le streaming rend plus difficile la modération d'une réponse partielle | Ne pas diffuser en direct ce qui doit être vérifié avant |

## Mise en place

1. **Mettre en tête ce qui ne change pas** : consignes, outils, documents de référence ; à la fin, la question.
2. **Lire les compteurs** : chaque réponse dit combien de tokens ont été lus dans le cache ; chez Anthropic, `cache_read_input_tokens`.
3. **Streamer ce qu'une personne lit** : une interface de discussion ; pas un traitement en arrière-plan.
4. **Passer par les lots** ce qui peut attendre : un classement de courriels de la veille, une extraction de factures du mois, une évaluation.
5. **Suivre la facture** : [le coût d'un outil en service](https://meridal.fr/apprendre/cout-d-un-outil-d-ia-en-service/) et [le routage entre modèles](https://meridal.fr/apprendre/routage-entre-modeles/).

## Exercice

Un assistant reçoit 2 000 demandes par jour. Chacune commence par les mêmes consignes et la même charte, 6 000 tokens, puis une question de 200 tokens. Que faut-il changer pour que le cache serve, et sur quoi porte l'économie ?

**Ouvrir la correction**

**L'ordre**Consignes et charte en tête, sans date ni nom qui change ; la question à la fin. Le préfixe de 6 000 tokens dépasse les minimums de tous les éditeurs.

**L'économie**Sur ces 6 000 tokens, à chaque demande servie depuis le cache : 90 % de leur prix d'entrée en moins chez la plupart, 95 % sur Claude Opus 5.5. Les 200 tokens de la question et les tokens écrits se paient au prix normal.

**La condition**Des demandes assez rapprochées : cinq minutes chez Anthropic, prolongées à chaque usage ; avec 2 000 demandes par jour en journée, le cache reste chaud.

## Vérification

**1 Comprendre Le streaming rend-il le modèle plus rapide ?**

Non : la réponse met le même temps à s'écrire ; le streaming la montre pendant qu'elle s'écrit, ce qui change le temps avant le premier mot.

**2 Appliquer Pourquoi placer la date du jour à la fin de la demande plutôt qu'au début ?**

Parce que le cache ne relit que le début identique d'une demande : une date en tête change ce début chaque jour, et le cache ne sert plus.

**3 Appliquer Quelles tâches passer par les lots ?**

Celles qui peuvent attendre quelques heures : traitements du soir, extractions mensuelles, évaluations. Elles coûtent alors moitié prix.

## Lectures suivantes

↑ Plus général

Rien avant : c'est un point de départ.

← Avant [Premier appel à un modèle S'exercer · Niveau 3 · 15 minutes](https://meridal.fr/apprendre/premier-appel/) [Tokens, fenêtre de contexte et prix Comprendre · Niveau 2 · 12 minutes](https://meridal.fr/apprendre/tokens/)

Vous êtes ici

Streaming, cache et traitement par lots

→ Ensuite [Embeddings et bases vectorielles Comprendre · Niveau 3 · 14 minutes](https://meridal.fr/apprendre/embeddings-et-bases-vectorielles/)

↓ Plus concret [Réponse dans un format imposé S'exercer · Niveau 3 · 20 minutes](https://meridal.fr/apprendre/format-impose/)

[Tout le dossier « Construction et programmation »](https://meridal.fr/apprendre/dossier/construire/)

Les pages qui renvoient ici

**Limites et sources**

Les règles et remises sont celles des éditeurs aux 7 et 8 octobre 2026 ; elles changent avec les modèles.

La durée de vie du cache de Mistral n'est pas publiée dans les pages lues.

1. [OpenAI, Prompt caching](https://developers.openai.com/api/docs/guides/prompt-caching) ; [Anthropic, Prompt caching](https://platform.claude.com/docs/en/build-with-claude/prompt-caching) ; [Google, Context caching](https://ai.google.dev/gemini-api/docs/caching) ; [Mistral, Prompt caching](https://docs.mistral.ai/studio/conversations/advanced/prompt-caching).
2. Les règles de la synthèse : `apprendre/donnees/cache-lots.json` ; le relevé : `apprendre/recherches/2026-10-07-dev-appels-modeles.json`.

Écrit par Meridal, avec l'aide de l'IA ; chaque fait vérifié à sa source et relu avant publication. Texte et schémas sous licence [CC BY 4.0](https://creativecommons.org/licenses/by/4.0/deed.fr) : reprenez-les en citant Meridal. Le code sous licence MIT.

Service correspondant

Garder vos outils en état

200 € à 1 500 € par mois

[Voir le service](https://meridal.fr/offre/#suivi)

## Un premier échange de 30 minutes

En visio et sans frais : vous décrivez votre situation, nous vous indiquons ce qui est réalisable, avec quels outils et pour quel ordre de prix. Vous pouvez aussi nous écrire ; chaque message reçoit une réponse écrite.

[Réserver 30 minutes](https://meridal.fr/contact/#reserver) [Écrire un message](https://meridal.fr/contact/)