Ajustement d'un modèle

Une PME veut que son assistant range chaque demande de client dans l'une de ses douze catégories, avec son vocabulaire à elle, au même format à chaque fois. Les consignes sont longues, les exemples aussi, et le résultat varie encore. Elle entend parler d'ajustement : « entraîner le modèle sur nos données ». Elle pense lui apprendre son catalogue et ses procédures. Ce n'est pas ce que fait un ajustement, et ce n'est souvent pas ce dont elle a besoin.

Ajuster, en anglais fine-tuning, c'est poursuivre l'entraînement d'un modèle déjà fabriqué sur vos propres exemples : une demande, et la réponse que vous attendez. Le modèle apprend à reproduire ces réponses.

Ce qu'il apprend bien : un format, un ton, une classification, une tâche trop difficile à décrire dans une demande, ou une demande plus courte pour le même résultat, donc moins de tokens. OpenAI cite aussi l'entraînement sur plus d'exemples qu'une demande n'en contient, et la possibilité de passer à un modèle plus petit et moins cher.

Ce qu'il apprend mal : des faits. Les exemples qui apportent une connaissance nouvelle s'apprennent plus lentement, et une fois appris ils augmentent la tendance du modèle à inventer. Sur des tâches de connaissances, le RAG fait mieux que l'ajustement, pour des faits déjà vus comme pour des faits nouveaux.

1. Les exemples, dans un fichier JSONL, une ligne par exemple. OpenAI demande 10 exemples au minimum et conseille d'en commencer avec 50 bien écrits ; Microsoft parle de 50 à 100 pour un essai, 500 et plus en production.
2. La méthode. La plus courante : un adaptateur, LoRA, qui laisse les poids du modèle figés et n'entraîne que de petites matrices ajoutées ; sur GPT-3, ses auteurs divisaient par 10 000 les paramètres à entraîner. Le réglage complet, qui modifie tous les poids, coûte plus à entraîner et à servir.
3. Les passages : le fichier est lu plusieurs fois, les époques ; on paie les tokens du fichier multipliés par le nombre de passages.
4. La validation : une partie des exemples, gardée de côté, dit si le modèle progresse ou s'il apprend par cœur.
5. Le déploiement : le modèle ajusté est servi par l'offre, au prix du modèle de base ou plus cher, parfois avec un hébergement à l'heure.

Deux variantes : l'ajustement par préférences, DPO, apprend à préférer une réponse à une autre, sans modèle de récompense séparé ; l'ajustement par renforcement, RFT, note les réponses du modèle par un programme, et sert aux tâches dont la bonne réponse se vérifie.

500 exemples de demandes classées, un million de tokens en tout, passés deux fois : c'est le scénario du guide des coûts de Microsoft. Le même entraînement, offre par offre.

Dans ce scénario, l'entraînement pèse peu. Ce qui pèse : l'hébergement, le prix de chaque appel au modèle ajusté, et le travail des exemples, qu'on écrit et qu'on relit à la main.

1. Mesurer d'abord : un jeu de questions avec les réponses attendues, avant tout ajustement ; OpenAI le demande en premier. La méthode : évaluation d'un outil d'IA.
2. Soigner la demande, avec des exemples dedans : Google, Mistral et OpenAI disent de commencer par là. Anthropic conseille de mettre une base de moins de 200 000 tokens, environ 500 pages, directement dans la demande.
3. Donner les faits par les documents : le RAG.
4. Ajuster seulement si la forme reste instable, sur 50 exemples d'abord. Si 50 exemples ne changent rien, OpenAI conseille de revoir la tâche ou la demande avant d'en ajouter.
5. Envisager la distillation : régler la demande sur un grand modèle, puis ajuster un plus petit sur ses réponses, pour un coût d'usage plus bas.
6. Choisir l'offre d'après sa date de fermeture, la région d'entraînement et l'hébergement, pas le prix de l'entraînement.

Vous avez 300 exemples d'environ 1 500 tokens chacun, à passer trois fois. Combien de tokens sont facturés ? Que coûte l'entraînement sur Gemini 3.1 Flash-Lite, à 0,003 $ le millier de tokens, et chez Together AI sur Llama 3.1 8B, à 0,34 $ le million avec un minimum de 4 $ par travail ?