Estimation du gain d'un projet

Les chiffres annoncés sont souvent des estimations faites loin du travail réel. OpenAI écrit que ses modèles font les tâches de GDPval environ cent fois plus vite et moins cher que des experts, sans compter la relecture, les allers-retours ni l'intégration. Anthropic estime à 80 % le temps gagné sur des tâches confiées à Claude ; c'est une estimation par un modèle, pas un essai.

Quand on mesure, les gains existent, mais varient selon la tâche et la personne. Et ce qu'on ressent trompe : dans l'étude de METR, des développeurs expérimentés attendaient 24 % de gain, en ont ressenti 20 %, et ont mis 19 % de temps en plus.

Un gain est une différence de durée sur la même tâche, faite à la main puis avec l'IA, mesurée sur de vraies occurrences. La durée avec l'IA comprend tout : préparer la demande, relire, corriger, reprendre les erreurs, et le temps de prise en main, réparti sur les mois.

Le gain dépend de la tâche. Les consultants de l'étude du BCG allaient plus vite sur les tâches dans la « frontière » de ce que l'IA sait faire ; sur une tâche choisie hors de cette frontière, ils donnaient une bonne réponse 19 points moins souvent que ceux qui travaillaient sans.

Il dépend aussi de la personne : au service client, les agents débutants ont gagné 34 %, les plus expérimentés presque rien, avec une légère baisse de qualité. Et il se concentre dans le travail structuré, dont le résultat se contrôle facilement, selon le rapport de Stanford sur l'IA.

Le calcul tient en une ligne : (durée à la main − durée avec l'IA, tout compris) × nombre de fois par mois. Les heures gagnées deviennent des euros seulement si elles servent à autre chose : une tâche nouvelle, un client de plus, un retard rattrapé.

Une expérience sur un assistant de bureautique a trouvé du temps gagné sur les courriels, mais aucun changement dans la quantité ni la nature des tâches des salariés : le temps libéré ne se transforme pas tout seul.

Une PME tient douze comptes rendus de réunion par mois, exemple fabriqué. À la main, chacun prend 45 minutes. L'outil promet de l'écrire en 2 minutes.

Mesuré sur dix réunions : 3 minutes pour lancer, 15 pour relire et corriger, et une erreur sérieuse une fois sur cinq, qui prend vingt minutes à reprendre, soit 4 en moyenne. Avec l'IA, un compte rendu prend 22 minutes : 23 minutes de gagnées, et non 43.

Sur un mois : 23 × 12 = 276 minutes, soit 4 h 36. Si ce temps sert, à 40 € de l'heure chargée, hypothèse, il vaut 184 € par mois, face à un abonnement d'une vingtaine d'euros. S'il ne sert à rien d'autre, il vaut un confort, pas de l'argent.

• Le ressenti : il surestime ; les développeurs de METR se croyaient plus rapides, ils étaient plus lents.
• La relecture oubliée : un gain compté sans le temps de relire et de corriger est un gain inventé.
• La tâche hors de la frontière : là où l'IA se trompe, elle fait perdre du temps et de la justesse.
• Le gain moyen pris pour le vôtre : les débutants gagnent souvent plus que les experts ; une moyenne ne dit rien de votre équipe.
• Le temps libéré qui se perd : sans tâche pour le reprendre, il ne se voit pas dans les comptes.

1. Choisir une tâche fréquente, et la même personne pour les deux mesures.
2. Chronométrer dix occurrences à la main, sur des cas réels, pas les plus faciles.
3. Chronométrer dix occurrences avec l'IA, en notant la relecture, les corrections et les erreurs trouvées.
4. Comparer les médianes, plus sûres qu'une moyenne qu'un seul cas déforme ; et la qualité, avec une grille.
5. Décider, et l'écrire : ce que l'on garde, ce que l'on change, et la date de la prochaine mesure.

Une assistante prépare trente devis par mois, exemple fabriqué. À la main, 40 minutes chacun. Avec l'IA, mesuré sur dix devis : 5 minutes pour préparer, 12 pour relire et corriger, et une erreur de prix une fois sur dix, qui prend 30 minutes à reprendre.

1. Combien de temps gagne-t-elle par devis ?
2. Et par mois ?
3. Que faut-il savoir avant de dire ce que cela vaut en euros ?