Les biais d'un modèle

Un assistant aide déjà à trier des candidatures, à conseiller un salaire, à comparer deux offres, à juger un texte. Il le fait avec assurance, et ses penchants ne se voient pas. Bloomberg a fait classer à GPT-3.5 huit CV de même niveau mille fois par poste, en ne changeant que les noms : le classement suivait les noms, et le groupe favorisé changeait d'un poste à l'autre.

Les recruteurs voient souvent le logiciel comme une garantie d'objectivité, note le Défenseur des droits. Or c'est l'employeur qui répond : le gouvernement rappelle qu'il engage sa responsabilité civile et pénale si ses outils produisent une discrimination, et qu'il doit pouvoir justifier sa méthode, jusqu'aux consignes données à l'outil.

Un biais de modèle est un écart systématique : la réponse change avec un détail qui ne devrait pas compter, le nom, la langue, la place, l'avis de celui qui demande. Il a trois origines.

Ce que le modèle a lu. Des textes publics d'internet, de partenaires et d'utilisateurs, surtout en anglais. Cinq modèles d'OpenAI, comparés aux enquêtes de 107 pays, expriment tous des valeurs proches de celles des pays anglophones et de l'Europe protestante.

La façon dont on l'a dressé. L'entraînement par les avis humains masque le racisme visible mais laisse les stéréotypes cachés, d'après une étude publiée dans Nature. Il peut aussi en créer : en avril 2025, un signal tiré des pouces levés des utilisateurs a contribué à rendre ChatGPT complaisant, selon OpenAI.

La façon dont on lui demande. L'ordre des éléments, le contexte ajouté, un chiffre ou un avis glissé dans la question déplacent la réponse.

Les mesures : Rozado, recrutement et ordre ; Geiger et al., salaires ; Anthropic, langues ; Cheng et al. dans Science, complaisance ; Zheng et al., juge.

Le recrutement : le sens change avec le modèle. Les audits se suivent et ne se ressemblent pas. Les plus anciens trouvent surtout des noms masculins ou à consonance blanche favorisés ; ceux de 2025 et 2026, des candidates et des candidats noirs favorisés, ou rien de significatif. Ce qui revient partout : l'écart dépend du modèle, du poste, du contexte et de l'ordre.

L'ordre. Le premier candidat présenté l'emporte dans 63,5 % des paires. Un modèle à qui l'on fait juger deux réponses change souvent de verdict quand on les inverse ; en changeant seulement l'ordre, un petit modèle a battu ChatGPT sur 66 questions sur 80, ChatGPT étant juge. Une liste rallongée de redites a gagné dans 91,3 % des cas devant Claude-v1 et GPT-3.5, 8,7 % devant GPT-4.

Les conseils chiffrés. Quatre versions de ChatGPT ont conseillé environ 1 000 dollars de plus aux hommes qu'aux femmes, pour la même demande de salaire, et plus de 11 000 dollars de plus aux diplômés de Harvard qu'à ceux de deux autres universités. Changer de version a déplacé le salaire conseillé de près de 40 %.

La langue et la culture. En français, Claude Sonnet 4.5 obtient 97,5 % de son score en anglais, Haiku 4.5 95,7 % ; en yoruba, 79,7 et 52,7 %. Demander de répondre comme une personne d'un pays donné améliore l'accord avec ses valeurs pour 71 à 81 % des pays. Le parler aussi compte : à texte égal, des modèles condamnent plus souvent une personne qui écrit en anglais afro-américain, 68,7 % contre 62,1 %.

La complaisance. Sur onze modèles, l'IA approuve les actes de l'utilisateur 49 % plus souvent que des humains, même quand ils trompent ou nuisent ; une seule conversation suffit à rendre moins enclin à réparer un conflit, et les participants font davantage confiance à ces modèles.

Une PME veut qu'un assistant pré-trie les candidatures d'un poste de commercial. Avant de s'en servir, elle teste sa demande telle qu'elle l'utilisera, avec le test par paires inversées que pratiquent les chercheurs.

Elle prend dix paires de candidatures de niveau voisin, signe chacune d'un prénom de deux groupes, et fait passer chaque paire quatre fois : quarante passages. Puis elle compte. Les résultats ci-dessous sont fabriqués pour l'exemple ; le seuil de 0,8 est la règle des quatre cinquièmes des audits américains, reprise par Bloomberg.

Ce qu'elle en conclut : avec ce modèle et cette demande, l'assistant ne trie pas seul. Elle tire l'ordre au hasard, garde une personne qui relit chaque candidature écartée, et refait le test avec plus de paires, car quarante passages donnent un signal, pas une preuve. Elle le refera à chaque changement de modèle.

1. Ne laisser aucune décision sur une personne au modèle seul. Le RGPD donne le droit de ne pas faire l'objet d'une décision entièrement automatisée qui produit des effets importants ; les conditions d'usage d'OpenAI interdisaient déjà en 2024 ces décisions automatisées dans l'emploi.
2. Tester votre tâche avant de vous en servir, par paires inversées, et refaire le test à chaque changement de modèle.
3. Tirer l'ordre au hasard pour toute liste, et passer chaque comparaison dans les deux sens ; ne garder que les verdicts qui tiennent.
4. Taire votre avis avant la réponse, et demander ce qui ne va pas plutôt que de faire confirmer.
5. Écrire la langue de réponse dans la consigne, comme le recommande Anthropic, plutôt que de la laisser deviner.
6. En recrutement, informer les candidats et le CSE des méthodes employées, et garder la trace de la consigne utilisée.
7. Préparer le 2 décembre 2027 : l'IA qui trie ou évalue des candidats devient à haut risque ; l'employeur devra informer les représentants du personnel et les salariés, et confier le contrôle humain à des personnes compétentes.

Pour cadrer ces règles dans l'entreprise : qui décide de l'IA dans l'entreprise.

Quels biais menacent ce tri, et que changez-vous ?