Problème, constate Bloomberg dans une enquête qui reproduit la méthodologie de travaux scientifiques sur la question : ChatGPT reproduit, voire amplifie des biais existants dans le monde hors ligne. Et lorsqu’on lui demande, à plusieurs reprises, de classer 1 000 CV, la machine tend à privilégier des prénoms caractéristiques de certains types de population.

Je veux pas être désagréable, mais à un moment il faut arrêter d'être con et considérer que ChatGPT peut tout faire. Ce n'est PAS un outil RH. Ce n'est PAS un système de recherche scientifique. Ce n'est PAS une divinité omnisciente qui sait tout et voit tout.

Un outil RH qui utiliserait de l'IA doit utiliser un modèle spécialisé et fine-tuned dans le domaine.

Je ne vois vraiment pas l'intérêt de ce genre de démonstration pour un usage aussi spécifique. Le GPT-3.5 / GPT-4 utilisé par ChatGPT est un modèle généraliste. Il est biaisé, c'est pas une nouveauté ça fait deux ans qu'on le répète et le démontre. Pire encore, ChatGPT possède un system prompt qui va forcément orienter sa façon de travailler et répondre. C'est le fonctionnement de base d'un LLM. A ma connaissance, ce system prompt n'est pas public, donc on ne sait pas comment ChatGPT est conditionné.

Le vrai problème, c'est de vouloir utiliser cet outil spécifiquement, et non un modèle LLM fine-tuned pour des cas d'usage particuliers. Rien qu'un entraînement sur une base de CV publics (du genre linkedin et tout le bordel) supprimant toute donnée personnelle (car ça n'a aucun intérêt pour le tri de CV pour du profil de candidat de mon point de vue, mais je peux me tromper n'étant pas RH) permettrait en théorie d'avoir un modèle capable de faire le taff. Dans tous les cas, je ne vois pas pourquoi le LLM devrait traiter de la donnée personnelle : c'est une information absolument inutile pour savoir sur Profil #234362 matche avec Offre #76576. Ce sont les compétences qu'on prend vérifier cela, pas les noms des personnes.

Surtout quand on dit à la fin :

OpenAI déclare interdire l’usage de ses technologies à des fins d’automatisation des processus de recrutement.

Faut vraiment arrêter de donner raison à Brassens et de chercher à démontrer que des outils qui ne sont pas fait pour certaines tâches n'y répondent pas. Je considère cette "étude" comme inutile personnellement, elle part d'un postulat faux.

L'info de localisation peut effectivement avoir du sens, surtout si le modèle doit prendre en compte cette donnée (ex : recrutement pour une antenne régionale opérée par un service RH centralisé, critère disant d'idéalement privilégier les candidatures proches).

Par contre, les infos du type nom, prénom, age, sexe, ont zéro intérêt dans le cas d'une classification automatisée de profils sur compétences. Puisque la compétence ne dépend pas de ces caractéristiques.

Ou alors il me manque une notion...

L'erreur fondamentale du raisonnement est de considérer ChatGPT comme une technologie ou un modèle d'IA.

Non, ChatGPT est une implémentation d'une technologie : le Generative Pre-trained Transformer dans sa version 3.5 et 4. C'est GPT le modèle d'IA générative, pas ChatGPT. Comme toute implémentation d'une techno, il a une finalité particulière.

Saisir cette nuance permet de rapidement comprendre l'absurdité de cette étude.

Pour faire un parallèle simpliste, ChatGPT est le navigateur web (Chromium, Firefox, etc), GPT est le moteur de rendu (Gecko, Blink, etc), ou Debian/RHEL et Linux, ou encore Windows et NT.