Yasmine Boudiaf & LOTI / Better Images of AI / CC-BY 4.0 Comme dans d’autres industries, l’intelligence artificielle, notamment générative, intéresse le monde des ressources humaines.
Entre autres usages, ces outils permettent d’évaluer et de hiérarchiser rapidement une multiplicité de profils. Une entreprise comme OpenAI vend d’ailleurs ChatGPT à des entreprises de divers secteurs, vantant les capacités de ses technologies pour des tâches aussi spécifiques, notamment en matière de recrutement.
Problème, constate Bloomberg dans une enquête qui reproduit la méthodologie de travaux scientifiques sur la question : ChatGPT reproduit, voire amplifie des biais existants dans le monde hors ligne. Et lorsqu’on lui demande, à plusieurs reprises, de classer 1 000 CV, la machine tend à privilégier des prénoms caractéristiques de certains types de population.
Les noms spécifiques à la communauté noire-américaine étaient les moins susceptibles d’être classés parmi les meilleurs candidats pour un poste d’analyste financier, par exemple. Pour le même type d’emploi, les noms spécifiques aux femmes asiatiques avaient les meilleures chances d’être classées tout en haut de la pile.
Le média a reproduit le test sur quatre métiers différents, et globalement, les prénoms féminins sont mieux classés que ceux des hommes.
« Bien que ce test soit une version simplifiée d'un processus de travail classique des ressources humaines, il a permis de montrer que les noms sont une source de biais » dans la machine, écrit Bloomberg, biais « susceptibles d’affecter les décisions d’embauche ». D’autant plus qu’une personne sur deux interrogées par le Pew Research Center est convaincue que l’IA peut faire mieux que les humains en matière de gestion non discriminante des candidatures.
OpenAI déclare interdire l’usage de ses technologies à des fins d’automatisation des processus de recrutement.
Commentaires (25)
#1
Je veux pas être désagréable, mais à un moment il faut arrêter d'être con et considérer que ChatGPT peut tout faire. Ce n'est PAS un outil RH. Ce n'est PAS un système de recherche scientifique. Ce n'est PAS une divinité omnisciente qui sait tout et voit tout.
Un outil RH qui utiliserait de l'IA doit utiliser un modèle spécialisé et fine-tuned dans le domaine.
Je ne vois vraiment pas l'intérêt de ce genre de démonstration pour un usage aussi spécifique. Le GPT-3.5 / GPT-4 utilisé par ChatGPT est un modèle généraliste. Il est biaisé, c'est pas une nouveauté ça fait deux ans qu'on le répète et le démontre. Pire encore, ChatGPT possède un system prompt qui va forcément orienter sa façon de travailler et répondre. C'est le fonctionnement de base d'un LLM. A ma connaissance, ce system prompt n'est pas public, donc on ne sait pas comment ChatGPT est conditionné.
Le vrai problème, c'est de vouloir utiliser cet outil spécifiquement, et non un modèle LLM fine-tuned pour des cas d'usage particuliers. Rien qu'un entraînement sur une base de CV publics (du genre linkedin et tout le bordel) supprimant toute donnée personnelle (car ça n'a aucun intérêt pour le tri de CV pour du profil de candidat de mon point de vue, mais je peux me tromper n'étant pas RH) permettrait en théorie d'avoir un modèle capable de faire le taff. Dans tous les cas, je ne vois pas pourquoi le LLM devrait traiter de la donnée personnelle : c'est une information absolument inutile pour savoir sur Profil #234362 matche avec Offre #76576. Ce sont les compétences qu'on prend vérifier cela, pas les noms des personnes.
Surtout quand on dit à la fin :
Faut vraiment arrêter de donner raison à Brassens et de chercher à démontrer que des outils qui ne sont pas fait pour certaines tâches n'y répondent pas. Je considère cette "étude" comme inutile personnellement, elle part d'un postulat faux.
#1.1
Si l'outil est effectivement vendu dans ce but, y'a un souci et c'est bien de le soulever.
#1.2
#1.3
#1.6
Ils vendent la solution comme pouvant le faire ou bien l'interdisent dans les conditions d'usage ? Faudrait savoir.
#1.12
Le mot clef est ici "décision" (devenu "processus" dans l'article de Next) : OpenAI vend un outil pour automatiser des parties du processus mais la décision finale d'embauche ne doit pas être automatisée via GPT. En gros "on vous mâche le boulot mais vous devez vérifier et décider", histoire de se dégager de toutes responsabilités.
Comme dans la pratique il y a de fortes chances que l'utilisateur de l'outil prenne le premier candidat sans plus fouiller que ça...
#1.13
Ça, je ne le pense pas. Je pense que l'outil va être utilisé pour éliminer beaucoup de candidats avant que les quelques-un restants soient traités par des humains. L'humain choisira parmi 4 ou 5 candidats qu'ils aura reçus.
Ce qui prend du temps dans un processus de recherche de candidats, c'est de lire les CV et de voir qu'ils ne conviennent pas.
Ayant été à un poste opérationnel (où je recrutais pas mal pour des postes en régie pour une grosse équipe, je recevais beaucoup de CV où l'acheteur avait déjà fait un premier tri mais bien insuffisant.
J'étais devenu spécialiste pour rejeter très vite un CV et j'ai lu que les recruteurs faisaient de même (on parle d'un temps moyen très court pour une lecture de CV) . Par contre, je passais parfois plus de temps sur d'autres CV avant de me rendre compte qu'ils ne me convenaient pas. Je ne sais pas si une IA aurait pu m'aider ici.
Je passais aussi pas mal de temps à recevoir les candidats.
#1.4
C'est compréhensible pour tester s'il y a un biais sur ce point, mais, comme on sait qu'il y a un biais dans les GPT d'OpenAI, il est normal que le biais ressorte si c'est le seul critère qui varie, le reste du CV étant quasiment identique.
Comme tu le dis, il suffit de ne pas entrer les noms prénoms pour l'éviter en grande partie. Comme le dit l'article, il reste des biais raciaux sur d'autres éléments comme le lieu d'habitation ou les hobbies. Faut-il aussi supprimer ce genre d'informations alors qu'elles peuvent apporter des informations utiles aux recruteurs (IA ou humains) sur certains aspects des personnes, c'est plus difficile à dire. Par exemple, le lieu d'habitation peut permettre de savoir à quelle distance du lieu de travail elle habite et une sélection sur une distance limite (en fait, c'est plus le temps de transport et la fatigue liée au mode de transport qui peut jouer) peut être pertinente, mais dans ce cas, il faut bloquer l'utilisation de cette information pour d'autres choses (ou probablement plus facile : transformer la donnée en des informations non discriminantes : mode et temps de transport).
Enfin, oui, il faut utiliser un modèle spécialisé et pas généraliste pour ce genre de tâches. il restera probablement des biais liés à l'entraînement puisqu'il y a aussi des biais chez les RH humains, l'essentiel est qu'il y en ait le moins possible.
#1.7
Par contre, les infos du type nom, prénom, age, sexe, ont zéro intérêt dans le cas d'une classification automatisée de profils sur compétences. Puisque la compétence ne dépend pas de ces caractéristiques.
Ou alors il me manque une notion...
#1.5
#1.8
Il n'y a pas d'IA mais bien des biais.
#1.11
#1.9
Plutôt que de rejeter catégoriquement l'utilisation de modèles généralistes, il est important d'explorer des approches qui permettent d'optimiser ces outils pour des cas d'utilisation particuliers. La recherche continue dans le domaine de l'IA vise à rendre les modèles plus éthiques, transparents et adaptés à des applications spécifiques comme le recrutement. En adoptant une approche responsable et en mettant l'accent sur la correction des biais, il est possible d'utiliser ces technologies de manière plus pertinente et précise dans des contextes spécialisés.
#1.10
Non, ChatGPT est une implémentation d'une technologie : le Generative Pre-trained Transformer dans sa version 3.5 et 4. C'est GPT le modèle d'IA générative, pas ChatGPT. Comme toute implémentation d'une techno, il a une finalité particulière.
Saisir cette nuance permet de rapidement comprendre l'absurdité de cette étude.
Pour faire un parallèle simpliste, ChatGPT est le navigateur web (Chromium, Firefox, etc), GPT est le moteur de rendu (Gecko, Blink, etc), ou Debian/RHEL et Linux, ou encore Windows et NT.
Historique des modifications :
Posté le 13/03/2024 à 19h00
L'erreur fondamentale du raisonnement est de considérer ChatGPT comme une technologie ou un modèle d'IA.
Non, ChatGPT est une implémentation d'une technologie : le Generative Pre-trained Transformer dans sa version 3.5 et 4. C'est GPT le modèle d'IA générative, pas ChatGPT. Comme toute implémentation d'une techno, il a une finalité particulière.
Saisir cette nuance permet de rapidement comprendre l'absurdité de cette étude.
Pour faire un parallèle simpliste, ChatGPT est le navigateur web (Chromium, Firefox, etc), GPT est le moteur de rendu (Gecko, Blink, etc).
#2
#2.1
#2.2
Mais la question à laquelle tu réponds est volontairement polémique, don il me semble inutile de poursuivre sur le sujet. L'article apporte déjà la réponse que je donne : c'est dû à un biais.
#2.4
#2.3
#2.5
L'article de bloomberg est super long mais pas super explicatif.
#3
#3.1
#4
#5
Si ChatGPT a tort c'est du racisme systémique.
Si ChatGPT a raison c'est du racisme systémique.
"A strange game. The only winning move is not to play"
Joshua (1983)
#6