Intelligence artificielle, biais et stéréotypes : nous sommes dans « un cercle vicieux »
L’IA pour tous… et toutes ?
La chercheuse Magalie Ochs revient sur le danger des biais et des stéréotypes qui infusent partout dans les intelligences artificielles. Elle donne également des pistes pour casser ce « cercle vicieux ».
Les biais sont malheureusement liés aux intelligences artificielles. Elles vont les ingurgiter puis les recracher aux humains, avec des conséquences (même de manière inconsciente) sur leurs comportements. Cela va générer de nouvelles données, qui vont être utilisées pour entrainer des IA, etc. Un cercle vicieux qu’il faut briser.
Lors d’un déplacement à l’université d’Aix-Marseille, nous avons eu des présentations de plusieurs chercheurs, notamment de Magalie Ochs. Elle est informaticienne, maîtresse de conférences à Aix-Marseille Université au Laboratoire d’informatique et systèmes.
De la réalité au monde virtuel, les stéréotypes perdurent
Commentaires (24)
Abonnez-vous pour prendre part au débat
Déjà abonné ? Se connecter
Cet article est en accès libre, mais il est le fruit du travail d'une rédaction qui ne travaille que pour ses lecteurs, sur un média sans pub et sans tracker. Soutenez le journalisme tech de qualité en vous abonnant.
Accédez en illimité aux articles
Profitez d’un média expert et unique
Intégrez la communauté et prenez part aux débats
Partagez des articles premium à vos contacts
Abonnez-vousLe 12/02/2025 à 13h46
Modifié le 12/02/2025 à 13h55
Le 12/02/2025 à 14h50
Alors ensuite, on peut discuter aussi de savoir si baser sa réflexion sur de fausses informations est pertinent/bien/efficace/mal/contreproductif ...
Le 12/02/2025 à 15h19
Le 12/02/2025 à 15h27
Le 12/02/2025 à 15h57
Mais ma question c'est:
En quoi c'est la mission des IA (ou des jeux vidéos) d'éduquer les masses ?
Je préfère un moratoire pour arrêter d'utiliser les logiciels dans le but de conformer la société à une vision idéalisée (et forcément subjective).
Le 13/02/2025 à 09h24
Actuellement ils sont reconnus par la loi en France pour valider une demande de changement de sexe à l'état civil.
Le 13/02/2025 à 14h17
Modifié le 15/02/2025 à 10h25
Définition de stéréotype : Opinion toute faite réduisant les particularités. ➙ cliché, banalité, généralité, lieu commun, poncif, truisme.
https://dictionnaire.lerobert.com/definition/stereotype
Le 12/02/2025 à 16h03
Ici, on vu que les IA répétaient les stéréotypes néfastes et qu'on pouvait supprimer ceux-là donc autant le faire.
Le 12/02/2025 à 16h21
Il les cache aux yeux des utilisateurs avec l'espoir que ca finisse par modifier la société.
J'ai du mal avec l'idée du mensonge nécessaire pour le bien de l'humanité.
Le 12/02/2025 à 16h30
Et c'est plus facile de supprimer les stéréotypes dans les IA que d'empêcher qu'ils soient transmis par de vrais humains.
Donc pourquoi s'en priver ? Ça permet en plus de ne pas se priver d'une moitié des humains pouvant faire des sciences et qui s'en empêchaient sans raison valable.
Modifié le 12/02/2025 à 17h26
Disons que c'est une conviction personnelle. Je préfère savoir qu'une IA qui est neutre vis-à-vis de l'existence de stéréotype, plutôt que de me demander quelles "corrections vertueuses" elle à bien pu faire. Surtout si c'est une IA chinoise ou américaine...
Le 16/02/2025 à 11h43
Les enquêtes statistiques (souvent issues de la sociologie) utilisent des méthodes scientifiques pour rééquilibrer les données.
Ça me rappelle le gars (universitaire je crois) qui est intervenu sur France Inter face à un autre intervenant qui lui parlait de sondages.
Il s'etranglait devant les raccourcis et interprétations biaisées qui sortaient de sa bouche.
Je ne sais plus sur quel thème c'était.
Le 13/02/2025 à 11h59
Comme je suis un mec, ma femme fait la lessive, le ménage, la cuisine, je conduis très vite, je suis violent et je jure tous les 2 mots :)
De mon point de vue, les stéréotypes sont en partie fondés sur la culture et en partie sur l'expérience. Mon stéréotype du magrébin n'est pas le même que le stéréotype de celui qui vit au milieu d'une communauté magrébine.
Il y a toujours l'image du gars qui tient des propos racistes à outrance, y compris devant un copain typé, "mais lui il n'est pas pareil".
Les stéréotypes sont des caricatures, mais au demeurant, cela aide.
Le conseil de "tiens toi loin des gars en capuche" est un stéréotype, mais parfois il tombe juste.
De même, il sont assez souvent partiellement justes et permettent d'anticiper des actions et réactions. Problème: s'il n'est pas juste et qu'on agit selon le stéréotype, on frustre, on brusque.
Pourtant, utiliser les stéréotypes permet de modéliser les situations - les formations concernant la gestion de réunion, les comportements en cas de crise sont énormément basé sur des stéréotypes (le gars qui ne participe pas, celui qui sera agressif, celui qui fera diverger), et ça marche.
Alors je ne vais pas plus chercher à savoir si ça marche parce que mon comportement bien formé m'a fait coller des stéréotypes alors qu'il n'y en avait pas, par hasard ou parce que c'est plus ou moins vrai, je m'en moque.
Bref, mort aux caricatures, vive les stéréotypes.
Et en voilà un, fourni par ma moitié : "un mec quitte rarement sa femme, et ça se fait sur un coup de tête. Par contre, quand une femme quitte son mec, elle l'a préparé depuis longtemps et sa vie est déjà refaite quand elle part".
Eh bien le nombre de fois où ça s'est (bon, parfois très partiellement) vérifié vs le nombre de fois où ça n'a pas été le cas est nettement en faveur du stéréotype.
Alors que le stéréotype doive être combattu: peut-être. Mais un stéréotype est un énorme amalgame de cultures, traditions, expériences, lois, qui fait que le combat va sembler vain.
Pourtant, des stéréotypes disparus, il y en a tellement: "le bigleu = intello", "femme en pantalon = femme facile", "cheveux relevés = provocation" ...
Alors ma question est: quels sont les stéréotypes qui construisent la société et la maintiennent, et quels sont ceux qu'on veut détruire?
Exemple: la gentille maman qui aime ses enfants et ferait tout pour eux: à conserver ou à détruire car il fait beaucoup de mal à des mamans en situation difficile? Et même à des enfants devant le juge d'ailleurs?
Le 14/02/2025 à 16h49
Là, nous ne sommes pas au niveau du cerveau qui réfléchit.
Un cerveau correctement éduqué va pouvoir régler tout ça en se conformant à la société dans laquelle il vit, et c'est là finalement où se situe le problème. Certains biais sont pour moi le résultat d'une différence de fonctionnement et ne me dérange guère.
Là où je suis certain, c'est que le biais femme et science = mauvaise performance c'est un biais franchement basé sur rien, le QI des femmes et des hommes, c'est bien pareil, et de ce fait présenter des IA non porteuses de biais dans l'éducation est une bonne chose, et permettrait peut être de justement casser ce cercle vicieu auto-entretenu.
Modifié le 15/02/2025 à 12h45
Par contre, les statistiques, les probabilités, les études scientifiques sont basées sur une réalité et des hypothèses particulières pour justement ne pas passer à côté des simplifications abusives.
Tout le monde a des préjugés et biais. Ils sont indispensables pour agir. Ce n'est pas pour autant qu'on devrait valider les erreurs de jugement et les comportements inadaptés.
Modifié le 12/02/2025 à 14h01
Le 12/02/2025 à 14h49
Modifié le 13/02/2025 à 01h56
Merci Madame. Super conférence à l'AIM par ailleurs. J'ai également beaucoup aimé votre partie dans la BD sur les femmes dans le numérique ❤️
Le 14/02/2025 à 18h39
Les [femmes / hommes / français / américains / noirs / asiatiques / aborigènes - choisissez votre catégorie]
Un jeune garçon noir qui cherche des photos de médecin noir en trouvera que des caricaturales (je schématise, mais allez voir l' article paru sur le sujet dans Next Inpact à l'époque), l'empêchera peut-être de réaliser son rêve de devenir médecin.
Une femme se dira peut-être : à quoi ça sert que je fasse des maths et des études longues pour m'occuper de mon mari et mes enfants ? Et abandonnera, c'est dommage. Que dire des hommes qui sont mal à l'aise quand leur femme gagne mieux leur vie qu'eux ? Un homme pourra faire pression sur sa femme pour qu'elle se conforme à un stéréotype, ou la société fera pression pour qu'une catégorie de personnes se conforme à un stéréotype (je conseille à ce sujet un petit livre qui tombe pile dans le sujet : "Stepford Wives" de Ira Levin.
Déjà, les stéréotypes, en eux-même sont difficiles à combattre, mais mutlipliés, du fait du renforcement par l'apprentissage, cela devient presque mission impossible.
Vous souvenez-vous d'une société américaine qui avait mis en place un algorithme de sélection de CV. Elle s'est aperçue, un moment que des candidats, qui auraient été valables avaient été éliminés sur des critères ethniques ou de genre ? En fait, lors de l'apprentissage, un biais inconscient des personnes qui faisaient les sélections les faisaient préférer - je schématise - des candiats WASP. En regardant les CVs, et en faisant passer les entretiens, cela ne se voyait pas, parce que cette préférence se faisait sur des CV équivalents. L'apprentissage, peut-être moins bien fait à l'époque que ce que l'on faisait aujourd'hui, a augmenté ce biais jusqu'à transformer une préférence en règle de sélection.
Les IA n'ont pas vocation à supprimer les stéréotypes, mais si on peut les programmer pour nous aider à les combattre plutôt que de les renforcer, ce serait - AMHA - une bonne chose.
Le 16/02/2025 à 22h29
Pour autant, doit-on tuer tous les stéréotypes? N'y a t'il pas dans certains, tout comme dans les proverbes, une certaine vérité nécessaire?pPeut-on identifier les stéréotypes néfastes?
N'est-il pas risqué de tuer rapidement les stéréotypes? N'est-ce pas trop rapide pour la société?
Qui peut dire quel stéréotype quelle vision doit être abolie?
La société peut-elle se passer de stéréotypes? Surtout en ce moment où le scientifique est douteux pour beaucoup de gens.
Sans parler que si le stéréotype est la simplification probabiliste d'une situation, pourquoi exige-t'on d'un appareil oralement probabiliste comme l'IA de s'en passer? Ce n'est pas contre sa nature???
(Je précise concernant les stéreotypes: c'est pas que j'y tienne: ma femme est pure product scientifique, ma fille aussi, mon fils est en école d'infirmière :) Et je serais certainement désigné comme déconstruit - mais mieux vaut pas me le dire ou je mettrai mon poing verbal dans la gueule en défigurant au passage le propos)
Modifié le 17/02/2025 à 10h53
Un stéréotype est une idée reçue, une idée approximative qu'on peut très vite perdre avec l'expérience. Un stéréotype, c'est aussi subjectif et aléatoire que le "bon sens" ou le "pifomètre" même si l'expérience est indispensable pour connaître vraiment un domaine (encore faut-il répéter une expérience en changeant des variables).
Des choses qui n'ont rien à voir : un stéréotype (un cliché simpliste), un proverbe (un adage, une morale), la vulgarisation d'un sujet complexe (simplification pour faire comprendre).
Le 17/02/2025 à 09h22