Dans un long format interactif, Bloomberg détaille comment des machines comme Stable Diffusion aggravent les biais sociaux présents dans la société dans les images qu’elles produisent. Un problème que l'on retrouve également dans l'intelligence artificielle, comme l'expliquait déjà la CNIL en 2018.
Le sujet n’est pas neuf dans le secteur de l’intelligence artificielle : en 2018, la chercheuse Joy Buolamwini montrait par exemple des biais de genre et d’ethnicité dans les technologies courantes de reconnaissance faciale. Les biais présents dans les données et produits par les modèles d’IA sont plus largement un large sujet de travail.
- Aux États-Unis, six jours de prison pour cause de reconnaissance faciale erronée
- Des tests dévoilent les biais sexistes et racistes de ChatGPT
- Peut-on corriger les biais des algorithmes ?
Mais après analyse de 5 000 images produites par Stable Diffusion, Bloomberg démontre que des technologies de générations d’images grâce à des requêtes textuelles aggravent le problème initial. L’expérience a consisté à faire produire à Stable Diffusion des images correspondant à sept emplois considérés comme « à hauts salaires » aux États-Unis et à sept autres emplois « à bas salaires », ainsi qu’à trois catégories liées à la criminalité.
Résultat des courses : la machine avait tendance à renvoyer des visages à la peau plus claire pour les emplois les mieux payés, et à peau plus foncée pour les moins bien payés. De même, en termes de genre, avec beaucoup plus d’hommes côté professions les mieux payées, beaucoup plus de femmes dans les moins bien payées, le tout de manière beaucoup plus accrue que dans la réalité. À la demande de générer des images de médecins, la machine a par exemple produit un jeu comprenant 7 % de femmes, alors que celles-ci constituent 39 % de la profession aux États-Unis.
L’un des problèmes, explique la directrice de Black Girls Code Heather Hile au média économique, est qu’« à force de se voir ou de ne pas se voir » dans des représentations visuelles, « les gens en déduisent qu’ils ne sont peut-être pas à leur place » dans tel ou tel type d’activité.
Bloomberg a expliqué avoir choisi Stable Diffusion parce que son modèle est gratuit et transparent, contrairement à ses principaux concurrents Midjourney ou Dall-E.
Le modèle est entraîné sur LAION 5B, la plus grande banque d’images ouverte au monde - qui embarque son propre lot de biais.
Ces outils sont déjà intégrés dans des applications de communication visuelle développées par Adobe ou Canva. Ils sont, aussi, utilisés par des partis dans des communications politiques.
Commentaires (43)
#1
C’est le vieux problème de la représentation performative. Représenter la réalité renforçant cette réalité, doit-on altérer la représentation de la réalité pour modeler une société plus juste, quitte à être accusé de mentir ? Ou doit-on inconsciemment renforcer les biais de la société en la représentant telle qu’elle est actuellement…
Personnellement, je n’ai pas la réponse.
#2
J’aurais plutôt titré : Les biais humains renforcent les biais des modèles d’IA génératifs
#2.1
C’est effectivement ce que les observateurs constatent en général, mais ce que cette phrase d’accroche et l’article qui suit suggèrent de nouveau, c’est que ça va dans les deux sens, les biais de l’algorithme renforcent aussi les biais des gens qui l’utilisent…
Un vrai cercle, particulièrement vicieux, qui s’auto-renforce.
#3
L’IA n’est que la synthèse de ce qu’on lui a présentée. Je vois pas trop qui s’attend à ne pas avoir ce type de biais dans les résultats.
Je pense qu’en cherchant “médecin” sur une banque d’image en recherchant les images > 5 ans, on doit aussi avoir une large domination des représentations masculines dans les résultats, parce que bon “UN” docteur ça fait plus professionnel à côté d’“UNE” assistante.
Après, un photographe un peu malin va justement se mettre sur le créneau du shooting de médecins femmes pour avoir plus de chances d’être sélectionné sur la banque d’images puisque moins de choix.
Et dans tous les cas, on va présenter le médecin aimable et souriant, dans un environnement moderne, équipé est propre, alors que tous les pays n’ont pas ce privilège non plus, et tous les patients n’ont pas non plus le privilège d’avoir un médecin aimable.
#3.1
Cela n’est en rien une fatalité.
La construction du jeu d’apprentissage est important.
Si ce jeu d’apprentissage est uniquement basée sur ce qu’on trouve sur le Net, qui lui même est fortement non représentatif de la réalité, alors l’IA ne sera qu’une représentation des biais du Net en mode “exagération”.
C’est ce qui est souligné dans cette brève.
On a donc l’impression que dans la course aux IA génératives, peut importe le résultat, il faut que cela ait l’air un minimum crédible pour l’effet whaou.
Les problèmes de biais, de fake, de sources ? On met tout ça sous le tapis, on écrit 2 phrases pour avertir les gens des problèmes éventuels, et basta.
#4
#5
+1
Et ce qui est étrange, c’est de voir régulièrement les IA s’enfoncer dans ces biais, être accusées de ne pas être impartiales, alors qu’au final, je vois ça un peu comme une simulation accélérée de l’humain moyen. J4ai toujours l’impression que l’IA fait un peu “comme nous”, mais au lieu de nous remettre en question, on se dit que c’est l’IA qui a un problème.
#5.1
L’IA devrait être en mesure de hiérarchiser l’information et de la classer, comme le font les humains. Or, l’IA se comporte comme un internaute qui commente en quelques instants sous une publication (qu’il a lue en quelques secondes) et qui swipe sur une autre sans prendre la mesure de la qualité de l’information qu’il lit.
#6
C’est surtout par rapport à la banque d’images qu’il aurait fallut comparer.
Là ça ne sert à rien, on ne sait pas si le biais vient uniquement de la banque d’images ou si l’IA en rajoute une couche…
#7
La profession de médecin edt plutôt féminisée mais l’IA présente quasi exclusivement des hommes. C’est pas vraiment factuel comme représentation de la profession.
#8
Concrètement, le problème, ce n’est pas l’IA ni la composition de la profession, mais la composition des banques d’images. Si, pour reprendre l’exemple du médecin, 90% des photos utilisées pour l’entraînement sont des photos d’hommes, l’IA aura tendance à privilégier les caractères masculins en représentant un médecin.
Les commentaires avant le tien ont très bien explicité cette problématique.
#8.1
Et donc c’est normal ?!
L’IA prend arbitrairement des données sans aucune forme de traitement de l’information et fait comme si tout se valait. Or c’est faux.
#9
Je cite M. Bernard Tricot qui en 1978, posa les bases de la loi informatique et libertés :
L’ordinateur est réputé infaillible. C’est faire bon marché des déductions inexactes, tendancieuses, moralement et juridiquement critiquables, qui peuvent entacher les données et devant lesquelles il n’aura aucune capacité d’étonnement !
#10
Si l’information était “traitée” en amont, ca poserait d’autres soucis :
Ici on compte sur la loi des grands nombres, je pense.
#10.1
Grâce à la loi des grands nombres, le machine learning déraille beaucoup plus vite qu’un humain
(surtout si son apprentissage est continu)
#11
Prenons un dataset fortement biaisé de l’autre côté (genre au hasard, la production audiovisuelle moderne, blindée de discrimination positive) et faisons de l’adverse sur l’output du premier avec le deuxieme
#12
Il est très difficile de détecter tous les biais. Exemple: si tu fait ingurgiter à une IA des dossiers de patients malades uniquement, elle risque de trouver des maladies aux patients sains, puisque pour elle tout le monde est malade.
Concernant les biais, on va en trouver encore un moment, car les IA sont essentiellement portées par les US, donc on aura toujours des biais US, mêlés au biais des personnes qui font ingurgiter les jeux de données aux IA (Indiens? Kenyans? Malgaches?)
Si on veut une IA sans biais, il va falloir une IA par pays déjà, pour refléter les habitudes et réalités du pays. Voire plus bas si on veut traiter des habitudes plus locales.
C’est le problème d’utiliser des IA telles que ChatGPT “as-is”, au lieu de prendre une IA sur hugging face et de la réentraîner avec ses propres jeux de données.
Utilisée comme actuellement on en prend le chemin, l’IA est un vecteur de conformisation à des modèles tout fait, une convergence des pratiques et des goûts.
A voir si cela reste rentable dans le temps (peut-on indéfiniment voir des films créés sur la même structure sans perdre en inpact? Peut-on construire tous les 10⁄20 ans des succès musicaux toujours sur le même rythme? Générer en boucle un contenu “convenu” suffit-il réellement du moment que la pub le vend bien?)
J’aime bien observer, car l’IA je trouve a tendance à exagérer nos tendances et comportements moyens habituels, et se retrouve critiquée pour des côtés parfois très humains (un médecin spécialiste qui voit surtout des gens malades ne finit-il pas par toujours détecter des maladies même chez des gens plutôt sains?)
Perso, l’émergence de l’IA me rend plutôt humble: je trouve que nous sommes des machines, qu’on ne raisonne pas tant que cela et que l’instinct/l’expérience parle suffisamment souvent pour que l’IA nous dépasse statistiquement rapidement.
#12.1
c’est quoi, “normal” ?
#12.2
Normal, c’est la norme, c’est ce qui s’applique généralement. Par exemple, boire du café au petit déjeuner, c’est normal en France.
#12.3
L’article dit que l’IA renforce les préjugés et tu semble me dire, comme d’autres commentaires que c’est normal. Moi, si j’ai un couteau qui ne coupe pas, ce n’est pas normal. Mais peut-être que c’est normal, ça peut servir de coupe-papier.
#13
Un point important est tout de même que, quel que soit le biais initial du modèle, n’importe qui a le pouvoir de le compenser explicitement. Il suffit de taper “femme racisée très bien payée” et on aura une image correspondante. À ce titre, les modèles d’IA génératifs seraient plutôt utiles pour lutter contre les biais de la société.
#14
Quand je demande à Stable Diffusion une photo d’un autocrate russe, il a un gros biais sur Poutine.
Comme dit brillamment au dessus, un problème de représentativité des jeux de données.
Peut-être qu’une réponse est l’éducation, que les gens (dont moi) intègrent dans leur esprits les limites de ces outils, qu’ils ne sont pas conçus pour fournir la Vérité.
#15
Ce que j’ai compris, c’est que les modèles d’IA génératifs ont les mêmes biais que les humains. Ce qui semblait prévisible si on considère que la base d’apprentissage reflétais déjà ce biais.
#15.1
L’étude semble indiquer qu’il y a une sorte d’effet Larsen. IA basé sur/biaisé par l’humain, l’humain basé sur/biaisé par l’IA, bis repetita
Ici, il est remarqué qu’une personne pourrait être influencée de ses choix, de ses actes, de son orientation sociale/politique face aux propositions, aux suggestions biaisées qu’un IA pourrait produire. En d’autres mots, cette personne pourrait se sentir cloîtrée à un panel de choix limitatif ou être amené à subir un conformisme involontaire.
A mon humble avis, c’est déjà le cas dans la “vraie vie”. La société impacte déjà nos choix individuels par conformisme ou dissidence. Notre status social induit souvent la vision de notre potentiel avenir.
Mais la question, qui me semble être posée ici, est de savoir si l’IA ne pourrait pas être un générateur plus intense de cette forme d’ “auto-persuasion”.
#16
Sauf que ces IA génératives génèrent des sorties de mots / pixels selon des règles statistiques. À aucun moment elles sont capables de classer rigoureusement de telles informations. D’ailleurs les humains n’en sont pas capables non plus : combien d’humains connaissent la proportion de femmes médecins aux États-Unis ? Pour quelle période temporelle ce chiffre est-il valable ? Ensuite, quelle est la part des personnes de chaque ethnie dans cette profession ? La part de personnes handicapées ? Pour quels types de handicaps) Quelle est la taille moyenne de ces personne ? Leur corpulence ? (oui parce que afficher trop souvent des médecins trop petits/grands ou trop minces/gros ça serait aussi un biais de représentativité).
Si les humains ne savent pas le faire (ne serait-ce que déterminer l’ensemble des paramètres de représentativité), l’algo n’en sera pas capable non plus. Je ne pense donc pas que ces outils devraient être en mesure de faire un truc impossible. Ou alors, à ce compte-là, les voitures ne devraient jamais causer d’accidents, les ordinateurs ne devraient jamais planter, et les ouvertures faciles devraient s’ouvrir facilement.
Il ne faut pas attendre de la machine un raisonnement supérieur à celui de l’être humain, surtout pour un algo aussi “simple” que générer un pixel ou un mot selon des statistiques. Et je crois toujours que le terme IA n’est pas ici approprié : ce n’est pas de l’intelligence dont on parle ici, et les capacités de la machine, issu de jeux de données humains, sont tout sauf artificiels. Pour moi le problème est toujours entre l’écran machine et le clavier : les modèles génératifs, c’est sympa, ça fait des output impressionnants, mais ça n’est QUE ce c’est : des générateurs statistiques entrainés sur des modèles. Si tu veux des résultats moins biaisés, il faudra se pencher sur les données d’entrées. Si tu veux avoir une chance de représenter la “bonne” proportion de femmes médecins aux US, il va falloir que tes images de médecins représentent des femmes dans 39% des cas. Reste plus qu’à identifier 100% des autres biais et faire pareil. Et pour tous les pays et cultures du monde.
Bref, selon moi c’est absolument impossible, et ces renforcement de biais sont intrinsèquement liés au fonctionnement de ces algos. Si on trouve que c’est trop problématique, mieux vaut ne pas les utiliser (cf la news sur l’interdiction de ces modèles pour les articles scientifiques dans certaines revues)
#17
Elle le fait en partie, certainement sur les mêmes méthodologies que les classement SEO, mais c’est largement insuffisant.
Dans le cadre d’une image sur un médecin, il faudrait qu’elle aille d’abord regarder les stats disponibles sur la typologie des médecins (taux d’hommes, femmes, éthnie, taille, poids…), puis identifier les caractéristiques associées au métier de médecin (blouse, masque, stéthoscope…), puis utilise sa connaissance acquise via les banques d’images pour construire la sienne (à quoi ressemble un caucasien, un homme, une blouse, un stéthoscope).
Mais évidemment ça coûte beaucoup plus (en performances comme en coût de développement) donc on prend les raccourcis en s’attaquant uniquement à la bande d’image pour répondre à la question “à quoi ressemble un médecin”.
#18
Il me semble que Fast and Furious a un grand nombre d’épisodes.
Oui, à une fréquence beaucoup plus rapide que ce que tu indiques.
De nombreux créateurs de musiques à paroles se sont contentés de changer seulement les paroles, ça fonctionne à merveille.
#19
Juste par curiosité sincère, as-tu un exemple de ce type de créateurs ? J’aimerais me faire un avis sur la perception que j’aurai face à une expérience aussi fantasque.
#19.1
J’ai dit “de nombreux” seulement pour éviter de généraliser à tous.
#19.2
Ce n’était pas une critique de ce que tu as dis. Je ne mets pas en doute tes paroles. Mais j’ai vraiment de la curiosité pour ce fait. Le pourquoi de ma demande précédente. J’aurai vraiment voulu me faire une opinion sur un créateur qui arriverait à faire ça.
#19.3
J’aurais vraiment du mal à en proposer un plutôt qu’un autre.
#20
Comme le note Carbier, l’IA génère une représentation de nos représentations (au final, en exagérant un peu, le Web n’est le support que d’une seule activité humaine: la communication). Sur une liste de biais principalement visuels types (couleur de peau, sexe apparant), il m’apparaît relativement simple techniquement de totalement débiaiser. Dans les banques de données taguées humainement ou par un autre modèle, j’imagine que sexe et couleur de peau sont des attributs systématiquement renseignés ou renseignables. Du coup ou pourrait “forcer” Le générateur à produire des images 51%/49% femme /homme ou en proportion des couleurs de peaux mondiale tant que le prompt de l’utilisateur ne les specifie pas. La seule chose à modifier serait l’interpretateur de prompt utilisateur, relativement simple à faire sur quelques biais de base.
C’est un choix technique à faire (voire législatif demain pour les plateformes B2C ?) et donc c’est politique.
Je ne dis pas qu’il faut le faire (dessine moi un pygmé-> voici un indien avec une lance et une toje). C’est assez utile par exemple pour prendre conscience de nos biais de représentation, qui pour la quasi totalité nous restent inaccessibles.
#21
D’après l’article c’est 39%. Donc plutôt pas trop.
#22
Bientôt nous observerons tous la réalité au travers du prisme de 2-3 modèles de langages, tous entraînés de façon similaire, sur ± les mêmes corpus.
Perspective intéressante que de devenir des Borgs.
À moins que comme YouTube, les prompts ne soient adaptés à chaque usager pour augmenter son temps de rétention ? Il y a du potentiel.
#23
Ca dépend justement des modèles utilisés.
Ceux qui sont fait pour des rendus type animé, sans rien préciser ils vont générer un personnage féminin (type lolicon qui m’insupporte personnellement). Tout comme il y a beaucoup de modèles d’origine chinoise (qui ont des rendus magnifiques) qui génèrent immédiatement des personnages asiatiques (et féminin par défaut).
Dans les travaux où j’en ai eu besoin, j’ai du spécifier quasi systématiquement quand j’avais besoin d’un personnage masculin. Et comme les modèles d’origine asiatique génèrent des personnages de cette origine ethnique, bah je précise celle que je souhaite avoir.
Une des choses qu’il ne faut pas oublier avec les outils basés IA, c’est que leur utilisation s’apprend. Ils ne sont pas autonomes, ce sont des assistants et il faut les guider pour obtenir le résultat espéré. Et leur base de connaissance, aussi complète soit-elle, reste une base. Les modèles étant biaisés par leur jeu d’entraînement (ce qui pour moi n’est pas péjoratif), l’information importante à savoir est qu’on peut l’enrichir avec les LoRAs.
Les LoRAs (Low-Rank Adaptation) sont des modèles complémentaires spécialisés pour un besoin précis et donc entraînés pour ça. Ils sont plus légers et manipulables que les checkpoints qui constituent les modèles de base. Ils ne peuvent pas être utilisés de manière autonome, seulement conjointement avec un checkpoint. Donc si le modèle utilisé produit un résultat qui ne vous paraît pas adapté, il suffit d’utiliser un LoRA ou de revoir son prompt pour l’adapter.
#24
En tout cas, sur NXI, les personnages “random” dans les illustrations de Flock ou d’image stock sont souvent des hommes.
#25
Et puis du moment que çà se vend…. kastanafout’ :)
Comme disait ma prof, tu as un pigeon qui se lève tous les jours, à toi de le trouver.
(Je vais vendre des roulettes de PC à 500 boules pour la peine)
C’était juste un exemple… patapé
#26
Mince l’IA montre la réalité du monde !
Il faut vite la.e déconstruire.
#27
Ils disent que non justement…
#28
je ne dis pas, au même titre que les autres commentaires, que c’est “normal”, je dis que c’est largement prévisible au vu des données utilisées pour entraîner les IA, et de la manière dont elles fonctionnent. Si tu as du mal à le comprendre, je pense que la plupart des commentaires sur cette brève expliquent très bien pourquoi.
Le grand danger avec les IA, c’est la tendance à les prendre pour des sortes d’oracles omniscients qui seraient, parce-qu’artificielles, à l’abri de nos préjugés humains. On n’en est pas là. En fait, je ne sais même pas s’il serait souhaitable d’en arriver là, parce-que pour le coup, on aurait peut-être une IA vraiment… intelligente !
Si l’IA “renforce les préjugés”, ce n’est pas à cause de l’IA mais à cause d’un manque de compréhension de son fonctionnement. Manque de compréhension en partie causé par l’enfumage des grandes entreprises du secteur qui veulent vendre leur outil comme la solution à tous les problèmes, par l’emballement médiatique et politique autour de ces sujets, etc.
Edit: Un peu de lecture pour montrer que le sujet n’est pas vraiment tout neuf.
#29
Ta question m’a rappelé mes cours de communication dans mon parcours initial orienté commerce. Chaque fois qu’un élève disait “une personne normale” dans une étude de cas, la prof demandait : “c’est quoi normal ?”.
Histoire de nous apprendre que la “normalité” n’a pas de consistence en tant que tel et s’avère n’être qu’un biais subjectif. En prendre conscience apprend à voir les choses autrement et avoir du recul n’empêche.
#29.1
c’est toujours bien de revenir aux bases
#30
J’adore ce genre d’article :
l’IA n’est pas “plus intelligente” qu’un humain, elle est juste “plus rapide” ; ne pas confondre.