Des tests dévoilent les biais sexistes et racistes de ChatGPT

Des tests dévoilent les biais sexistes et racistes de ChatGPT

Des tests dévoilent les biais sexistes et racistes de ChatGPT

Plusieurs tests ont été menés sur ChatGPT dans les semaines passées pour observer quels résultats le robot produisait sur des textes concernant des personnes, en fonction de leur genre, de leurs origines ethniques, de leur orientation sexuelle…

Malgré les filtres qui ont été inscrits dans la machine pour éviter, entre autres, les injures directement sexistes, racistes ou autres, les résultats obtenus par la start-up Textio (spécialisée dans la détection de biais algorithmiques) sur des questions d’emploi ou d'émotion démontrent que les données d’entraînement du modèle sont largement biaisées.

Dans le premier cas, l’exercice a consisté à faire écrire à ChatGPT des annonces d’emploi et des retours sur la performance pour des employés imaginaires. Il a généralement suffi de choisir un intitulé de métier (mécanicien, réceptionniste, ingénieur, etc) pour que la machine y accole un présupposé de genre (les tests ont été menés en anglais, qui est une langue neutre : aucune indication de genre n’est comprise dans l’intitulé de l’emploi).

Par ailleurs, la machine n’écrit pas ses retours de la même manière selon le genre supposé : les textes produits sont toujours plus longs pour les femmes que les hommes. Certaines caractéristiques sont aussi quasiment réservées aux femmes (collaborative, pétillante), d’autres, plus directement liées aux compétences, aux hommes (analytique, fort).

Bien sûr, ces biais ne viennent pas de nulle part : Textio a aussi publié une étude sur les biais humains présents dans les analyses de performances, et celle-ci révèle des schémas récurrents de discrimination dans le vocabulaire utilisé.

La fondatrice de Textio a d’ailleurs réalisé un autre test, demandant à la machine de produire des poèmes pour la Saint-Valentin, et rebelote : aux femmes les mentions d’attraits personnels (gracieuse, aimable, gentille), aux hommes la performance (volontaire, ambitieux). Sur les questions raciales, le robot associe de façon quasi mécanique le terme « épicé » aux personnes hispaniques, tandis qu’il considère les personnes queers beaucoup plus « funky » et « colorées » que n’importe quel autre profil.

Commentaires (86)


Et bien …. Si dire qu’une femme est pétillante et gentille, qu’une homme est fort et analytique est sexiste, le curseur est placé bien bas. Qu’est-ce que se sera si ça monte dans les tours ?


Est-ce qu’on dit souvent qu’un homme est pétillant et gentil, ou qu’une femme est forte et analytique ?



“les données d’entraînement du modèle sont largement biaisées” dit l’article : bah oui, les générateurs de baratin ne proposent qu’une synthèse de ce que l’on peut trouver sur Internet, lequel n’est qu’un reflet (aggravé) de notre société…



kalou75 a dit:


Et bien …. Si dire qu’une femme est pétillante et gentille, qu’une homme est fort et analytique est sexiste, le curseur est placé bien bas. Qu’est-ce que se sera si ça monte dans les tours ?




Le problème n’est pas celui la: à aucun moment ChatGPT n’a attribué le qualificatif “forte et analytique” à une femme.



Après rien de tout cela n’est étonnant: ChatGPT n’est qu’un machine à reproduire ce qui se trouve sur le net … et dans la vraie vie.



Edit: grillé.


J’ai un peu de mal à voir les supposés biais dans les exemples ci-dessus.
On à juste un emploi d’adjectifs différents selon le genre, chose qui se pratique dans la vie de tous les jours et dont je ne vois pas le problème. (Je n’ai jamais entendu parler d’un homme pétillant par exemple…)



Bon peut-être a part les hispaniques épicés, en français c’est moyen moyen :ooo:



Edit : damn grilled aussi


Les biais liés aux IA sont la plupart du temps liés aux jeux de données sur lesquels ils ont appris qui étaient eux aussi biaisés.



Les exemples de la brève ne te choquent pas parce que tu baignes déjà dans de tels biais.



En soi, ce n’est pas une surprise que chatGPT ressorte des biais que l’on retrouve sur le web, elle a été entraînée avec des données qui en viennent et ces données n’ont pas été filtrées en entrée vu la quantité énorme qu’elle représentent.



Plus globalement, chatGPT ressort beaucoup de conneries, y compris dans les poèmes pour la Saint Valentin.


Bravo, tu viens de découvrir le sexisme. Comme si un garçon ne pouvait pas être complimenté d’aimable et une femme complimentée d’ambitieuse.



Raikiwi a dit:


J’ai un peu de mal à voir les supposés biais dans les exemples ci-dessus. On à juste un emploi d’adjectifs différents selon le genre, chose qui se pratique dans la vie de tous les jours et dont je ne vois pas le problème. (Je n’ai jamais entendu parler d’un homme pétillant par exemple…)



Bon peut-être a part les hispaniques épicés, en français c’est moyen moyen :ooo:




C’est justement parceque tu ne vois pas le problème que ChatGPT est biaisé.



C’est justement parcequ’une femme est vue principalement par ses attributs physiques dans la vie de tous les jours que ChatGPT ne fait que reproduire cela. Or explique moi pourquoi cela devrait-être le cas ?
Pourquoi qu’on tu parles d’une femme, tu ne pourrais pas mettre en avant ses capacités analytiques, son intelligence ou tout autre attribut qui serait “plutôt masculin” ?



Si ChatGPT n’était pas biaisé, il n’aurait aucun problème à qualifier un homme de pétillant: il n’aurait aucun a priori.


Et dire qu’on pourrait s’éviter tous ces articles “surprised pikachu” en faisant suivre un cours d’introduction aux chaînes de Markov à tout le monde à la place…


Houlà doucement les amis, je me suis peut-être mal exprimé.



Ce que je veux dire c’est que pour un même attribut, je ne vois pas de problème à employer un terme diffèrent selon le sexe.


Je refais le même commentaire que précédemment.


Wow.



C’est étonnant.



L’IA contiendrait des biais causés par son apprentissage reflétant les biais culturels de la société ?



Je suis sur le cul.


“Certaines caractéristiques sont aussi quasiment réservées femmes (collaborative, pétillante), d’autres, plus directement liées aux compétences, aux hommes (analytique, fort).”
“[…] aux femmes les mentions d’attraits personnels (gracieuse, aimable, gentille), aux hommes la performance (volontaire, ambitieux)”



Ok en relisant je comprend le problème, j’avais lu l’article de façon biaisé moi aussi


Soit ce sont les données d’entrainement qui l’amène à ces biais, soit c’est l’ago qui ne fait rien pour que l’IA n’est pas ces biais … qu’ils rajoutent des filtres ou qu’ils éduquent eux mêmes leur IA. C’est pas le rôle des parents concepteurs ça ? :D


Ils galèrent déjà assez comme ça pour garantir que leur enfant soit ni nazi, ni giga raciste et complotiste… Chaque chose en son temps 😅



(reply:2120278:Jonathan Livingston)
Tout a fait d’accord. ChatGPT doit avoir l’air “naturel” dans ses réponses, logique qu’il répond comme la majorité des humains.
Donc pourquoi être offusqué par les réponses ?
Qu’est-ce que ça aurait été si les termes avaient été inversés par rapport aux sexes ? Aurait-il été aussi traité de raciste et sexiste ? Ou de progressiste ?
Là on a l’impression que “gentille” deviendrait presque une insulte.
(A noter que mon épouse, sud-américaine, ayant passé les 23 de sa vie là bas, n’est pas du tout choquée par “épicé”…).



Pour le coup j’était parti dans le même sens que toi, mais ce n’est pas tout à fait ce que veux dire l’article.



En gros l’article dénonce le fait que pour un même poste par exemple :
Une femme sera décrite par ses attributs émotionnels
Un homme sera décrit par ses attributs de compétences



Pour le coup de l’épicé, c’est juste qu’avec les IA il faut mettre son cerveau “en anglais” (Spicy est utilisé différemment chez les anglophones), en français on dit rarement d’une personnes qu’elle est épicé


J’ai presque envie de dire que c’est rassurant sur l’IA. Les biais sexistes ou leur absence sont un choix politique et culturel. Il y a des civilisations pour lesquelles les différences homme / femme sont des fondements culturels. Pour les civilisations occidentales, on a initié un lent mouvement pour en sortir mais il reste encore énormément de traces de plusieurs siècles d’histoire, et ça prendra encore plusieurs générations, s’il n’y a pas de retour en arrière d’ici là.



Je trouve rassurant que l’IA ne soit pas en mesure à elle seule de faire des choix politiques, et qu’elle reflète les choix politiques de ses concepteurs. Il faut simplement avoir conscience de ces biais, de la même manière qu’il est important selon moi de connaître le positionnement idéologique d’un média, d’un auteur ou d’un influencer qu’on lit.



Ce serait plus flippant si toutes les IA convergeaient vers une même solution à des questions fondamentalement idéologiques pour lesquelles il n’y a pas de réponse scientifique et objective.



kalou75 a dit:


(A noter que mon épouse, sud-américaine, ayant passé les 23 de sa vie là bas, n’est pas du tout choquée par “épicé”…).




Tant mieux pour elle, mais ça n’est peut-être pas le cas de tout le monde.


On devine qui a écrit la news. Par contre pas de news sur les autres biais de chatGTP : https://twitter.com/search?q=chatgpt%20bias&src=typed_query&f=top
J’imagine car ça ne va pas dans le sens de votre agenda. :ouioui:


C’est moi qui ai écrit ce Brief. Un autre article, plus complet, arrive sur les dérives de Bing. Bien sûr, rien de tout cela ne te convaincra qu’il ne s’agit pas d’un immense complot, mais nous tenons à ce que notre “agenda” (horrible anglicisme) reste secret.


Vincent_H

C’est moi qui ai écrit ce Brief. Un autre article, plus complet, arrive sur les dérives de Bing. Bien sûr, rien de tout cela ne te convaincra qu’il ne s’agit pas d’un immense complot, mais nous tenons à ce que notre “agenda” (horrible anglicisme) reste secret.


Si tu veux être bien français, tu peux employer le terme “programme” mis en avant par l’académie française pour agenda.



cf. https://www.academie-francaise.fr/agenda-au-sens-de-programme


Pinailleur

Si tu veux être bien français, tu peux employer le terme “programme” mis en avant par l’académie française pour agenda.



cf. https://www.academie-francaise.fr/agenda-au-sens-de-programme


Ah voui je sais, c’est pour ça que je le signalais :D


Vincent_H

C’est moi qui ai écrit ce Brief. Un autre article, plus complet, arrive sur les dérives de Bing. Bien sûr, rien de tout cela ne te convaincra qu’il ne s’agit pas d’un immense complot, mais nous tenons à ce que notre “agenda” (horrible anglicisme) reste secret.


J’avais une chance sur deux. :D
Sinon à chaque fois tu ressors le mot “complot” alors que je ne l’utilise jamais. Je dis que vous êtes biaisé et que ça se voit de plus en plus : Toujours pas de news sur DAN ou sur les biais de chatGTP (d’où DAN), plus loin rien sur les “Twitter files” (pas tous les jours qu’une entreprise tech ouvre ses archives), etc.
Mais merci pour la source , ça va me faire la journée.




Textio has developed the world’s most advanced workplace language guidance, so you can see where social bias is hiding—and know exactly how to fix it. Now available for both recruiting and performance management!




WTF.
Force à ceux qui doivent se coltiner ça dans les grands groupes.


Hugues1337

J’avais une chance sur deux. :D
Sinon à chaque fois tu ressors le mot “complot” alors que je ne l’utilise jamais. Je dis que vous êtes biaisé et que ça se voit de plus en plus : Toujours pas de news sur DAN ou sur les biais de chatGTP (d’où DAN), plus loin rien sur les “Twitter files” (pas tous les jours qu’une entreprise tech ouvre ses archives), etc.
Mais merci pour la source , ça va me faire la journée.




Textio has developed the world’s most advanced workplace language guidance, so you can see where social bias is hiding—and know exactly how to fix it. Now available for both recruiting and performance management!




WTF.
Force à ceux qui doivent se coltiner ça dans les grands groupes.


Tu parles d’agenda, au sens ligne de conduite secrète, c’est un gros relent complotiste oui :)



Quant au reste, je ne saurais même pas par où commencer. Depuis presque 20 ans qu’on existe, on a toujours eu une dimension “alter”. Selon l’actualité, ça se voit plus ou moins. Mais ça n’a rien d’une nouveauté, c’est apprécié par bon nombre de lecteurs, et c’est un retour positif qu’on nous fait fréquemment quand on les rencontre. Encore une fois, je suis désolé si cette ligne ne te convient pas. Si tu en es gêné, le mieux à faire est encore de ne plus venir, parce que nous n’avons pas prévu de changer.


Vincent_H

Tu parles d’agenda, au sens ligne de conduite secrète, c’est un gros relent complotiste oui :)



Quant au reste, je ne saurais même pas par où commencer. Depuis presque 20 ans qu’on existe, on a toujours eu une dimension “alter”. Selon l’actualité, ça se voit plus ou moins. Mais ça n’a rien d’une nouveauté, c’est apprécié par bon nombre de lecteurs, et c’est un retour positif qu’on nous fait fréquemment quand on les rencontre. Encore une fois, je suis désolé si cette ligne ne te convient pas. Si tu en es gêné, le mieux à faire est encore de ne plus venir, parce que nous n’avons pas prévu de changer.


J’ai payé jusqu’à septembre 2023. Possible de se faire rembourser le reste ? :D


Hugues1337

J’ai payé jusqu’à septembre 2023. Possible de se faire rembourser le reste ? :D


J’aurais aimé te dire que l’abonnement est assorti d’une clause “Satisfait ou remboursé”, mais non :D


Vincent_H

C’est moi qui ai écrit ce Brief. Un autre article, plus complet, arrive sur les dérives de Bing. Bien sûr, rien de tout cela ne te convaincra qu’il ne s’agit pas d’un immense complot, mais nous tenons à ce que notre “agenda” (horrible anglicisme) reste secret.


J’ai l’impression que tout le monde cherche la petite bête pour le sport de chercher la petite bête.




  1. Je ne vois vraiment pas pourquoi tout le monde est surpris par des biais représentatifs des données d’entraînement. S’il y a une chose à en tirer, c’est que les LLMs mettent en lumière les biais qui existent dans les gros corpus de textes (livre, pages web, etc), ce qui n’est pas surprenant mais en fait une méthode de confirmation de plus. J’ai du mal à comprendre la critique. C’est un peu comme râler que si tu mets du gingembre dans un plat, après, ben ça a un goût de gingembre… surprised pikachu



  2. Je comprends encore moins les gens qui s’excitent sur les dérapages provoqués. N’importe qui peut dessiner un bite avec paint, je ne vois pas en quoi ça en fait une faute inacceptable des devs de paint. Là, c’est pareil. On a des modèles entraînés à compléter du texte qui ont mémorisé entre autre des milliers de forums ou des nerds s’insultent sur des pages. Pourquoi on serait surpris qu’il reproduise ce genre de textes quand on le pousse dans cette direction ? Je suis plutôt surpris que ChatGPT/Bing n’écrivent pas en majuscule à un moment. N’importe quel modèle génératif peut être attaqué pour lui faire sortir ce qu’on veut. J’attends de voir des trucs vraiment intéressants comme des 1 character attacks (tu changes une lettre apparemment anodine et tu obtiens une réponse radicalement différente - là ça en dirait plus sur la régularité du modèle). En attendant, tout ça est aussi intéressant que les reaction videos sur youtube : intérêt nul à regarder, me vaut soit même jouer avec, c’est plus fun.




(long time no see, btw :smack: )


lorinc

J’ai l’impression que tout le monde cherche la petite bête pour le sport de chercher la petite bête.




  1. Je ne vois vraiment pas pourquoi tout le monde est surpris par des biais représentatifs des données d’entraînement. S’il y a une chose à en tirer, c’est que les LLMs mettent en lumière les biais qui existent dans les gros corpus de textes (livre, pages web, etc), ce qui n’est pas surprenant mais en fait une méthode de confirmation de plus. J’ai du mal à comprendre la critique. C’est un peu comme râler que si tu mets du gingembre dans un plat, après, ben ça a un goût de gingembre… surprised pikachu



  2. Je comprends encore moins les gens qui s’excitent sur les dérapages provoqués. N’importe qui peut dessiner un bite avec paint, je ne vois pas en quoi ça en fait une faute inacceptable des devs de paint. Là, c’est pareil. On a des modèles entraînés à compléter du texte qui ont mémorisé entre autre des milliers de forums ou des nerds s’insultent sur des pages. Pourquoi on serait surpris qu’il reproduise ce genre de textes quand on le pousse dans cette direction ? Je suis plutôt surpris que ChatGPT/Bing n’écrivent pas en majuscule à un moment. N’importe quel modèle génératif peut être attaqué pour lui faire sortir ce qu’on veut. J’attends de voir des trucs vraiment intéressants comme des 1 character attacks (tu changes une lettre apparemment anodine et tu obtiens une réponse radicalement différente - là ça en dirait plus sur la régularité du modèle). En attendant, tout ça est aussi intéressant que les reaction videos sur youtube : intérêt nul à regarder, me vaut soit même jouer avec, c’est plus fun.




(long time no see, btw :smack: )


Sapristi ! Voilà un nom surgi du passé :smack:


lorinc

J’ai l’impression que tout le monde cherche la petite bête pour le sport de chercher la petite bête.




  1. Je ne vois vraiment pas pourquoi tout le monde est surpris par des biais représentatifs des données d’entraînement. S’il y a une chose à en tirer, c’est que les LLMs mettent en lumière les biais qui existent dans les gros corpus de textes (livre, pages web, etc), ce qui n’est pas surprenant mais en fait une méthode de confirmation de plus. J’ai du mal à comprendre la critique. C’est un peu comme râler que si tu mets du gingembre dans un plat, après, ben ça a un goût de gingembre… surprised pikachu



  2. Je comprends encore moins les gens qui s’excitent sur les dérapages provoqués. N’importe qui peut dessiner un bite avec paint, je ne vois pas en quoi ça en fait une faute inacceptable des devs de paint. Là, c’est pareil. On a des modèles entraînés à compléter du texte qui ont mémorisé entre autre des milliers de forums ou des nerds s’insultent sur des pages. Pourquoi on serait surpris qu’il reproduise ce genre de textes quand on le pousse dans cette direction ? Je suis plutôt surpris que ChatGPT/Bing n’écrivent pas en majuscule à un moment. N’importe quel modèle génératif peut être attaqué pour lui faire sortir ce qu’on veut. J’attends de voir des trucs vraiment intéressants comme des 1 character attacks (tu changes une lettre apparemment anodine et tu obtiens une réponse radicalement différente - là ça en dirait plus sur la régularité du modèle). En attendant, tout ça est aussi intéressant que les reaction videos sur youtube : intérêt nul à regarder, me vaut soit même jouer avec, c’est plus fun.




(long time no see, btw :smack: )


ChatGPT et autre vont bientôt être présent dans beaucoup d’aspect de nos vies (moteur de recherche, éditeur de code, client mail, word, …). Donc si ça à des aspects racistes ou sexistes c’est tout de même problématique. Le jour ou une partie de la presse sportive sera écrite par des IA, ce serait un peu problématique si un texte sur deux, il décrivait les joueurs africains comme “épicés” et les blancs comme intelligents.



Y’a d’ailleurs un débat dans le journalisme sportif francais sur le fait que les joueurs noirs soient souvent qualifié de physique, les blancs d’intelligent et les arabes de dribleurs.



Surtout que les IA ont une portée internationale et pas seulement occidental. Un journal africain a pas forcément envie que la moitié de ces textes soient écrits de la façon d’un raciste occidental.



Et contrairement à ce que beaucoup dans les commentaires pensent, personne ne découvre les biais de chatGPT dans cette news. Mais faire des études dessus permet de le relever pour mieux les corriger.


aureus

ChatGPT et autre vont bientôt être présent dans beaucoup d’aspect de nos vies (moteur de recherche, éditeur de code, client mail, word, …). Donc si ça à des aspects racistes ou sexistes c’est tout de même problématique. Le jour ou une partie de la presse sportive sera écrite par des IA, ce serait un peu problématique si un texte sur deux, il décrivait les joueurs africains comme “épicés” et les blancs comme intelligents.



Y’a d’ailleurs un débat dans le journalisme sportif francais sur le fait que les joueurs noirs soient souvent qualifié de physique, les blancs d’intelligent et les arabes de dribleurs.



Surtout que les IA ont une portée internationale et pas seulement occidental. Un journal africain a pas forcément envie que la moitié de ces textes soient écrits de la façon d’un raciste occidental.



Et contrairement à ce que beaucoup dans les commentaires pensent, personne ne découvre les biais de chatGPT dans cette news. Mais faire des études dessus permet de le relever pour mieux les corriger.


Pour moi c’est déjà devenu un outil indispensable en fait. J’ai déjà dit à mes doctorants que je ne relisais plus leurs drafts s’ils n’étaient pas ré-écrits dans un anglais impeccable par ChatGPT avant…



Mais comme tout outil puissant, il faut faire attention à garder le contrôle. Les tronçonneuses sont en vente libre et on observe dans les 300 accidents par an. La principale différence c’est que quand tu vois une tronçonneuse en action, tu captes tout de suite que c’est dangereux ! Plus j’y réfléchis et plus je pense qu’il va falloir mettre un cours d’intro au machine learning au lycée pour que la majorité soit sensibilisés à ce que ces outils nouveaux font, leur fonctionnement, leur limites, etc.


lorinc

Pour moi c’est déjà devenu un outil indispensable en fait. J’ai déjà dit à mes doctorants que je ne relisais plus leurs drafts s’ils n’étaient pas ré-écrits dans un anglais impeccable par ChatGPT avant…



Mais comme tout outil puissant, il faut faire attention à garder le contrôle. Les tronçonneuses sont en vente libre et on observe dans les 300 accidents par an. La principale différence c’est que quand tu vois une tronçonneuse en action, tu captes tout de suite que c’est dangereux ! Plus j’y réfléchis et plus je pense qu’il va falloir mettre un cours d’intro au machine learning au lycée pour que la majorité soit sensibilisés à ce que ces outils nouveaux font, leur fonctionnement, leur limites, etc.


On a aussi mis des sécurités au tronçonneuse pour éviter que le premier venu démarre sa tronçonneuse avec la main sur la chaine.



Qu’est ce qu’est le plus simple ? Former plusieurs milliard d’être humain au fonctionnement de chatGPT ou tenter de le rendre le moins raciste et sexiste possible ?


aureus

On a aussi mis des sécurités au tronçonneuse pour éviter que le premier venu démarre sa tronçonneuse avec la main sur la chaine.



Qu’est ce qu’est le plus simple ? Former plusieurs milliard d’être humain au fonctionnement de chatGPT ou tenter de le rendre le moins raciste et sexiste possible ?


Essayer de rendre le modèle le moins raciste possible, c’est déjà ce qu’a fait OpenAI (en payant des Kényans 2$ de l’heure, au passage), mais ce ne sera jamais suffisant. D’une part parce que c’est extrêmement dur (je vais pas rentrer dans les détails techniques de pourquoi, mais la fairness algorithmique, en apprentissage, c’est très très difficile), d’autre part parce que ce ne sera jamais parfait. Donc il faudra toujours faire attention.
Il n’y a qu’une seule solution à ce problème : former des milliards de gens…


Nous tenons à nous excuser sur le fait que notre IA réaliste soit trop réaliste.
Nous travaillons ardûment pour corriger ce problème afin de fournir une IA qui représente ce que la société devrait idéalement être, et pas ce qu’elle est actuellement.



Encore une fois, nous sommes désolés.



ignorance is strength, freedom is slavery, war is peace.



L’équipe ChatGPT.


Ce que tu appelle réalisme, s’appelle conservatismes. En réalité, la société est en évolution constante.



Mais je suis d’accord, une IA n’a pas à décider dans quel sens la société est sensée évoluer. Au plus l’IA pourrait faire un peu de prospective, deviner le futur autant que le permettent les événements (et pas se baser sur les biais conversationnels avec des humains.



Pinailleur a dit:


Tant mieux pour elle, mais ça n’est peut-être pas le cas de tout le monde.




Mais qu’est-ce qui serait le cas de tout le monde?




Raikiwi a dit:


J’ai un peu de mal à voir les supposés biais dans les exemples ci-dessus.




Il y a des biais. Mais c’est plutôt normal, non? Ces biais sont ceux des données d’entraînement et des validateurs de réponses.



Et franchement ils n’ont pas l’air catastrophiques comme biais.



D’ailleurs, pour les poèmes: faites un poème où vous ne flattez pas une femme pour son apparence, elle va en déduire qu’il y a quelque chose qui cloche chez elle et vous êtes foutu.




SebGF a dit:


L’IA contiendrait des biais causés par son apprentissage reflétant les biais culturels de la société ?
Je suis sur le cul.




Peut-être doit-on le lire à l’inverse: c’est rassurant, elle a bien été éduquée par quelqu’un et son éducation transparait. ON a bine un comportement qui mime l’humain.



Wosgien a dit:


Mais qu’est-ce qui serait le cas de tout le monde?




Mais il n’y a pas de cas pour tout le monde, il existe toute une panoplie de cas différent pour tout le monde, c’est bien ça que je sous-entends.



Pour certains ça n’est pas choquant, d’autres sont indifférents, d’autres sont choqués, etc.



(quote:2120343:127.0.0.1)
Nous tenons à nous excuser sur le fait que notre IA réaliste soit trop réaliste. Nous travaillons ardûment pour corriger ce problème afin de fournir une IA qui représente ce que la société devrait idéalement être, et pas ce qu’elle est actuellement.




Effectivement tu as raison: la femme doit se faire belle, rester au foyer et les hommes se doivent d’être forts et de rapporter de l’argent.
C’est cela la réalité et rien d’autre :chinois:



Concevoir une IA indépendante des codes sociétaux pour prendre un peu de hauteur c’est irréaliste: tu t’imagines, qualifier un homme de “pétillant” c’est vraiment du n’importe quoi…


Vu comme elle est entraînée, oui, c’est irréaliste. Elle a absorbée de grosses quantités de données venant du Web. Les filtres qu’ils essaient de mettre sont en sortie et ça ne peut pas marcher.



Il faudrait qualifier les données en entrée (en terme de justesse de l’information) et en corriger les biais. C’est humainement impossible à cause de la taille des données.



En plus, à chaque fois, on oublie que c’est avant tout un bot pour chatter avec des humains, pas fait pour fournir des réponses en tout genre.


fred42

Vu comme elle est entraînée, oui, c’est irréaliste. Elle a absorbée de grosses quantités de données venant du Web. Les filtres qu’ils essaient de mettre sont en sortie et ça ne peut pas marcher.



Il faudrait qualifier les données en entrée (en terme de justesse de l’information) et en corriger les biais. C’est humainement impossible à cause de la taille des données.



En plus, à chaque fois, on oublie que c’est avant tout un bot pour chatter avec des humains, pas fait pour fournir des réponses en tout genre.


Mais je suis conscient de tout cela.
C’est pourquoi ce n’est pas une IA mais un générateur de baratin.



A partir du moment où on le prendra pour ce que c’est, il n’y aura plus de problème.


carbier

Mais je suis conscient de tout cela.
C’est pourquoi ce n’est pas une IA mais un générateur de baratin.



A partir du moment où on le prendra pour ce que c’est, il n’y aura plus de problème.


là, je ne saurai être plus d’accord avec toi !


fred42

Vu comme elle est entraînée, oui, c’est irréaliste. Elle a absorbée de grosses quantités de données venant du Web. Les filtres qu’ils essaient de mettre sont en sortie et ça ne peut pas marcher.



Il faudrait qualifier les données en entrée (en terme de justesse de l’information) et en corriger les biais. C’est humainement impossible à cause de la taille des données.



En plus, à chaque fois, on oublie que c’est avant tout un bot pour chatter avec des humains, pas fait pour fournir des réponses en tout genre.


C’est pour ça que J’attends de voir la prochaine (ou la suivante encore) génération d’IA qui intégreront un moteur de calculs/réponses du type WolframAlpha.



Là, ça pourrait devenir intéressant pour autre chose que d’écrire un texte « dans le style de… ».



Hugues1337 a dit:


On devine qui a écrit la news. Par contre pas de news sur les autres biais de chatGTP : https://twitter.com/search?q=chatgpt%20bias&src=typed_query&f=top J’imagine car ça ne va pas dans le sens de votre agenda. :ouioui:




Il est très amusant de voir les comptes Twitter que tu nous sors comme exemple.



Ensuite le raisonnement qui consiste à Jailbreaker ChatGPT pour lui faire dire ce qu’on veut et prendre ce “résultat” comme une preuve est absolument fascinant.
C’est le sophisme ultime :incline:


Concernant l’IA, il y a une chose dont je suis sûr :
Elle va fortement faire augmenter la CN (Connerie Naturelle) chez l’humain. :ouioui:



Cette CN n’avait pourtant pas besoin de ça pour très bien se porter… :mad2:



carbier a dit:


Concevoir une IA indépendante des codes sociétaux pour prendre un peu de hauteur c’est irréaliste: tu t’imagines, qualifier un homme de “pétillant” c’est vraiment du n’importe quoi…




je pense que c’est là que ça devient compliqué : si j’ai bien compris le fonctionnement de ces “IA” elles se basent sur le corpus existant, donc elles en reproduisent les biais - même s’ils sont subtils.



Sans aller jusqu’à dire comme d’autres qu’il est indispensable de flatter le physique d’une femme quand on rédige un poème sur elle sous peine de passer un mauvais moment, il me semble qu’on trouve rarement des poèmes qui flattent leurs qualités sur un champ de bataille (je parle notamment de la poésie française de la Renaissance au début du XXe siècle, sur laquelle j’ai un petit vernis scolaire). ChatGPT ne fait que répéter l’existant. Au risque de renforcer les biais existants auprès de ses utilisateurs.



[edit] grillé par fred42, qui a fait une réponse bien meilleure que la mienne je trouve :yes:


J’ai bien aimé la tienne. Donc les 2 se complètent.



fred42 a dit:


Il faudrait qualifier les données en entrée (en terme de justesse de l’information) et en corriger les biais. C’est humainement impossible à cause de la taille des données.




Mais quand bien même ça serait possible, faire une sélection aussi arbitraire sur les données d’entrées, n’est-ce pas aussi un biais ? 🤨


Par définition on fait tout avec des biais. L’idée d’une telle sélection des données serait de créer un filtre moralement acceptable, un idéal. Mais comme l’a souligné fred42, impossible à faire au vu de la quantité de données qu’il faudrait trier.


C’est moi où la ligne éditorial de NextInpact à bien changer relativement récemment ?


Yep. Y’a un avant et après COVID assez flagrant dans la société et nxi y échappe pas…


Elle suit les tendances de l’actualité, comme ce fut le cas plusieurs fois par le passé, par exemple sur la Hadopi. En ce qui concerne l’IA, c’est aussi intéressant sur le plan technique (que nous avons largement couvert ces dernières années) que sur le plan sociétal, à cause des fortes répercussions qu’elle peut avoir. Pointer les risques et dangers des technologies fait partie de la ligne éditoriale oui.


C’est toi.



Wosgien a dit:


Peut-être doit-on le lire à l’inverse: c’est rassurant, elle a bien été éduquée par quelqu’un et son éducation transparait. ON a bine un comportement qui mime l’humain.




Perso je préfère le voir comment étant un moyen de se remettre en question, une photo de ce qu’est notre culture mais qui ne fait pas forcément plaisir à voir. Cf le sketch des inconnus “Les pétasses” où le personnage de Didier Bourdon disait :





  • “j’adore la déco, j’adore ce poster, celui là aussi, par contre celui-là j’aime moins”

  • “fais gaffe c’est un miroir”




Mais pour ça il faut passer l’étape d’accepter qu’on a des biais, et surtout, ne pas émettre de jugement ou de conclusions sur cette évidence. Juste en prendre conscience.



On est tous biaisés, on le sera toujours. Mais en avoir conscience permet d’apprendre à les prendre en compte dans son comportement. Rêver d’une société sans aucun biais, c’est une utopie.



Raikiwi a dit:


Pour le coup de l’épicé, c’est juste qu’avec les IA il faut mettre son cerveau “en anglais” (Spicy est utilisé différemment chez les anglophones), en français on dit rarement d’une personnes qu’elle est épicé




Bien vu aussi pour le cas où les mots n’ont pas le même sens selon leur contexte dans les langues étrangères. Tout autant qu’en français des mots auront un sens différent selon.



MoonRa a dit:


C’est moi où la ligne éditorial de NextInpact à bien changer relativement récemment ?




Ça fait quelques années que l’équipe de Next Inpact assume être “woke”.


J’ai toujours trouvé incroyable l’évolution du sens de ce mot, qui est pratiquement une insulte maintenant.


Vincent_H

J’ai toujours trouvé incroyable l’évolution du sens de ce mot, qui est pratiquement une insulte maintenant.


Comme le politiquement correct dans les années 90 (d’ailleurs c’est la même démarche)



(quote:2120343:127.0.0.1)
ignorance is strength, freedom is slavery, war is peace.




George sors de ce corps :non:



carbier a dit:


Effectivement tu as raison: la femme doit se faire belle, rester au foyer et les hommes se doivent d’être forts et de rapporter de l’argent. C’est cela la réalité et rien d’autre :chinois:



Concevoir une IA indépendante des codes sociétaux pour prendre un peu de hauteur c’est irréaliste: tu t’imagines, qualifier un homme de “pétillant” c’est vraiment du n’importe quoi…





  1. Concevoir une IA qui a systématiquement un discours politiquement correct

  2. Concevoir une IA qui a systématiquement un discours politiquement incorrect



Dans les deux cas ca ne représente pas la société actuelle. Et, si je ne m’abuse, l’objectif de chatGPT c’était de présenter une IA qui se comporte comme le ferait un humain de 2023.



Pas un humain de 1984. :D



Certes on peut regretter les travers de la société de 2023, mais les IA ne sont pas là pour corriger la pensée humaine. Du moins j’espère.


Si j’ai bien compris le but de cette étude, il ne s’agit pas de discuter du sexisme en général ni d’appeller à la censure ou à “corriger” les générateurs de baratin.
Il s’agit plutôt, en s’appuyant sur une méthodologie scientifique, de rappeler (ou démontrer à ceux qui l’ignorent) que ce ne sont ni des intelligences ni, surtout, artificielles : ils souffrent des mêmes biais qu’un humain. Et donc qu’il serait dangereux de les utiliser pour rédiger des offres d’emplois ou des évaluations de salariés en se disant “c’est une IA, donc c’est forcément neutre”.



On retrouve un peu ce qui a souvent été discuté ici : l’apprentissage profond (faute d’un meilleur terme pour IA) peut donner des résultats impressionnants et utiles, mais pour les générateur de baratin utilisés par le grand public, c’est risqué.



Tout le monde (ou presque) sait qu’une photo peut être facilement truquée, et a appris à ne pas prendre une photo comme une preuve. Avec les deep fakes, on commence a se méfier aussi des vidéos. Avec les générateurs de baratin intégrés dans les moteurs de recherche, il va falloir être de plus en plus méfiant avec… tout.


C’est bien pour cela que le mot qui compte dans “intelligence artificielle” est bien le second. Si l’apprentissage se fait en regardant TPMP, faut pas s’étonner des résultats. La même conclusion avait été faite de l’IA qui sélectionnait les profils à recruter chez Amazon : les profils féminins étaient refusés car l’IA était entraînée sur des CV d’hommes, donc quelque chose n’allait pas sur les CV de femmes.



Jarodd a dit:


C’est bien pour cela que le mot qui compte dans “intelligence artificielle” est bien le second. Si l’apprentissage se fait en regardant TPMP, faut pas s’étonner des résultats.




Futur métier: éducateur (rééducateur) d’IA.
Et ça je le dis depuis 10 ans… Mais on le dit dans les romans depuis 60 ans minimum.



Il faut comprendre un truc: une IA, c’est un enchevêtrement très compliqué de couches de calculs. On peut y trouver des aberrations (ou pire: des backdoors) qui seront très diffuses, réparties sur des couches et entre des paramètres…



Ca va être drôle dans le futur :)



Wosgien a dit:


Ca va être drôle dans le futur :)




Tu ne trouves pas que c’est déjà drôle ? :mdr:



Pinailleur a dit:


(…)L’idée d’une telle sélection des données serait de créer un filtre moralement acceptable, un idéal.(…)




Pour qui ?
Les Etats Unis, les européens, les émirats arabes unis, les chinois ?


Pour tous. On peut tout à fait adapter les réponses en fonction de la culture d’un pays, comme un humain le ferait.



lorinc a dit:


J’ai l’impression que tout le monde cherche la petite bête pour le sport de chercher la petite bête.




  1. Je ne vois vraiment pas pourquoi tout le monde est surpris par des biais représentatifs des données d’entraînement. S’il y a une chose à en tirer, c’est que les LLMs mettent en lumière les biais qui existent dans les gros corpus de textes (livre, pages web, etc), ce qui n’est pas surprenant mais en fait une méthode de confirmation de plus. J’ai du mal à comprendre la critique. C’est un peu comme râler que si tu mets du gingembre dans un plat, après, ben ça a un goût de gingembre… surprised pikachu





  1. Je comprends encore moins les gens qui s’excitent sur les dérapages provoqués. N’importe qui peut dessiner un bite avec paint, je ne vois pas en quoi ça en fait une faute inacceptable des devs de paint. Là, c’est pareil. On a des modèles entraînés à compléter du texte qui ont mémorisé entre autre des milliers de forums ou des nerds s’insultent sur des pages. Pourquoi on serait surpris qu’il reproduise ce genre de textes quand on le pousse dans cette direction ? Je suis plutôt surpris que ChatGPT/Bing n’écrivent pas en majuscule à un moment. N’importe quel modèle génératif peut être attaqué pour lui faire sortir ce qu’on veut. J’attends de voir des trucs vraiment intéressants comme des 1 character attacks (tu changes une lettre apparemment anodine et tu obtiens une réponse radicalement différente - là ça en dirait plus sur la régularité du modèle). En attendant, tout ça est aussi intéressant que les reaction videos sur youtube : intérêt nul à regarder, me vaut soit même jouer avec, c’est plus fun.




(long time no see, btw :smack: )




Tu as raison. Le seul problème c’est que ChatGPT est présenté comme une IA qui peut répondre à n’importe quelle question et produire n’importe quel texte. Et dans ce cas oui, ça pose problème car beaucoup de monde prends pour argent comptant ce que débite ChatGPT.



Si on l’avait présenté comme un simple « générateur de baratin », alors non il n’y a pas de problème, pas plus que si ChatGPT est raciste ou autre.


Moi, je l’appelle Sciences-Po-AI. Je trouve que c’est très représentatif du résultat. :D
Mais note qu’OpenAI a été très prudent dans ça com: ils ont dit “venez jouer avec notre nouveau chatbot” et rien de plus. C’est google et MS qui ont été plus gourmands en vendant un outil plus qu’un jouet.



Vincent_H a dit:


… ce mot [ndr: woke], qui est pratiquement une insulte maintenant.



Vincent_H a dit:


Exercice du jour : arriver à exprimer une idée sans agresser, mépriser, prendre de haut ou insulter.




Donc le mec il insulte l’équipe mais ça va, il enfreint pas les règles “du jour” ?
:yoda:


Tu me cherches un peu non ? :mad:



carbier a dit:



C’est justement parcequ’une femme est vue principalement par ses attributs physiques dans la vie de tous les jours que ChatGPT ne fait que reproduire cela. Or explique moi pourquoi cela devrait-être le cas ? Pourquoi qu’on tu parles d’une femme, tu ne pourrais pas mettre en avant ses capacités analytiques, son intelligence ou tout autre attribut qui serait “plutôt masculin” ?




Alors je vais tenter une explication, mais cela ne veut pas dire que le cautionne la chose :)



Pour moi tout cela découle de la dynamique sexuelle, où (je grossis le trait bien entendu) une femme attirera principalement avec son physique les hommes, alors que ce n’est pas le cas dans le sens inverse où d’autres critères plus “complexes” entrent en jeu (je ne vais pas donner d’exemple ici pour ne pas me faire taper dessus :mdr: ).


C’est une pente glissante que tu empreintes, là. On détournerait facilement tes propos pour te traiter d’homophobe car tu penserais que les hommes homosexuels ne seraient attirés par leur partenaire que pour des raisons qui n’ont strictement rien à voir avec le physique… Ou des femmes homosexuelles n’attiraient donc que le regard des hommes et sont donc vouées au célibat. Et que dire des bisexuels… ou même des asexuels… Sans omettre que tu tends à dire que les femmes ne sont pas attirées par le physique d’un homme. Et je grossis aussi le trait ;)


On se retrouve toujours avec le même soucis d’oeuf et de poule.



Peut être que les hommes ont plus tendance à être attirés par le physique des femmes par ce que c’est ce à quoi ils sont habitués depuis leur enfance.



Je crois que l’attirance physique est culturelle et évolue avec le temps.
(suffit de regarder le bronzage, autrefois symbole des paysans qui travaillent (laid), maintenant symbole des riches qui vont en vacances (beau))



Et puis, on parle des fétichistes des pieds ? :troll:


misocard

On se retrouve toujours avec le même soucis d’oeuf et de poule.



Peut être que les hommes ont plus tendance à être attirés par le physique des femmes par ce que c’est ce à quoi ils sont habitués depuis leur enfance.



Je crois que l’attirance physique est culturelle et évolue avec le temps.
(suffit de regarder le bronzage, autrefois symbole des paysans qui travaillent (laid), maintenant symbole des riches qui vont en vacances (beau))



Et puis, on parle des fétichistes des pieds ? :troll:


Enfin une sage réponse :incline:



Bien sûr que tout ceci est une histoire de culture et de conditionnement :yes:



zeldomar a dit:


Alors je vais tenter une explication, mais cela ne veut pas dire que le cautionne la chose :)



Pour moi tout cela découle de la dynamique sexuelle, où (je grossis le trait bien entendu) une femme attirera principalement avec son physique les hommes, alors que ce n’est pas le cas dans le sens inverse où d’autres critères plus “complexes” entrent en jeu (je ne vais pas donner d’exemple ici pour ne pas me faire taper dessus :mdr: ).




la théorie de l’évolution ne valide pas du tout cette théorie. Une femelle sera choisi par un homme, non pas pour sa beauté mais par sa faculté à perpétuer l’espèce.


De quelle femelle tu parles ? une fois j’ai essayé avec une chèvre, ça n’a rien donné … j’ai pas pu me reproduire :francais:


Euh, je parle du temps présent :yes:



lorinc a dit:


Plus j’y réfléchis et plus je pense qu’il va falloir mettre un cours d’intro au machine learning au lycée pour que la majorité soit sensibilisés à ce que ces outils nouveaux font, leur fonctionnement, leur limites, etc.




Je suis tout à fait d’accord avec ça, et cela devrait être le cas de plusieurs autres points importants. Et malheureusement on connait le retard de l’éducation national d’une manière général. :craint:



lorinc a dit:


Et dire qu’on pourrait s’éviter tous ces articles “surprised pikachu” en faisant suivre un cours d’introduction aux chaînes de Markov à tout le monde à la place…




Merci. Grâce à toi, j’ai découvert la vie trépidante de Doudou le hamster. :D



aureus a dit:


Qu’est ce qu’est le plus simple ? Former plusieurs milliard d’être humain au fonctionnement de chatGPT ou tenter de le rendre le moins raciste et sexiste possible ?




Quand j’y réfléchi la question ne me semble pas aussi simple, ce genre d’IA n’a pas de jugeote.



Donc il faudrait apprendre à l’IA ce qu’est le racisme (c’est un concept relativement simple, mais bonne chance pour le traduire pour un logiciel).
Ensuite il faut lui apprendre ce qu’est le sexisme, bonne chance également.



Ça me fait penser aux lois de la robotique, c’est cool comme base de réflexion, mais bonne chance pour l’appliquer (à notre niveau de technologie).
Je ne suis même pas certain que l’on ait des IA qui peuvent reconnaitre des humains à 100%.



fred42 a dit:



Il faudrait qualifier les données en entrée (en terme de justesse de l’information) et en corriger les biais. C’est humainement impossible à cause de la taille des données.




Plus que la quantité de données, le problème c’est qu’on remplace un “biais” (celui qu’on retrouve dans les données) par un autre - celui de la personne qui filtre.



Je ne connais pas de neutralité absolue, je ne vois pas quels critères pourraient être acceptés par toutes les cultures / civilisations à travers le globe comme “les bons”. Une telle entreprise me paraît donc assez vaine.


Il ne faut pas oublier de considérer ChatGPT pour ce qu’il est : un algorithme de prédiction de mots, qui a comme base de donnée pour se décider, bah tout Internet quoi. Ce n’est pas un bot qui réfléchit à une question et qui trouve la réponse. Il ne fait que décider quelle suite de mots et la meilleure en fonction de l’entrée proposée par l’utilisateur.



Cette vidéo de Monsieur Phi l’explique très bien : https://www.youtube.com/watch?v=R2fjRbc9Sa0



Dès lors, ce chat bot est tous ce qu’il est possible de trouver sur le web dans ses réponses, et comme c’est le cas ici sexiste.



Hugues1337 a dit:


J’avais une chance sur deux. :D Sinon à chaque fois tu ressors le mot “complot” alors que je ne l’utilise jamais. Je dis que vous êtes biaisé et que ça se voit de plus en plus : Toujours pas de news sur DAN ou sur les biais de chatGTP (d’où DAN), plus loin rien sur les “Twitter files” (pas tous les jours qu’une entreprise tech ouvre ses archives), etc.




C’est assez fascinant qu’une communauté complotiste sur les IA se soit formée dans les jours même qui ont suivi la sortie de Bing Chat.



Comme quoi Blake Lemoine n’était que le tout premier d’une longue série, et pas un incident isolé.


Fermer