Qu’ils servent à classifier des images, à aider à la décision, à générer du texte ou à autre chose encore, les modèles algorithmiques sont construits par des humains. Ils embarquent donc une série de biais – statistiques, sociaux, économiques… – qui viennent influer sur leurs résultats.
Or les outils de modération développés par certaines des plus grosses entreprises tech (Microsoft, Google, Amazon) et utilisés pour contrôler les images postées sur les plus gros réseaux sociaux (LinkedIn ou Instagram, notamment) présentent un biais disqualifiant envers les images de femmes.
En effet, une longue enquête menée par le Guardian et l’AI Accountability Network du centre Pulitzer démontre que par défaut, la plupart de ces modèles algorithmiques donnent aux images présentant un corps de femmes un score de « suggestivité sexuelle » plus élevé.
Les images de femmes dans des activités quotidiennes risquent beaucoup plus d’être qualifiées de « suggestives » que celles d’hommes dans des situations similaires. Les journalistes démontrent aussi que les taux de « suggestivité » rapportés par les machines explosent si les images montrent des ventres de femmes enceinte, un ou des tétons, ou encore si les femmes en question sont en train de faire du sport.
Ces scores n’ont rien à voir avec la suggestivité réelle que les humains pourraient donner aux images en question : ils sont plutôt atteints par détection d’éléments suggérant la féminité des personnes représentées. L’un des co-auteurs de l’enquête a fait le test face à l’algorithme de Microsoft : lorsqu’il est torse nu, la machine ne donne à son image qu’un score de 22 % de « suggestivité », mais dès qu’il a un soutien-gorge à la main ou sur lui, le score bondit à 99 %.
La sexualisation (ou la présence d’ « attraction physique ou sexuelle », pour le cas de LinkedIn) et la nudité (cf la politique de Meta) étant motifs de modération, ce biais sous-entend que les publications contenant des images de femmes ont plus de risques d’être modérées que ceux comportant des photos similaires représentant des hommes.
Autre possibilité : que ces contenus soient « shadowbanned », c’est-à-dire que leur portée soit limitée par le réseau social sans que l’internaute qui a posté n’en soit averti. Le risque, pointé depuis plusieurs années par des artistes et des créatrices qui s’estiment modérées sans raison, est que les publications représentant des femmes aient moins de portée que les autres.
Commentaires (37)
#1
Une preuve indiscutable que le genre n’est pas une histoire de chromosome.
Et toc !
#2
Brief très intéressant. Je suis étonné que vous ne citiez pas l’excellent ouvrage “Technofeminisme : comment le numérique aggrave les inégalités” de votre journaliste Mathilde Saliou en fin de paragraphe.
À moins que ce ne soit elle qui se cache derrière ce papier et donc qu’elle n’ait pas voulu faire d’autopromotion ?
#3
J’ai envie de dire que la mission parait impossible. Nous vivons dans un monde qui a rendu le corps de la femme un objet de désir par la publicité et la pornographie. Le désir sexuel est un argument marketing et est utilisé sans vraiment de frein (qui a parlé des pubs pour le gel douche ?).
J’aimerais que dans le monde numérique ce ne soit pas le cas, mais n’est-ce pas hypocrite de demander au numérique de réparer les torts qui pullulent IRL ?
Je suis persuadé que si dans le monde extérieur nous ré-équilibrons les choses alors le numérique suivra. Mais l’inverse n’est pour moi pas possible.
#3.1
Qui parle de mission ?
La brève fait un constat, c’est tout.
De plus, les algos donnent des scores de suggestivité supérieurs à ce que donneraient des humains. Ils sont donc mal entraînés.
#3.2
Comment peut-on être sûr de cela ?
Si je reprends l’exemple de l’article, je suis sûr qu’un téton de femme fait bien plus “d’effet” sur les hommes, qu’un téton d’homme n’en fait sur les femmes (pareil pour torse vs poitrine).
Si cela est vrai (ça ne reste que mon avis pour le moment, aucune étude derrière
), l’ia n’a-t-elle donc pas juste en donnant un plus grand score de « suggestivité sexuelle » au téton féminin ?
#3.3
La mission de rendre un algorithme parfaitement neutre qui est la cible si j’en crois les différents articles ces derniers temps sur les biais d’algorithmes.
De mon avis de profane, les algorithmes ne sont que le reflet de la réalité extérieure. Vouloir en faire des outils meilleurs que le contexte dans lequel ils existent est un fantasme, voilà mon point.
#3.4
On salue au passage WinDev (brochure PDF)
#4
Inutile de discuter de la brève si tu remets en doute ce qu’elle affirme et ce sans aucune preuve.
Ça, je n’en sais rien, surtout pour les torses masculins et leurs effets sur les femmes.
Tu abordes là une autre partie de la brève. Moi je soulevais uniquement que le score donné par les machines était supérieur à ceux donnés par les humains.
#5
Ma preuve est mon exemple justement :)
Je ne parle que de ça aussi ..!
Ok, tu dois avoir raison alors
#6
Conclusion, le problème c’est le soutien-gorge.
Ça peut être très con comme question, mais est-ce qu’une femme avec un soutien-gorge est plus suggestive qu’une femme torse nu selon l’algorithme ?
Vu comme ils sont entrainés ce ne serait pas impossible qu’il ait retenu que le soutiens gorge était le problème et non ce qu’il cache.
Quid des hommes avec une poitrine ?
(Avec ou sans poils ?)
Sinon, un peu plus sérieusement, sans vouloir trop être l’avocat du diable, les vêtements féminins (surtout ceux de sport) ont tendance à être plus suggestifs que les vêtements masculins (quantité de peau cachée, vêtements moulants, …).
Donc il faut être certain que le problème ne vienne pas de l’industrie de la mode pour le cas décrit.
#6.1
Tout d’abord j’aurais bien voulu avoir un définition de ce score de sugestivité. En faite j’aurai bien aimé voir une discussion autour du calcul égalitaire de ce score.
Effectivement ce genre de score est purement subjectif et va être dépendant de la culture et des mœurs. L’IA n’y est pas forcément responsable et va juste rendre mesurable cet aspect purement arbitraire dans une société où le corps féminin est considéré comme plus subjectif et qui exploite massivement ceci. Comme tu le dis les vêtements féminins sont généralement taillés avec une recherche plus “sexy” que les vêtements masculin.
#6.2
Du coup j’ai été voir l’article du gardian et les images en exemple sont presque toutes biaisées.
Le photos de femmes sont plus lumineuses, celle des hommes sont majoritairement plus sombres (exemple)
Cette excuse me semble plus valable pour l’IA de google avec lequel je suis assez en accord (sauf pour la 4 eme comparaison)
Microsoft semble très naze sur toutes les comparaisons.
L’enquête gagnerait beaucoup en crédibilité avec des images beaucoup plus proches. Les poses sont généralement genrées.
La photo en exemple pour la procédure médicale peut facilement être considérée comme suggestives hors contexte (vu que la femme est à moitié nue et qu’il y a une main sur sa gorge, elle pourrait venir d’une vidéo hardcore)
Pour l’homme avec le soutien gorge. L’algo estime effectivement que le sous-vêtement est suggestif (encore une fois, ça ne me semble pas anormal). Mais le coté très amusant c’est que le score de 99% est atteint quand il tient le soutien en main à coté de lui. Il passe à 97% quand il le porte sur lui.
Je ne peux pas vraiment blâmer un algorithme qui estime qu’une personne torse nu avec un soutien en main est plus suggestif que quelqu’un qui en porte.
Il aurait été intéressant de comparer avec différents sous-vêtements et habits pour l’homme.
Je suis par contre parfaitement d’accord qu’il y a un soucis avec le ventre de la femme enceinte (même si comme spidermoon le suggère il faudrait tester avec un pense à bière
En conclusion, je ne vais pas nier qu’il y a un biais, mais les exemples choisis n’aident pas à marquer le point de l’article (il y a peut être plus de données, mais elles ne sont pas mises en avant).
De plus, les problèmes semblent plus liés au fait que les femmes soient objectivées dans la société, ce qui est répercuté par les algorithmes.
Je serai vraiment intéressé par une étude qui prendrait des modèles et qui échangerait les vêtements pour voir l’influence que ça a.
Ça pourrait vérifier la pertinence des algorithmes tout en gommant les problèmes liés à la société.
(la seule femme qui n’est pas objectivée dans l’article porte des vêtements de basket qui sont proches de ceux que portent les hommes)
#6.3
Mon plus gros problème c’est la définition d’une valeur de “suggestivité” : C’est quoi la “suggestivité” ? Qu’est-ce qu’il faut pour que cette valeur soit considéré comme neutre ?
Tu peux faire n’importe quel expérience, si tu ne défini pas tes critères pour dire si une photo est plus suggestive qu’une autre de manière “neutre”, tu ne prouve pas grand chose.
Or je trouve que parler de neutralité pour cette valeur est complexe voir incompatible. En effet elle est purement basé sur un aspect culturel et sur les mœurs, il n’y a aucune objectivité de base. Cette valeur change à travers les ages et les lieux (notre rapport avec la nudité à beaucoup changé au cours de notre histoire et n’est pas la même dans le monde).
Du coup, la question serait de savoir si le résultat donné par les algos dévie de ce que le public donnerait.
#7
ou avec un bide de femme enceinte de 9 mois
#8
Le mec n’obtient que 22%. Le pauvre, ça a dû lui miner le moral.
#9
Comment ou à partir de quoi est calculé ce score de suggestivité ?
On peut essayer nous aussi ou le journaliste qui a testé avait un logiciel particulier
#10
Je crois que tu peux essayer vision studio de Microsoft.
Aucune idée de savoir si tu peux tester gratuitement.
Je ne suis pas certain que ce soit ça, et je n’ai pas cherché pour les autres.
#11
Ce n’est pas l’objet de cette brève.
Mais la brève dit qu’ils sont moins bons que les humains. Le problème soulevé par la brève est là !
#12
Bon, maintenant on a un nouveau mot pour désigner une femme et se prendre une claque: “suggestive”.
De plus, si ça a été entraîné à bas coût dans un pays majoritairement musulman, il est possible que beaucoup de photos qui nous paraissent assez “normales” (parce que en bon vieux réac je ne comprends pas pourquoi ces photos seraient sur une page facebook) pourraient être flaggées “racy” puisque personne ne porte le voile (en tout cas pas où il faut).
#13
Bof, pas convaincu par les exemples
#14
Versus un bide formé par 15 ans de consommation de bière ?
#14.1
J’ai plus de 15 ans de bière et je n’en suis qu’à 6 mois !
Sinon pourquoi les algo ne traitent que la suggestivité des hommes hétéro ?
J’ai des potes qui trouveraient la photo de gauche plus suggestive que celle de droite.
#15
Je ne crois pas qu’il y ait de neutre, l’algo ne défend pas un point, il évalue une possibilité de suggestivité.
Vu que c’est un algorithme entrainé il n’a pas de définition de la suggestivité. Il a un algo qui fonctionne sur les données d’entrainement.
Donc ce sont les “entraineur d’IA” qui ont donné des infos.
Mais si tu veux te faire une idée vas voir l’exemple : https://portal.vision.cognitive.azure.com/demo/content-moderation
Je suis bien d’accord que le score change en fonction de la culture. Je suppose que ceux qui ont fait les algorithmes ne sont pas des idiots et ont associé le score à la culture la plus intéressante commercialement (USA).
Pas certain que les grosses entreprises aient envie de prendre le risque de faire un algo détecteur de burka (mauvaise pub et pas très rentable).
Franchement, je ne pense pas. Les hommes doivent avoir une certaine pudeur / modestie dans les pays que tu imagines. Et ce n’est pas le cas des exemples.
#15.1
Je pense avoir une idée de comment on arrive à ce score, comment la machine arrive à donnée une valeur. Ce n’est pas le problème ici.
Comment dire que l’algo est biaisé si on arrive pas à déterminer si une image est effectivement plus suggestive que l’autre ?
Ici ce score est utilisé pour déterminer de manière automatique si une image est suggestive ou pas. Mais de l’autre coté, il faut bien pouvoir donner les critères pour dire si une image est effectivement plus suggestive qu’une autre de façon “neutre” pour pouvoir dire si oui ou non ce score donnée par l’algo est biaisé ou pas. Or le problème selon moi, c”est que l’idée de neutralité est difficilement applicable à la suggestivité tant cette notion est avant tout quelque chose de culturelle.
👅🍆💦 est totalement non suggestif ?
#15.2
C’est pas dit avec certitude dans l’article, mais c’est comme on peut l’imaginer
On donne des images a des gens et on leur demande de classer.
C’est ce que l’article semble dénoncer (et ce que disent certains commentaires ici)
#15.3
Du coup, il y a une culture qui est meilleur qu’une autre ?
On peut classer les cultures, leur donner une note ?
#15.4
La seule chose qu’il souligne avec ses citations, c’est que quand on vise des populations données (US et Europe), il est dangereux de faire étiqueter les images dans une autre partie du monde (où la culture est différente) et probablement plutôt par des hommes qui introduisent un second biais.
Comme on fait faire ce travail dans des pays lointain à faible niveau de vie pour que cela ne coûte pas trop cher, on arrive inévitablement à de mauvais résultats.
#16
Mais c’est juste ÉNORME !
Je suis plié de rire. Les mecs du marketing ils ont mangé des strings ou quoi ?
Merci d’avoir trouvé cette merveille qui appuie mon point. Même si ce n’est qu’un exemple, j’en suis conscient.
#17
C’était en 2015 a priori.
La version en cours est moins problématique malgré quelques photos de femmes en tenue qui n’ont rien à voir avec le schmilblick. Mais rien à voir avec la “débauche” de la version de 2015 …
#17.1
En effet c’est plus light.
C’est détourné, chaque exemple montre une femme en petite tenue (exemple).
Encore heureux, mais il a fallu attendre plus de 20 ans pour que le problème soit pris au sérieux : https://www.jdp-pub.org/avis/windev-catalogue/
#18
C’est en partie ce que l’article dénonce.
La photo que tu prends en exemple a un score de 0.14 à gauche et 0.96 à droite, ce qui même pour l’œil d’un homme hétéro me semble absurde.
De mon coté j’estime que la lumière n’aide pas (même si l’algorithme est à la ramasse).
#19
Ils avaient toujours une pub pleine page de ce type, bien malaisante, dans les magazines IT depuis les années 90.
Ça a toujours été leur axe de communication.
Quand t’es gamin et que tu tombes là-dessus tu te poses des questions. En tout cas ça ne m’a jamais donné envie de m’y mettre.
Et “étonnamment” les seules fois où j’ai vu des personnes bosser là-dessus sont des mecs de +50 ans qui bossent en solo façon One Man Agency après 30 ans en SSII. Leur ciblage n’est pas mauvais au fond
#20
Cette décision de 2017 est vraiment bizarre. Elle dit : Oui, c’est pas bien. Mais rien d’autre, pas de sanction ou d’obligation quelconque. J’ai le sentiment que c’est juste pour pouvoir le dire.
Dans mon chez moi, on appelle ça du pipeau.
#20.1
En effet, ça ne va pas plus loin que ça:
Ça ne consiste qu’à se référer aux recommandations : Règles de déontologie
#21
Et est ce qu’ils ont fait le test avec ce genre d’images ?
#22
Meh… faut voir la définition de la culture (j’apprends la langue de bois ;) ).
Si on part du principe qu’il faut mettre en avant l’égalité et la liberté ça va forcément être incompatible avec des cultures qui veulent mettre en avant la disparité et la subordination (ce ne sont certainement pas les mots les plus adaptés).
Ce qui est certain, c’est que ce n’est pas le sujet de cet article.
Ce qui est important, c’est qu’encore une fois on remarque que les IA reproduise les biais de ceux qui font la sélection et que ça ne fonctionne pas.
(je me permet quand même de dire que ce n’est pas une fatalité, je trouve que l’évaluation de google est proche de la mienne)
Le soucis dans ce cas précis c’est que ça nuit à l’égalité entre les sexes.