Rumman Chowdhury : « il faut investir autant dans la protection des utilisateurs que dans le développement de l’IA »

Ancienne directrice de l'éthique chez Twitter, Rumman Chowdhury a réalisé pour l'UNESCO un rapport sur les violences de genre facilitées par la technologie à l’ère de l’IA générative. Elle alerte sur l'importance de développer des outils et des mécanismes de protections en même temps que les outils d'IA génératives sont rendus accessibles.

L’intelligence artificielle (IA) générative « révolutionne » les manières d’accéder, de produire, de recevoir et d’interagir avec du contenu, mais elle crée aussi de nouveaux risques qui menacent les droits humains, en particulier ceux des femmes et des filles.

Dans cet esprit, la data scientist et fondatrice Rumman Chowdhury, ancienne directrice pour l’éthique, la transparence et la responsabilité du machine learning chez Twitter, a produit pour l’UNESCO un rapport sur les violences de genre facilitées par la technologie à l’ère de l’IA générative avec l'aide de l’ingénieure Dhanya Lakshmi.

• En ligne, la misogynie utilisée pour saper la liberté d’expression
• La violence en ligne est un danger démocratique, alerte la vice-Première ministre néerlandaise

Le 13 novembre, les deux expertes présentaient publiquement cette étude, qui vient s’inscrire dans les travaux que l’UNESCO mène au long cours sur la transformation numérique et celle de l’IA. Et Rumman Chowdhury de planter directement le décor : « la plupart des violences et des abus constatés en ligne sont d’abord appliqués contre les communautés les plus désavantagées ». Malgré leur importance numérique, les femmes et les filles font partie de ces catégories minorisées, explique-t-elle.

« Dans le rapport, on écrit que les femmes sont les canaris au fond de la mine, car dans énormément de cas de violence numérique, les abus ont d’abord été testés contre elles avant d’être étendus à l’ensemble de la population. » L’expression désigne ces canaris, que les mineurs emmenaient autrefois au fond des mines de charbon. Si l’oiseau s’évanouissait ou mourrait, cela les alertait de la présence de gaz toxiques et de la nécessité de remonter à l’air libre.

Avant même l’ouverture de l’accès aux modèles d’IA génératrice au grand public, pointe Rumman Chowdhury, une étude de 2020 pointait que 58 % des jeunes femmes de la planète avaient déjà été exposées à une forme de violence de genre sur les réseaux sociaux. Outre la dimension de genre, c’est plus du quart des jeunes de 15 à 25 ans, proportion qui explique que l’UNESCO travaille aussi sur ces questions au long cours.

Dans le cas de l’IA générative, plusieurs types de violences sont déjà constatés contre les femmes et les filles. À court terme, l’accès à des outils comme ChatGPT, Stable Diffusion ou autres modèles de générations de textes et d’image permet notamment l’aggravation de campagnes de harcèlement – via l’usage de deepfakes pornographiques, par exemple –, leur massification, et l’apparition « d'abus involontaires ou indésirables » (unintended harms), liste Rumman Chowdhury.

• Deepfakes pornographiques : quand l’intelligence artificielle sert à humilier

Les femmes et les minorités, des canaris dans la mine

Or « la mésinformation, la désinformation, les agressions des personnalités exposées, notamment politiques, tout cela a commencé avec des femmes et des minorités », insiste la data scientist. Le rapport donne le cas du Gamergate, avec lequel « l’histoire du harcèlement en ligne coordonné » a commencé « pour de nombreux occidentaux ».

À l’époque, les femmes visées ont été « moquées, rejetées, qualifiées "d’hystériques" ». Selon la développeuse et victime de la campagne Brianna Wu, en revanche, les auteurs de l’attaque ont découvert dans cet épisode « qu’en faisant suffisamment de bruit, ils pouvaient pousser de nombreuses femmes du secteur des jeux vidéos à démissionner plutôt que de continuer à s’exprimer. Ils nous ont donc envoyé des menaces de viol et de mort, et ils nous ont harcelé jusqu’à ce que de nombreuses femmes quittent tout simplement l’industrie du jeu. »

Outre ce cas relativement médiatisé, Rumman Chowdhury rappelle que des catégories plus discriminées, notamment des féministes noires, avaient déjà tiré la sonnette d’alarme, alors que de faux comptes tentaient de les dénigrer en grossissant artificiellement le hashtag #EndFathersDay.

« La violence de genre facilitée par les technologies n’est pas seulement une manifestation de harcèlement coordonné en ligne, écrit-elle, il s’agit aussi du banc d’essai et du point d’origine de méthodes de harcèlement en constante évolution, d’attaques sophistiquées et d’avancées technologiques dans les discours de haine. »

L’IA générative, vecteur d’aggravation et d’amplification du harcèlement

Dans le cas de l’ouverture de l’IA générative, on assiste au même phénomène, explique Rumman Chowdhury, détaillant les trois grandes catégories de risque évoquées plus tôt.

Pour l’aggravation des campagnes de harcèlement, elle pointe que les premiers cas de deepfakes pornographiques « remontent à 2017. Mais à l’époque, on a considéré que c’était un « problème de femmes ». Aujourd’hui, c’est un « problème de tout le monde » » puisque les outils disponibles permettent de créer de faux contenus, y compris violents ou crus, « de vous, vos enfants, votre famille, de manière très simple et convaincante. »

Difficile de dire, indique son rapport, « si les problèmes de désinformation via deepfakes désormais à grande échelle seraient aussi omniprésents si les plateformes avaient abordé le problème des deepfakes pornographiques il y a des années ».

En matière d’amplification, la data scientist cite non seulement la facilité de créer ce type de contenus abusifs grâce aux moteurs génératifs, mais aussi l'amplification « de déchets », c'est-à-dire de contenus sans réelle qualité, à grande échelle. Enfin, elle cite la question des biais, notamment sociaux, qui se retrouvent encodés dans les machines d’IA générative et aboutissent à divers exemples que Next INpact a couverts au fil des mois passés.

• Quand Midjourney n'arrive pas à représenter un médecin noir soignant des enfants blancs
• Les IA génératives réduisent les stéréotypes à leur version la plus cliché
• Les modèles d’IA génératifs renforcent les biais humains
• Des tests dévoilent les biais sexistes et racistes de ChatGPT

Rumman Chowdhury, elle, prend l’exemple de la journaliste Melissa Heikkilä, d’origine asiatique, qui, lorsqu’elle a voulu tester la génération d’image de l’application Lensa, n’est parvenue qu’à obtenir des images à moitié dénudées d’elle-même. En cause probable : la surreprésentation d’images uniquement sexualisées de femmes asiatiques dans le jeu de données LAION-5B, qui sert à l’entraînement de Stable Diffusion et, par ricochet, de Lensa.

• Peut-on corriger les biais des algorithmes ?

À long terme, diverses menaces cyber et de désinformation

Sur le plus long terme, Rumman Chowdhury et Dhanya Lakshmi alertent sur trois autres types de risque : les récits synthétiques et deepfakes de composition, les deepfakes interactifs et la génération de logiciels malveillants. Elles-mêmes expertes des tests adversariaux des systèmes d’intelligence artificielle, elles ont réalisé diverses expérimentations dont elles détaillent les résultats dans leur rapport.

• Tencent Cloud lance une plateforme de « Deepfakes-as-a-Service » pour 145 dollars seulement

Par « génération de récits synthétiques », Rumman Chowdhury explique signifier la création de récits complets et crédibles, mais totalement faux. Citant le cas de la thèse conspirationniste du Pizzagate – qui a mené un homme à débarquer, armé d’un fusil à pompe, dans une pizzeria de Washington – elle indique qu’une fois encore, ce type de menace a existé avant le développement d’outils d’IA générative.

Cela dit, ces nouvelles technologies facilitent grandement la création de récits entiers dont le mensonge serait difficile à détecter. D’un point de vue pragmatique, pointe Dhanya Lakshmi, la génération de voix est déjà utilisée pour commettre divers types de fraude, comme soutirer de l’argent à des particuliers en se faisant passer pour leurs proches, ou commettre des fraudes au Président. Simplement, comme les deux femmes le répètent au fil de leur présentation, les IA génératives baissent largement le coût d’entrée pour commettre ce type d’attaque.

• Les générateurs de voix par intelligence artificielle, nouveaux vecteurs d’arnaques
  Une voix synthétique générée par une IA permet d'accéder aux détails d'un compte bancaire

De même, les deux femmes alertent contre la facilité de créer des logiciels malveillants et/ou d’automatiser des campagnes de harcèlement grâce à de la génération de code. « Les femmes victimes de harcèlement sont souvent menacées de doxxing, de publications des informations relatives à leurs enfants, etc, illustre Dhanya Lakshmi. La génération de code permet de créer ce type d’attaque de manière automatisée. »

Quelles solutions face aux risques posés par les IA génératives ?

Pour lutter contre ces problématiques, « investissez autant dans la protection numérique que vous investissez dans le développement de l’intelligence artificielle », enjoint Rumman Chowdhury. Sans cela, « ces technologies n’auront jamais l’impact positif auquel on peut rêver ».

Dans certains types d’attaques, via la création d’images dégradantes, par exemple, l’experte pointe que l’apparition d’entreprises développeuses de modèles d’IA a facilité la responsabilisation : « il est plus simple de travailler à rendre ces acteurs responsables » qu’il ne l’était, peut-être, de se retourner contre ceux qui créaient de fausses images à coups de Photoshop. La piste du watermarking, pour rendre évident qu’un contenu généré est faux, est un des exemples d’outils que développent les entreprises créatrices de modèles génératifs.

Mais globalement, « on a besoin de plus de fonds dans les tests adversariaux des modèles d’intelligence artificielle, on a besoin de red teaming. » L’experte élargit bientôt sur le besoin de travailler sur la responsabilité de chacun des acteurs de la chaîne : les fabricants de générateurs de contenu, les distributeurs, les personnes qui consomment et produisent ces médias, et les administrations et les états.

À l’heure actuelle, « toute la question de la responsabilité est placée sur les victimes ». Des solutions existent déjà contre diverses formes de violences de genre facilitées par les technologies, indique le rapport, mais la majorité impose aux victimes de se protéger elles-mêmes de ces violences. « L’intolérance devrait plutôt être tournée contre ceux qui harcèle. »

Prenant l’exemple des applications de protection contre le harcèlement, comme BlockParty, qui a dû fermer suite à la fermeture de l’accès gratuit à l’API de Twitter, Rumman Chowdhury fait, là encore, le lien avec la responsabilité des entreprises. Sur la question des biais des modèles d'IA, elle déclare que « l'avantage » de la situation actuelle est que les entreprises développeuses des outils en question ne veulent pas produire d'outils qui créent des abus involontaires. Il est donc possible, selon l'experte, de travailler avec elles à l'amélioration des technologies concernées.

Enfin, elle évoque les questions de gouvernance. « Pour le moment, on est focalisés sur les questions de régulation. Avant, on avait eu beaucoup de réflexions sur le rôle et la responsabilité des entreprises. » Tout cela est très utile, salue-t-elle, mais « ce qu'il manque, c'est le rôle des tiers, de la société civile, des communautés qui sont très importantes pour faire émerger des normes et des manières de régler les problèmes ». Et de citer en exemple les pratiques de la communauté de l'open source.

En définitive, conclut Rumman Chowdhury, « il faut que tout le monde devienne plus intelligent avec ces outils. » La grande révolution actuelle, estime-t-elle, « c’est la facilité d’utiliser ces technologies d'IA générative. Ils ne vont pas devenir intelligents, ils ne vont pas prendre vos emplois, en revanche, ils vont rendre les attaques très simples. » Pour faire face, elle appelle à augmenter l’éducation aux médias du grand public. Et par média, « j’entends tous les médias ».

En général, continue-t-elle, l’esprit critique envers les textes est relativement bien partagé, « mais il faut aussi développer celui que l’on a face aux médias audio, vidéos, et aux images. Car d’après nos expérimentations, l’image est le contenu le plus simple à fausser. » Et nous, public, ne sommes pas nécessairement armés pour douter de ces contenus.