Deepfakes pornographiques : quand l’intelligence artificielle sert à humilier

Avec les progrès de l'IA, notamment générative, il n'a jamais été aussi simple de créer des deepfakes, ces manipulations d'images qui peuvent impliquer des personnes réelles. Certains s'en servent pour créer des montages pornographiques. Premières victimes de cette dérive : les femmes.

« Ah, je viens de tomber sur un truc horrible ! » Le 6 août, la youtubeuse Lena Situations publie l’un de ses habituels vlogs d’août (chaque année, elle publie une vidéo par jour pendant le mois d’été). À la huitième minute de sa vidéo, on la suit, en route pour aller rencontrer une copine, quand elle tombe sur un deepfake pornographique. À Marcus, l’ami qui l’accompagne, elle explique : « C'est des gens qui font des montages, ils mettent ta tête sur le corps d’une femme nue. (…) Et y a tellement de meufs sur internet qui vivent ça. C’est horrible. C’est dégueulasse. »

Si les prouesses d’un ChatGPT et des concurrents ont de quoi épater, si les progrès de l’intelligence artificielle tiennent largement en haleine, ces progrès technologiques apportent aussi leur lot d’usages négatifs. En matière de génération d’images, depuis 2018 au moins, des alertes se multiplient sur la question des deepfakes, aussi nommés hypertrucages, notamment à caractère pornographique.

• Que sait-on de Gemini, le système d’IA de Google ?
• Un pionnier du deepfake accusé de méconduite scientifique
• Comment tenter d'identifier les images générées par des intelligences artificielles ?

L’arbre qui cache la forêt : les deepfakes de désinformation

Comme elle le dit elle-même, Lena Situations est loin d’être la seule visée par ce type d’agression. Vingt adolescentes espagnoles ont ainsi reçu, peu après la rentrée des classes, des deepfakes à caractère sexuel d'elles-mêmes.

Mais le phénomène n’a rien de neuf : dès 2018, un faux discours de Barack Obama avait atteint une telle viralité que le monde médiatique s’inquiétaient, déjà, des risques en matière de désinformation. Dans les années qui ont suivi, ce sont de fausses vidéos de Tom Cruise ou Kim Kardashian qui ont amusé les internautes.

Beaucoup plus politique, dans le cadre de la guerre qui oppose l’Ukraine à la Russie, une chaîne d’information ukrainienne s’est retrouvée contrainte à diffuser un faux message de capitulation du président Zelensky en mars 2022. Le 5 juin 2023, ç’a été au tour de plusieurs médias russes de perdre le contrôle et de diffuser, pendant 40 minutes, un faux messages d’évacuation du président Poutine, créé par deepfake.

En France, de la même manière, le visage et la voix d’Emmanuel Macron ont été détournés à de multiples reprises. Encore tout récemment, un mix du visage du youtubeur Squeezie avec celui du Président a largement circulé sur TikTok.

• Les deepfakes peuvent sembler « plus fiables » que de vrais visages

Si ces détournements créent d’évidentes problématiques de manipulation de l’information, ils ne constituent pas la majorité des deepfakes qui existent. En 2019, une étude de Deeptrace calculait par exemple que 96% de ces détournements avaient un caractère pornographique. Sur cette dernière catégorie, la totalité concernait des femmes : des inconnues, des célébrités, des femmes politiques, des streameuses, etc.

La cofondatrice de l’association Féministes contre le cyberharcèlement Ketsia Mutombo lie le phénomène à d’autres types de publications, comme celles d’images intimes de célébrités, après le hack de leurs clouds. Pour elle, il ne s'agit « pas d'une nouvelle violence en soi : c’est une pratique qui fait partie du slut-shaming, du fait de renvoyer très violemment une femme à sa sexualité. Car nous sommes dans une société qui, même si elle tient des discours progressistes, estime toujours honteux qu’une femme ait une sexualité ».

L’IA générative : vers l’« uberisation » des deepfakes ?

Or, en six ans, les technologies disponibles pour manipuler des images et du son ont fait des progrès et sont devenues beaucoup plus simple d’accès. En 2022, avec l’arrivée de Dall-E, Midjourney et de quantité d’autres modèles d’intelligence artificielle générative accessible au grand public, la facilité de production de faux contenus s’est démultipliée. Et, avec elle, les guides pour expliquer comment ça marche.

• Deepfake audio : des voleurs se font passer pour un dirigeant et demandent le virement de 243 000 dollars
• Tencent Cloud lance une plateforme de « Deepfakes-as-a-Service » pour 145 dollars seulement 

Effet parallèle : la création de contenus sexuels non consentis a aussi explosé, à un point « bien pire que ce qui a été couvert jusque-là », selon une enquête du média 404. L'article rapporte par exemple près de 65 000 téléchargements pour un outil uniquement dédié à créer des images de femmes aspergées de sperme. Autrice de Féminisme et réseaux sociaux, Elvire Duvelle-Charles considère justement que les deepfakes pornographiques s’inscrivent dans la continuité d’autres pratiques masturbatoires qui ont éclos à l’ère d’internet – ce que tendrait aussi à confirmer un témoignage comme celui de la streameuse Maghla.

Les outils destinés à aider à la création de contenu avec Stable Diffusion ou d’autres modèles sont légion. Tous, ou presque, disposent d’une catégorie classée #NSFW où les utilisateurs, comme ailleurs, partagent leurs productions et des conseils pour réaliser de meilleurs prompts.

Et ces outils visent le grand public. Pour preuve : sur les plateformes de Meta, en mars, des centaines de publicités ont été diffusées auprès des internautes pour vanter les services d'une application avec laquelle réaliser facilement des deepfakes. Le visage de l’actrice Emma Watson était utilisé à l’envi dans les publicités, de préférence pour la placer dans des positions évoquant le début d’un film pornographique, et ce, malgré l’interdiction de contenus « pour adultes » dans les conditions d’utilisation de Meta. Auprès de NBC et d’Insider, l’entreprise a expliqué avoir finalement supprimé les publicités. L'application, elle, a été supprimée de plusieurs app stores.

Auprès de 404, l’expert de l’analyse d’images numériques Hany Farid déclare que la menace a évolué : si, jusque-là, elle concernait principalement les personnes ayant une large surface numérique, « elle concerne désormais n’importe qui, même avec une empreinte numérique modeste ». Par ailleurs, note Ketsia Mutombo, là où, pour les « comptes fisha » et autres diffusions non consenties d’images à caractère sexuel, « il fallait généralement la complicité d’un partenaire ou d’un ex violent, avec les deepfakes, n’importe quel anonyme peut produire le contenu ».

« Les deepfakes posent la question du consentement, hors ligne comme en ligne, déclare Elvire Duvelle-Charles. Il y a une forme de déshumanisation des célébrités ou des personnes dont les images sont utilisées, et je me demande franchement si les auteurs ont conscience de l’effet que ça produit sur les concernées. »

Multiples conséquences pour les personnes visées

Au niveau le plus intime, certaines victimes ressentent la manipulation numérique de leur image comme une réelle violation. Auprès de Marie-Claire, l’actrice Enora Malagré, qui a découvert le concept de deepfake pornographique en même temps qu’elle apprenait en être victime, déclare ainsi : « J’ai fondu en larmes et j’ai ressenti une nausée physique, l’envie de vomir. » Poète britannique victime de ce type de diffusion, Helen Mort expliquait à la BBC « faire encore des cauchemars » au sujet des images plus d’un an après les avoir découvertes.

Dans le cas de la diffusion non consentie d’images réelles à caractère sexuel (souvent réduite à la notion de « revenge porn »), une étude de l’Université d’Exeter a démontré que dans l’immense majorité des cas, les agressions contre les femmes consistent uniquement à diffuser leur(s) image(s) sexualisée(s). Auprès de Slate, l’avocate et cofondatrice de l’association Stop Fisha Rachel-Flore Pardo notait : « On a l'impression que diffuser l'image des femmes, c'est déjà une victoire parce que ça les humilie. » Pour les hommes, selon la même étude, dans neuf cas sur dix, la diffusion vise à les faire chanter pour obtenir quelque chose d’autres – argent, avantage politique, etc (on parle de sextorsion). Le même phénomène d’humiliation pure et simple semble se jouer dans le cas des hypertrucages qui visent des femmes.

• Le FBI observe une augmentation des tentatives de sextorsions au moyen de deepfakes

Outre les personnes dont les visages sont détournés, les actrices pornographiques sont, elles aussi, des victimes des deepfakes. Elles sont privées du consentement de voir les images de leur corps réutilisées dans un montage qui représente une autre femme. Et n'ont évidemment pas plus leur mot à dire sur l'usage de leurs contenus pour entraîner des versions #NSFW de divers modèles d'IA que le reste des internautes ne l'a pour les versions génériques.

Par ailleurs, la diffusion de deepfakes peut avoir un effet sur la présence des personnes visées dans l’espace public. Au Rwanda, la femme politique Diane Rwigara estime par exemple que les fausses images sexuelles la représentant ont servi à la discréditer lors de la course présidentielle de 2017.

Dans des communautés sujettes à plusieurs types de discrimination, « quand ça vise des femmes musulmanes, par exemple, le racisme agit comme facteur aggravant », indique Ketsia Mutombo, aussi coautrice de l’essai Politiser les cyberviolences. « Si d’habitude, elles portent le voile, et qu’elles se retrouvent dénudées de cette manière, elles reçoivent très peu de soutien. Des hommes viennent dire qu’elles n’auraient pas dû poster de photo pour commencer. »

Sauf que c’est méconnaître la réalité des usages numériques et la facilité avec laquelle une photo ou une vidéo peut désormais être détournée, pointe l’experte. « Ça pose la question de l’effacement visuel des femmes et des filles de l’espace numérique. »

Impossible sécurité numérique

Au quotidien, l’activiste explique rencontrer un nombre croissant de jeunes filles réticentes à poster des images d’elles en ligne, ou de manière « floutée, anonymisée. Ça n’est pas tant lié à une prise de conscience sur les questions de protection de la vie privée qu’à une logique de défense face aux pratiques misogynes. »

Quand on interroge Esther, de l’association Echap, sur des pistes de solutions, celle-ci avance un discours similaire : « On pourrait sensibiliser plus largement aux questions d’hygiène numérique, mais c’est facile à dire quand on sait que quelques photos suffisent à détourner l’image. » Point de vue technique, sa collègue Camilla déclare « tout à fait possible de créer des classifieurs qui reconnaissent les contenus en question, pour aider à les bannir ».

• Facebook lance son Deepfake Detection Challenge
• Facebook travaille sur la rétro-ingénierie des deepfakes et leur provenance

Une plateforme comme Mage Space explique par exemple utiliser des scans automatiques et un système de modération appelé « GIGACOP » pour trouver et bannir les deepfakes non consensuels. Malgré cela, le média 404 rapporte avoir trouvé sans peine des images visiblement créées sans l’accord des personnes concernées.

Évolution des cadres légaux

Une autre piste de solution, évoquée par plusieurs de nos interlocutrices, est celle de la loi. Dans Combattre le cybersexisme, Rachel-Flore Prado notait que le deepfake « peut-être constitutif du délit d’usurpation d’identité », passible, selon l’article 226-4-1 du Code pénal, d’un an d’emprisonnement et 15 000 euros d’amende. Lorsqu’il est commis par un conjoint, concubin ou partenaire de PACS, ce type d’acte est passible d’une peine deux fois plus lourde.

Surtout, la loi « sécuriser et réguler le numérique » pourrait poser un cadre spécifique à la problématique. En effet, début juillet, le Sénat a adopté diverses mesures ainsi résumées sur X (anciennement Twitter) par le ministre délégué chargé du Numérique Jean-Noël Barrot :

« Manipulation de l'information et de l'opinion publique : publier un deepfake représentant les paroles ou l'image d'une personne sans son consentement, et sans qu'il soit clairement établi qu'il s'agit d'un faux sera puni jusqu'à 2 ans de prison et 45 000 € d’amende. »

« Les deepfakes pornographiques : ce sont presque toujours des femmes dont la voix, le visage ou le corps sont reproduits de manière réaliste, pour humilier, harceler, faire chanter. Publier sans consentement de telles images sera puni jusqu'à 3 ans de prison et 75 000 € d’amende. »

• « Sécuriser et réguler » le numérique : ce que contient le projet de loi

Mais même si le texte passe en l’état, la question de son application reviendra sur la table, comme sur les questions de violences numériques au sens large.

Réagissant à la récente (et milliardième) polémique sur l’anonymat en ligne, l’avocat Alexandre Archambault soulignait sur Bluesky que le problème n’était pas tant celui de trouver ou pas les auteurs d’agressions numériques diverses que celle « du manque de moyens accordés à la justice donc aux services enquêteurs ». Comme lui, Féministes contre le cyberharcèlement critique divers pans du projet de loi et demande des moyens pour faire appliquer les cadres déjà existants.

Chantiers de sensibilisation

Chez Echap, Esther résume les multiples enjeux : « non seulement il faut que les victimes puissent avoir accès aux preuves, mais il faut encore qu’elles accèdent à leur droit de porter plainte. Or, pour ce sujet comme pour les autres affaires de violences sexistes et sexuelles, on sait très bien que certains dépositaires de la loi découragent le dépôt de plaintes. »

Résultat des courses, pointe Ketsia Mutombo, dans une étude publiée fin 2022 par Féministes contre le cyberharcèlement sur les cyberviolences au sens large, « 61 % des personnes interrogées déclaraient considérer que porter plainte ne sert à rien ». 70 % de celles qui l’avaient fait constataient que leurs plaintes n’avaient donné lieu à aucune poursuite.

Un dernier axe de travail cité par plusieurs interviewées relève – encore – de la sensibilisation, non pas à des questions techniques, cette fois, mais à celle du consentement.

« Le consentement doit être libre, éclairé, informé, et cela ne concerne pas que les actes physiques, explique ainsi Elvire Duvelle-Charles. Quand on crée des contenus pornographiques avec le corps de quelqu’un, on est déjà dans une dimension d’actes sexuels. Or ça relève de la vie privée et de l’intégrité de la personne », que de respecter son corps.