S'il est possible de générer des images à caractère pornographiques grâce à l’intelligence artificielle depuis 2017, le phénomène des deepfakes pornographiques a explosé avec l’accès du grand public à des outils simple d’utilisation comme Stable Diffusion, Dall-E ou Midjourney à partir de 2022 - 2023. Il n’est pas apparu dans un vortex, cela dit, et étend ses ramifications dans une variété de débats récurrents dans le monde numérique et dans la société au sens large.

Pour y voir plus clair, Next récapitule les points essentiels :

Qu’est-ce qu’un deepfake pornographique ? 


Un deepfake, mot-valise formé à partir de deep learning (« apprentissage profond ») et de fake (« faux », « contrefait »), ou hypertrucage, est une image créée à l’aide d’intelligence artificielle générative, dans le but de paraître réelle. Un deepfake pornographique, c’est la même chose, à ceci près qu’il s’agit de représenter un ou des corps humains dans des contextes sexuels. Ils peuvent être totalement « inventés », ou bien être dérivés du corps ou du visage de personnes bien réelles.

Si les deepfakes ont généré énormément de débats et d’inquiétudes en matière de désinformation (rappelez-vous les fausses vidéo de Tom Cruise ou Barack Obama), les premières études disponibles sur le phénomène montraient que l’immense majorité de la production visait plutôt à créer des contenus pornographiques.

À quel point est-ce fréquent ?

En 2019, Deeptrace avait ainsi analysé (.pdf) plus de 14 500 vidéos de deepfakes disponibles en ligne, et constaté que 96 % d’entre elles avaient un caractère pornographique. Sur ces dernières, l’intégralité représentait des femmes. Sur les 4 % restants de contenus deepfakes non pornographiques, en revanche, 39 % des vidéos représentaient des femmes, 61 % des hommes.

Avec l’accès à des outils grand public comme Stable Diffusion, Dall-E ou Midjourney, le paysage a évolué. En 2023, cela dit, une étude de Security Heroes s’est employée à analyser plus de 95 800 vidéos, 85 canaux dédiés à ce type de production sur diverses plateformes numériques, et plus de 100 sites web de l’écosystème de création de deepfakes.

Conclusions : sur l’échantillon analysé, 98 % des vidéos manipulées par IA relevaient de la pornographie. Sur ces 98 % de contenus, 99 % représentaient des femmes, et 94 % des personnes travaillant dans l’industrie culturelle (actrices, chanteuses, influenceuses, etc.). Un tiers des outils de création de deepfakes identifiés par les auteurs de l’étude était par ailleurs expressément dédié à créer des deepfakes pornographiques.

• Cyberdélinquance : 67 % des victimes sont des femmes, 80 % des mis en cause sont des hommes

Les deepfakes pornographiques constituent-ils un problème spécifique ?

La pornographie a toujours existé : dans une certaine mesure, l’intelligence artificielle générative permet simplement d’en créer de nouvelles formes. Cela dit, la facilité d’accès et d’usage des outils de deepfakes à des fins pornographiques pose un problème évident de misogynie, qui rejoint par endroit les débats sur la pornographie elle-même (est-il possible de produire une pornographie non sexiste ? Vous avez quatre heures, et des décennies de débats sur le sujet à explorer).

L’une des particularités de cette nouvelle manière de créer des images est sa simplicité d’accès : d’après Security Heroes, il suffit de 25 minutes pour créer gratuitement une vidéo deepfake pornographique de soixante secondes à partir d’une seule photo. Or, une autre partie du problème est qu'une part non négligeable (mais difficilement quantifiable) des images utilisées pour créer ces contenus le sont sans le consentement de leurs propriétaires.

De nombreux témoignages et récits ont ainsi émergé, de personnalités et de femmes moins connues. En Espagne, en Corée du Sud, aux États-Unis et ailleurs, des jeunes filles, parfois mineures, parfois des classes entières, sont visées par la publication d’images ainsi manipulées. Selon l’étude de Security Heroes, l’intensité du phénomène varie d’ailleurs d’un pays à un autre : sur le total des contenus analysés par le spécialiste de la cybersécurité, 53 % venaient de Corée du Sud, 20 % des États-Unis, 10 % du Japon et 6 % du Royaume-Uni.

Quels problèmes les deepfakes pornographiques posent-ils à leurs victimes ?

Victime d’agression sexuelle par le passé, la représentante états-unienne Alexandria Ocasio-Cortez a raconté que la découverte de deepfakes pornographique d’elle avait rouvert d’anciens traumatismes.

De fait, la publication d’images pornographiques d’une personne, quand bien même fausses et construites grâce à l’intelligence artificielle, n’est qu’un outil de plus dans l’arsenal des violences numériques. Violences dont la misogynie est un ressort suffisamment fréquent pour que le Royaume-Uni ait décidé de traiter sa version extrême comme une forme de terrorisme.

• En ligne, la misogynie utilisée pour saper la liberté d’expression

Associés aux autres types de diffusion non consentie d'images à caractère sexuel, aux injures, aux appels à la violence directe et aux autres outils de cyberviolence, les deepfakes pornographiques peuvent donc pousser leurs victimes à réduire leur participation à la vie numérique, à la vie démocratique (en France, Benjamin Griveaux s'était par exemple retiré de la campagne pour la Mairie de Paris après avoir été visé par une diffusion non consentie de vidéos – réelles – à caractère sexuel), voire en pousser certaines au suicide.

Sans même en arriver là, les deepfakes pornographiques comme les autres images à caractère sexuel diffusées sans le consentement des personnes qui y sont représentées démontrent la difficile application du droit à l’oubli. Si l’effacement de ces publications est essentiel aux yeux des victimes, explique l’avocate Rachel-Flore Pardo, il est quasiment impossible à faire respecter dans la réalité. Et pour cause : dans l’hypothèse où la modération serait parfaitement appliquée par les plateformes via lesquelles ces contenus sont diffusés, rien ne permet de garantir aux personnes visées que quelqu’un n’a pas enregistré l’image incriminée quelque part, dans le but de la rediffuser plus tard.

Les enjeux de modération des deepfakes pornographiques sont-ils les mêmes que ceux d’autres contenus problématiques ?

Oui et non. Pour résumer schématiquement, la modération de ces contenus peut s’opérer à deux endroits : au moment de la production et à celle de la diffusion.

Au moment de la production, cela signifie qu’il revient aux constructeurs de modèles d’intelligence artificielle (les fournisseurs, si l’on reprend la catégorisation du règlement européen sur l’intelligence artificielle), ou à leurs déployeurs (les entités qui créent un outil spécifique à partir de ces modèles pour en donner l’accès au plus grand nombre) de s’en occuper.

Les constructeurs des modèles les plus populaires ayant entraîné ces derniers sur des monceaux de données collectées sur internet, il est fort probable que ces derniers contiennent des images pornographiques — la base de données LAION-5B utilisée par des modèles comme Stable Diffusion a même été mis hors ligne plusieurs mois après que des images pédocriminelles y ont été identifiées. Faute de transparence, difficile de savoir dans quelle mesure les modèles sont concernés. Adobe ou Stable Diffusion ont, eux, mis en place des mesures de modération dès la formulation de requêtes (prompt) pour éviter que leurs modèles ne permettent de produire des images problématiques.

• Neurone, inférence, entraînement, hallucination… de quoi on parle ?

Du côté des déployeurs, selon leurs activités, ils auront plus ou moins intérêt à tenter d’empêcher la production de ce type d’image. Le bon tiers de services spécialisés dans les deepfakes pornographiques, et la part encore plus ouvertement dédiée à dénuder des images sans le consentement des personnes qui y sont représentées, ont a priori peu d’intérêt à se plier à ces requêtes de modération… sauf si la justice les rattrape.

L’autre étape de régulation possible, plus classique, est celle de la diffusion. Théoriquement, il revient dans ce cas aux plateformes sur lesquelles les images sont diffusées d’en limiter l’accès. Comme dans d’autres affaires de modération, des géants numériques comme Meta, Snapchat ou TikTok réagissent relativement correctement quand on leur signale la présence de contenus problématiques.

En revanche, une plateforme comme Telegram, à cheval entre la messagerie et le réseau social, est connue pour son absence de réaction aux demandes de régulation des contenus. Résultat, dans le scandale de deepfakes pornographiques qui secoue actuellement la Corée du Sud, c’est surtout sur cette plateforme qu'ont été trouvés des boucles de partages de deepnudes classés en fonction des établissements scolaires ou universitaires des filles et des femmes visées. Une logique de classification en tous points similaire, encore une fois, à celle des comptes « fisha », dédiés à la publication non consentie de contenus à caractère sexuel.

Autre spécificité en termes de modération : les contenus dont il est question étant de nature pornographique, ils sont aussi régulièrement uploadés sur des plateformes pornographiques généralistes ou dédiées aux contenus générés par IA. D’après l'étude menée en 2023 par Security Heroes, sept sites pornographiques sur dix contiennent des contenus générés par IA. Se pose donc aussi la question de leurs actions en matière de modération.

Dans le prochain article, nous revenons sur les réactions et réponses des géants du numérique, des banques, des autorités et de la société.