Deepfakes pornographiques : quand l’intelligence artificielle sert à humilier

Deepfakes pornographiques : quand l’intelligence artificielle sert à humilier

Pics that didn't happen

Avatar de l'auteur

Mathilde Saliou

Publié dansSociété numérique

22/09/2023
42
Deepfakes pornographiques : quand l’intelligence artificielle sert à humilier

Avec les progrès de l'IA, notamment générative, il n'a jamais été aussi simple de créer des deepfakes, ces manipulations d'images qui peuvent impliquer des personnes réelles. Certains s'en servent pour créer des montages pornographiques. Premières victimes de cette dérive : les femmes.

« Ah, je viens de tomber sur un truc horrible ! » Le 6 août, la youtubeuse Lena Situations publie l’un de ses habituels vlogs d’août (chaque année, elle publie une vidéo par jour pendant le mois d’été). À la huitième minute de sa vidéo, on la suit, en route pour aller rencontrer une copine, quand elle tombe sur un deepfake pornographique. À Marcus, l’ami qui l’accompagne, elle explique : « C'est des gens qui font des montages, ils mettent ta tête sur le corps d’une femme nue. (…) Et y a tellement de meufs sur internet qui vivent ça. C’est horrible. C’est dégueulasse. »

Si les prouesses d’un ChatGPT et des concurrents ont de quoi épater, si les progrès de l’intelligence artificielle tiennent largement en haleine, ces progrès technologiques apportent aussi leur lot d’usages négatifs. En matière de génération d’images, depuis 2018 au moins, des alertes se multiplient sur la question des deepfakes, aussi nommés hypertrucages, notamment à caractère pornographique.

L’arbre qui cache la forêt : les deepfakes de désinformation

Comme elle le dit elle-même, Lena Situations est loin d’être la seule visée par ce type d’agression. Vingt adolescentes espagnoles ont ainsi reçu, peu après la rentrée des classes, des deepfakes à caractère sexuel d'elles-mêmes.

Mais le phénomène n’a rien de neuf : dès 2018, un faux discours de Barack Obama avait atteint une telle viralité que le monde médiatique s’inquiétaient, déjà, des risques en matière de désinformation. Dans les années qui ont suivi, ce sont de fausses vidéos de Tom Cruise ou Kim Kardashian qui ont amusé les internautes.

Beaucoup plus politique, dans le cadre de la guerre qui oppose l’Ukraine à la Russie, une chaîne d’information ukrainienne s’est retrouvée contrainte à diffuser un faux message de capitulation du président Zelensky en mars 2022. Le 5 juin 2023, ç’a été au tour de plusieurs médias russes de perdre le contrôle et de diffuser, pendant 40 minutes, un faux messages d’évacuation du président Poutine, créé par deepfake.

En France, de la même manière, le visage et la voix d’Emmanuel Macron ont été détournés à de multiples reprises. Encore tout récemment, un mix du visage du youtubeur Squeezie avec celui du Président a largement circulé sur TikTok.

Si ces détournements créent d’évidentes problématiques de manipulation de l’information, ils ne constituent pas la majorité des deepfakes qui existent. En 2019, une étude de Deeptrace calculait par exemple que 96% de ces détournements avaient un caractère pornographique. Sur cette dernière catégorie, la totalité concernait des femmes : des inconnues, des célébrités, des femmes politiques, des streameuses, etc.

La cofondatrice de l’association Féministes contre le cyberharcèlement Ketsia Mutombo lie le phénomène à d’autres types de publications, comme celles d’images intimes de célébrités, après le hack de leurs clouds. Pour elle, il ne s'agit « pas d'une nouvelle violence en soi : c’est une pratique qui fait partie du slut-shaming, du fait de renvoyer très violemment une femme à sa sexualité. Car nous sommes dans une société qui, même si elle tient des discours progressistes, estime toujours honteux qu’une femme ait une sexualité ».

L’IA générative : vers l’« uberisation » des deepfakes ?

Or, en six ans, les technologies disponibles pour manipuler des images et du son ont fait des progrès et sont devenues beaucoup plus simple d’accès. En 2022, avec l’arrivée de Dall-E, Midjourney et de quantité d’autres modèles d’intelligence artificielle générative accessible au grand public, la facilité de production de faux contenus s’est démultipliée. Et, avec elle, les guides pour expliquer comment ça marche.

Effet parallèle : la création de contenus sexuels non consentis a aussi explosé, à un point « bien pire que ce qui a été couvert jusque-là », selon une enquête du média 404. L'article rapporte par exemple près de 65 000 téléchargements pour un outil uniquement dédié à créer des images de femmes aspergées de sperme. Autrice de Féminisme et réseaux sociaux, Elvire Duvelle-Charles considère justement que les deepfakes pornographiques s’inscrivent dans la continuité d’autres pratiques masturbatoires qui ont éclos à l’ère d’internet – ce que tendrait aussi à confirmer un témoignage comme celui de la streameuse Maghla.

Les outils destinés à aider à la création de contenu avec Stable Diffusion ou d’autres modèles sont légion. Tous, ou presque, disposent d’une catégorie classée #NSFW où les utilisateurs, comme ailleurs, partagent leurs productions et des conseils pour réaliser de meilleurs prompts.

Et ces outils visent le grand public. Pour preuve : sur les plateformes de Meta, en mars, des centaines de publicités ont été diffusées auprès des internautes pour vanter les services d'une application avec laquelle réaliser facilement des deepfakes. Le visage de l’actrice Emma Watson était utilisé à l’envi dans les publicités, de préférence pour la placer dans des positions évoquant le début d’un film pornographique, et ce, malgré l’interdiction de contenus « pour adultes » dans les conditions d’utilisation de Meta. Auprès de NBC et d’Insider, l’entreprise a expliqué avoir finalement supprimé les publicités. L'application, elle, a été supprimée de plusieurs app stores.

Auprès de 404, l’expert de l’analyse d’images numériques Hany Farid déclare que la menace a évolué : si, jusque-là, elle concernait principalement les personnes ayant une large surface numérique, « elle concerne désormais n’importe qui, même avec une empreinte numérique modeste ». Par ailleurs, note Ketsia Mutombo, là où, pour les « comptes fisha » et autres diffusions non consenties d’images à caractère sexuel, « il fallait généralement la complicité d’un partenaire ou d’un ex violent, avec les deepfakes, n’importe quel anonyme peut produire le contenu ».

« Les deepfakes posent la question du consentement, hors ligne comme en ligne, déclare Elvire Duvelle-Charles. Il y a une forme de déshumanisation des célébrités ou des personnes dont les images sont utilisées, et je me demande franchement si les auteurs ont conscience de l’effet que ça produit sur les concernées. »

Multiples conséquences pour les personnes visées

Au niveau le plus intime, certaines victimes ressentent la manipulation numérique de leur image comme une réelle violation. Auprès de Marie-Claire, l’actrice Enora Malagré, qui a découvert le concept de deepfake pornographique en même temps qu’elle apprenait en être victime, déclare ainsi : « J’ai fondu en larmes et j’ai ressenti une nausée physique, l’envie de vomir. » Poète britannique victime de ce type de diffusion, Helen Mort expliquait à la BBC « faire encore des cauchemars » au sujet des images plus d’un an après les avoir découvertes.

Dans le cas de la diffusion non consentie d’images réelles à caractère sexuel (souvent réduite à la notion de « revenge porn »), une étude de l’Université d’Exeter a démontré que dans l’immense majorité des cas, les agressions contre les femmes consistent uniquement à diffuser leur(s) image(s) sexualisée(s). Auprès de Slate, l’avocate et cofondatrice de l’association Stop Fisha Rachel-Flore Pardo notait : « On a l'impression que diffuser l'image des femmes, c'est déjà une victoire parce que ça les humilie. » Pour les hommes, selon la même étude, dans neuf cas sur dix, la diffusion vise à les faire chanter pour obtenir quelque chose d’autres – argent, avantage politique, etc (on parle de sextorsion). Le même phénomène d’humiliation pure et simple semble se jouer dans le cas des hypertrucages qui visent des femmes.

Outre les personnes dont les visages sont détournés, les actrices pornographiques sont, elles aussi, des victimes des deepfakes. Elles sont privées du consentement de voir les images de leur corps réutilisées dans un montage qui représente une autre femme. Et n'ont évidemment pas plus leur mot à dire sur l'usage de leurs contenus pour entraîner des versions #NSFW de divers modèles d'IA que le reste des internautes ne l'a pour les versions génériques.

Par ailleurs, la diffusion de deepfakes peut avoir un effet sur la présence des personnes visées dans l’espace public. Au Rwanda, la femme politique Diane Rwigara estime par exemple que les fausses images sexuelles la représentant ont servi à la discréditer lors de la course présidentielle de 2017.

Dans des communautés sujettes à plusieurs types de discrimination, « quand ça vise des femmes musulmanes, par exemple, le racisme agit comme facteur aggravant », indique Ketsia Mutombo, aussi coautrice de l’essai Politiser les cyberviolences. « Si d’habitude, elles portent le voile, et qu’elles se retrouvent dénudées de cette manière, elles reçoivent très peu de soutien. Des hommes viennent dire qu’elles n’auraient pas dû poster de photo pour commencer. » 

Sauf que c’est méconnaître la réalité des usages numériques et la facilité avec laquelle une photo ou une vidéo peut désormais être détournée, pointe l’experte. « Ça pose la question de l’effacement visuel des femmes et des filles de l’espace numérique. »

Impossible sécurité numérique

Au quotidien, l’activiste explique rencontrer un nombre croissant de jeunes filles réticentes à poster des images d’elles en ligne, ou de manière « floutée, anonymisée. Ça n’est pas tant lié à une prise de conscience sur les questions de protection de la vie privée qu’à une logique de défense face aux pratiques misogynes. »

Quand on interroge Esther, de l’association Echap, sur des pistes de solutions, celle-ci avance un discours similaire : « On pourrait sensibiliser plus largement aux questions d’hygiène numérique, mais c’est facile à dire quand on sait que quelques photos suffisent à détourner l’image. » Point de vue technique, sa collègue Camilla déclare « tout à fait possible de créer des classifieurs qui reconnaissent les contenus en question, pour aider à les bannir ».

Une plateforme comme Mage Space explique par exemple utiliser des scans automatiques et un système de modération appelé « GIGACOP » pour trouver et bannir les deepfakes non consensuels. Malgré cela, le média 404 rapporte avoir trouvé sans peine des images visiblement créées sans l’accord des personnes concernées.

Évolution des cadres légaux

Une autre piste de solution, évoquée par plusieurs de nos interlocutrices, est celle de la loi. Dans Combattre le cybersexisme, Rachel-Flore Prado notait que le deepfake « peut-être constitutif du délit d’usurpation d’identité », passible, selon l’article 226-4-1 du Code pénal, d’un an d’emprisonnement et 15 000 euros d’amende. Lorsqu’il est commis par un conjoint, concubin ou partenaire de PACS, ce type d’acte est passible d’une peine deux fois plus lourde.

Surtout, la loi « sécuriser et réguler le numérique » pourrait poser un cadre spécifique à la problématique. En effet, début juillet, le Sénat a adopté diverses mesures ainsi résumées sur X (anciennement Twitter) par le ministre délégué chargé du Numérique Jean-Noël Barrot :



« Manipulation de l'information et de l'opinion publique : publier un deepfake représentant les paroles ou l'image d'une personne sans son consentement, et sans qu'il soit clairement établi qu'il s'agit d'un faux sera puni jusqu'à 2 ans de prison et 45 000€ d’amende. »



« Les deepfakes pornographiques : ce sont presque toujours des femmes dont la voix, le visage ou le corps sont reproduits de manière réaliste, pour humilier, harceler, faire chanter. Publier sans consentement de telles images sera puni jusqu'à 3 ans de prison et 75 000€ d’amende. »

Mais même si le texte passe en l’état, la question de son application reviendra sur la table, comme sur les questions de violences numériques au sens large.

Réagissant à la récente (et milliardième) polémique sur l’anonymat en ligne, l’avocat Alexandre Archambault soulignait sur Bluesky que le problème n’était pas tant celui de trouver ou pas les auteurs d’agressions numériques diverses que celle « du manque de moyens accordés à la justice donc aux services enquêteurs ». Comme lui, Féministes contre le cyberharcèlement critique divers pans du projet de loi et demande des moyens pour faire appliquer les cadres déjà existants.

Chantiers de sensibilisation

Chez Echap, Esther résume les multiples enjeux : « non seulement il faut que les victimes puissent avoir accès aux preuves, mais il faut encore qu’elles accèdent à leur droit de porter plainte. Or, pour ce sujet comme pour les autres affaires de violences sexistes et sexuelles, on sait très bien que certains dépositaires de la loi découragent le dépôt de plaintes. »

Résultat des courses, pointe Ketsia Mutombo, dans une étude publiée fin 2022 par Féministes contre le cyberharcèlement sur les cyberviolences au sens large, « 61 % des personnes interrogées déclaraient considérer que porter plainte ne sert à rien ». 70 % de celles qui l’avaient fait constataient que leurs plaintes n’avaient donné lieu à aucune poursuite.

Un dernier axe de travail cité par plusieurs interviewées relève – encore – de la sensibilisation, non pas à des questions techniques, cette fois, mais à celle du consentement.

« Le consentement doit être libre, éclairé, informé, et cela ne concerne pas que les actes physiques, explique ainsi Elvire Duvelle-Charles. Quand on crée des contenus pornographiques avec le corps de quelqu’un, on est déjà dans une dimension d’actes sexuels. Or ça relève de la vie privée et de l’intégrité de la personne », que de respecter son corps. 

42
Avatar de l'auteur

Écrit par Mathilde Saliou

Tiens, en parlant de ça :

#Flock a sa propre vision de l’inclusion

Retour à l’envoyeur

13:39 Flock 15
Un Sébastien transformé en lapin par Flock pour imiter le Quoi de neuf Docteur des Looney Tunes

Quoi de neuf à la rédac’ #10 : nous contacter et résumé de la semaine

On est déjà à la V2 de Next ?

11:55 22
Autoportrait Sébastien

[Autoportrait] Sébastien Gavois : tribulations d’un pigiste devenu rédac’ chef

Me voilà à poil sur Internet

17:18 Next 16

Sommaire de l'article

Introduction

L’arbre qui cache la forêt : les deepfakes de désinformation

L’IA générative : vers l’« uberisation » des deepfakes ?

Multiples conséquences pour les personnes visées

Impossible sécurité numérique

Évolution des cadres légaux

Chantiers de sensibilisation

#Flock a sa propre vision de l’inclusion

Flock 15
Un Sébastien transformé en lapin par Flock pour imiter le Quoi de neuf Docteur des Looney Tunes

Quoi de neuf à la rédac’ #10 : nous contacter et résumé de la semaine

22
Autoportrait Sébastien

[Autoportrait] Sébastien Gavois : tribulations d’un pigiste devenu rédac’ chef

Next 16
Logo de StreetPress

Pourquoi le site du média StreetPress a été momentanément inaccessible

Droit 14
Amazon re:Invent

re:Invent 2023 : Amazon lance son assistant Q et plusieurs services IA, dont la génération d’images

IA 10
Un œil symbolisant l'Union européenne, et les dissensions et problèmes afférents

Le Conseil de l’UE tire un bilan du RGPD, les États membres réclament des « outils pratiques »

Droit 4

19 associations européennes de consommateurs portent plainte contre Meta

DroitSocials 15

#LeBrief : Ariane 6 l’été prochain, Nextcloud rachète Roundcube, désinformation via la pub

Chiffre et formules mathématiques sur un tableau

CVSS 4.0 : dur, dur, d’être un expert !

Sécu 11
Une tête de fusée siglée Starlink.

Starlink accessible à Gaza sous contrôle de l’administration israélienne

Web 34
Fibre optique

G-PON, XGS-PON et 50G-PON : jusqu’à 50 Gb/s en fibre optique

HardWeb 52
Photo d'un immeuble troué de part en part

Règlement sur la cyber-résilience : les instances européennes en passe de conclure un accord

DroitSécu 10
lexique IA parodie

AGI, GPAI, modèles de fondation… de quoi on parle ?

IA 10

#LeBrief : logiciels libres scientifiques, fermeture de compte Google, « fabriquer » des femmes pour l’inclusion

livre dématérialisé

Des chercheurs ont élaboré une technique d’extraction des données d’entrainement de ChatGPT

IAScience 3
Un chien avec des lunettes apprend sur une tablette

Devenir expert en sécurité informatique en 3 clics

Sécu 11
Logo ownCloud

ownCloud : faille béante dans les déploiements conteneurisés utilisant graphapi

Sécu 16
Le SoC Graviton4 d’Amazon AWS posé sur une table

Amazon re:invent : SoC Graviton4 (Arm), instance R8g et Trainium2 pour l’IA

Hard 12
Logo Comcybergend

Guéguerre des polices dans le cyber (OFAC et ComCyberMi)

Sécu 10

#LeBrief : faille 0-day dans Chrome, smartphones à Hong Kong, 25 ans de la Dreamcast

Mur d’OVHcloud à Roubaix, avec le logo OVHcloud

OVHcloud Summit 2023 : SecNumCloud, IA et Local Zones

HardWeb 2
algorithmes de la CAF

Transparence, discriminations : les questions soulevées par l’algorithme de la CAF

IASociété 62

Plainte contre l’alternative paiement ou publicité comportementale de Meta

DroitIA 38
Nuage (pour le cloud) avec de la foudre

Économie de la donnée et services de cloud : l’Arcep renforce ses troupes

DroitWeb 0
De vieux ciseaux posés sur une surface en bois

Plus de 60 % des demandes de suppression reçues par Google émanent de Russie

Société 7
Une vieille boussole posée sur un plan en bois

La Commission européenne et Google proposent deux bases de données de fact-checks

DroitWeb 3

#LeBrief : des fichiers Google Drive disparaissent, FreeBSD 14, caméras camouflées, OnePlus 12

Le poing Dev – round 6

Next 151

Produits dangereux sur le web : nouvelles obligations en vue pour les marketplaces

Droit 9
consommation de l'ia

Usages et frugalité : quelle place pour les IA dans la société de demain ?

IA 12

La NASA établit une liaison laser à 16 millions de km, les essais continuent

Science 17
Concept de CPU

Semi-conducteurs : un important accord entre l’Europe et l’Inde

Hard 7

#LeBrief : PS5 Slim en France, Valeo porte plainte contre NVIDIA, pertes publicitaires X/Twitter

next n'a pas de brief le week-end

Le Brief ne travaille pas le week-end.
C'est dur, mais c'est comme ça.
Allez donc dans une forêt lointaine,
Éloignez-vous de ce clavier pour une fois !

Commentaires (42)


pamputt Abonné
Il y a 2 mois

Comme très bien indiqué dans cet article, ce genre de montage à caractère sexuel/pornographique a toujours existé. Avant, ça se faisait avec Photoshop, maintenant avec de l’IA. Ce qui change, c’est qu’on peut faire ce genre de montage très rapidement et de manière beaucoup plus réaliste.
Maintenant, il faudrait voir comment sont diffusées ses images. Si c’est pour faire chanter une victime, le chantage laisse normalement des traces. Donc on en revient encore et toujours avec les moyens insuffisants de la justice.



En tout cas merci pour cet résumé fouillé de l’état de la situation.


misocard Abonné
Il y a 2 mois

Une des choses à noter c’est que c’est apparemment devenu trivial. L’article cite l’affaire en Espagne où ce sont des adolescentes qui sont victimes d’autres ado.




With the slogan “Undress anybody, undress girls for free”, the app allows users to take the clothes off from anyone who appears in their phone’s picture gallery. It costs €10 to create 25 naked images.




Je ne pense pas que ce sera quelque chose qui sera résolu uniquement par la répression, il va falloir éduquer les gens à “pourquoi c’est mal”.


Doc_Nimbus Abonné
Il y a 2 mois

Merci pour cet article, aussi instructif que glaçant.


anagrys Abonné
Il y a 2 mois

Pour moi, le danger est réel, mais le principal problème tient à cette remarque, tirée de l’article :




demande des moyens pour faire appliquer les cadres déjà existants.




On n’a peut-être pas besoin d’une ènième loi qui se contentera de répéter ce qui existe, on a besoin d’avoir des moyens de remonter aux personnes qui font ce genre de choses, et de leur appliquer les sanctions déjà prévues par la loi.


darkjack Abonné
Il y a 2 mois

Entièrement d’accord!
Faire de nouvelles lois pour des actes déjà punis avec le code pénal actuel… Alors que nous sommes le pays du monde avec le plus de lois, et aussi le plus de lois non appliquées en raison de leurs désuétudes.
On ne remplace pas des moyens humains par des lois que l’on n’a pas la capacité d’appliquer, des numéros verts ou des caméras.


Passific Abonné
Il y a 2 mois

Une image d’article réalisée par Flock ? C’est une première ou j’ai raté qqc ?
Bon, je vais lire l’article maintenant :transpi:



Edit: non c’est pas la première fois ! Mince, maintenant je vais devoir les chercher :D


florent_a Abonné
Il y a 2 mois

Excellent article !
Je ne peux qu’être d’accord avec notamment cette conclusion :
le problème n’était pas tant celui de trouver ou pas les auteurs d’agressions numériques diverses que celle « du manque de moyens accordés à la justice donc aux services enquêteurs ». Comme lui, Féministes contre le cyberharcèlement critique divers pans du projet de loi et demande des moyens pour faire appliquer les cadres déjà existants.


alex.d. Abonné
Il y a 2 mois

C’est bien de mettre l’accent sur les femmes, mais il ne faut pas minimiser l’impact que ça a sur les hommes. Il suffit de demander à Benjamin Griveaux s’il pense que pour les hommes, la diffusion d’images pornographiques les concernant n’a aucun impact.


Jean de Tolbiac Abonné
Il y a 2 mois

Tout à fait. Cela dit, pour M. Griveaux, ce n’était pas un deepfake.


consommateurnumérique Abonné
Il y a 2 mois

À mon humble avis, le jour où on prendra en considération l’ampleur du phénomène touchant les femmes, on aura pris en compte de facto le phénomène concernant les hommes.



Par exemple, un phénomène qui touche les hommes et dont on parle de plus en plus : le catfishing



https://fr.wikipedia.org/wiki/Catfishing :




Un catfish (litt. poisson-chat) ou catfisher est une personne qui se fait passer pour quelqu’un d’autre, utilisant de fausses photos de profil, de faux noms et se faisant souvent passer pour une personne d’un autre sexe pour extorquer de l’argent à ses cibles



Ami-Kuns Abonné
Il y a 2 mois

Franchement, on met ma tête sur un porno, j’en demande une copie FHD (Avis personnel). ( En tant qu’homme, pas trop gênant, mais doit être horrible pour la gente féminine ). :transpi: :craint:


vizir67 Abonné
Il y a 2 mois

ces progrès technologiques apportent aussi leurs lots d’usages négatifs



comme d’hab., quoi ! :fumer:
(à chaque fois les progrès sont détournés par ‘des-p’tits-malins’)


eb303 Abonné
Il y a 2 mois

Merci pour l’article. C’est absolument terrifiant de voir ça, on aurait pu penser qu’il y aurait eu un minimum de prise de conscience, mais non, toujours et encore les mêmes choses avec des moyens de plus en plus puissants, et donc de plus en plus ignoble. C’est pas gagné… 😞


B1gBr0ther Abonné
Il y a 2 mois

(quote:2154265:Jean de Tolbiac)
Tout à fait. Cela dit, pour M. Griveaux, ce n’était pas un deepfake.




(étant vendredi je peux me permettre :)
ce n’était pas un dickfake non plus.
déso. :D


Alyafride Abonné
Il y a 2 mois

Quelqu’un calé en droit pourrait m’éclairer là dessus :
« Manipulation de l’information et de l’opinion publique : publier un deepfake représentant les paroles ou l’image d’une personne sans son consentement, et sans qu’il soit clairement établi qu’il s’agit d’un faux sera puni jusqu’à 2 ans de prison et 45 000€ d’amende. »




Le “et” est pas impératif, à partir du moment où il n’y a pas de consentement, ça deviendrait illégale que l’image soit signalé comme fausse ou non ? Si ce n’est pas le cas il me semble y avoir un sérieux trou dans le raquette.


Mihashi Abonné
Il y a 2 mois

Le « et » n’est pas facultatif.
Si le diffuseur indique que c’est un deepfake, alors pas de souci pour le faire sans consentement (en tout cas ça ne sera pas de la « manipulation de l’information et de l’opinion publique »).


merlin171 Abonné
Il y a 2 mois

1- je trouve l’IA pas si Intelligente dans ce cas. Ça doit bien pouvoir ce mettre en place des limitations à ce niveau.



A quand des fakeporn avec les patrons de l’IA?



2- A quand une mise a jour de l’intelligence humaine? Parce que franchement c’est du grand n’importe quoi …


eglyn Abonné
Il y a 2 mois

Non, car par exemple, avec Stable Diffusion, tout est en local, je ne vois pas comment tu pourrais mettre des limitations.



Je pense que des limitations existent déjà en revanche pour les outils comme Dall-E, Midjourney etc…


vizir67 Abonné
Il y a 2 mois

  • A quand des ‘Fakeporn’ avec les patrons de l’IA. ?



l’arroseur, arrosé ! :francais:


Ethan23 Abonné
Il y a 2 mois

(reply:2154271:Ami-Kuns)




C’est parce que tu penses que l’on va mettre ton visage sur la personne active. Rien n’empêche n’ont plus de mettre ses visages sur des victimes qui subissent des actes dégradants.



Ce n’est plus du tout la même chose là.


loser Abonné
Il y a 2 mois

Car nous sommes dans une société qui, même si elle tient des discours progressistes, estime toujours honteux qu’une femme ait une sexualité





Ces génies ont donc tous été conçus par fécondation in vitro. Bien bien.



:facepalm:


misocard Abonné
Il y a 2 mois

(reply:2154271:Ami-Kuns)




Si j’ai bien compris l’article la différence Homme / Femme viendrait de la vue de la société sur le sujet




c’est une pratique qui fait partie du slut-shaming, du fait de renvoyer très violemment une femme à sa sexualité. Car nous sommes dans une société qui, même si elle tient des discours progressistes, estime toujours honteux qu’une femme ait une sexualité




Comme dit plus haut, ta réaction serait elle la même si c’était une fausse vidéo de toi en train de te faire sodomiser ?


Ami-Kuns Abonné
Il y a 2 mois

Étant oblige de subir une coloscopie annuel pourrait peut-être apprécier. L’avenir n’est pas fixe.


SebGF Abonné
Il y a 2 mois


Ces génies ont donc tous été conçus par fécondation in vitro. Bien bien.



:facepalm:




C’est là où je me dis qu’un des autres axes d’amélioration de nos sociétés (qui n’arrivera pas demain), c’est notre rapport à la sexualité. Aussi longtemps qu’elle sera considérée comme taboue et honteuse, elle pourra être une source d’intimidation.



Peu importe le moyen avec lequel la source d’intimidation aura été produite.



C’est aussi la raison pour laquelle la vie privée est une chose importante à protéger : se protéger des jugements idiots qui peuvent nuire.


consommateurnumérique Abonné
Il y a 2 mois

C’est un fait que le désir féminin est tabou. Pourtant on le voit partout, dans la pub commerciale… et même dans les magazines féminins où on voit l’injonction d’avoir une sexualité active et épanouie.



Il y avait une association féministe qui était très active il y a qques années, qui s’appelait «Ni putes, ni soumises» : la vision masculine de la femme soit active sexuellement, soit maman au foyer.


vizir67 Abonné
Il y a 2 mois

la vie privée est une chose importante à protéger



à l’heure des RS., c’est pas gagné !
là..où tt.-le-monde raconte sa vie en détails !



≠ partage, tu comprends ? :non:


refuznik Abonné
Il y a 2 mois

+1
A une époque bien avant les deepfake et autres, dans la boite où je travaillais une femme vient postuler à une offre d’emploi.



CV normal mais le recruteur en faisant une recherche google avec son nom+prénom tombe sur des sites de porn. Bien entendu elle était pas dedans mais son ex l’avait référencé là-dessus.



Bref pas besoin d’images, de montages ou de vidéos, déja à l’époque le simple fait après une recherche d’être redirigé sur des sites de porn suffisait pour te pourrir la vie.
D’ailleurs elle n’a pas été prise à cause de ça.


SebGF Abonné
Il y a 2 mois

refuznik

+1 A une époque bien avant les deepfake et autres, dans la boite où je travaillais une femme vient postuler à une offre d’emploi.

CV normal mais le recruteur en faisant une recherche google avec son nom+prénom tombe sur des sites de porn. Bien entendu elle était pas dedans mais son ex l’avait référencé là-dessus.

Bref pas besoin d’images, de montages ou de vidéos, déja à l’époque le simple fait après une recherche d’être redirigé sur des sites de porn suffisait pour te pourrir la vie. D’ailleurs elle n’a pas été prise à cause de ça.

C’est quand même hallucinant de voir qu’on puisse être encore aussi arriéré.



Mais bon, je me dis que les “deepfakes” et compagnie seront peut-être un déclencheur pour arrêter de se focaliser sur ce genre d’idiotie. Les images dans nos sociétés sont aux 34 (à la louche) des faux : les “idéaux” de beauté, la fiction, les médias sociaux qui ne sont que de la mise en scène, le porno aussi, la télé réalité est plus scénarisée qu’un film, le “storytelling” qui ne s’intéresse qu’à ce qui l’arrange, etc.



Peut-être qu’à un moment on finira par prendre conscience qu’à peu près tout ce qui nous entoure est artificiel et ne plus leur accorder une telle importance.



Mais au fond de moi, je n’y crois pas.


vizir67 Abonné
Il y a 2 mois

SebGF

C’est quand même hallucinant de voir qu’on puisse être encore aussi arriéré.

Mais bon, je me dis que les “deepfakes” et compagnie seront peut-être un déclencheur pour arrêter de se focaliser sur ce genre d’idiotie. Les images dans nos sociétés sont aux 34 (à la louche) des faux : les “idéaux” de beauté, la fiction, les médias sociaux qui ne sont que de la mise en scène, le porno aussi, la télé réalité est plus scénarisée qu’un film, le “storytelling” qui ne s’intéresse qu’à ce qui l’arrange, etc.

Peut-être qu’à un moment on finira par prendre conscience qu’à peu près tout ce qui nous entoure est artificiel et ne plus leur accorder une telle importance.

Mais au fond de moi, je n’y crois pas.

qu’à peu près tout ce qui nous entoure est artificiel et
ne plus leur accorder une telle importance.



on y-arrivera (à force de faux), mais ce sera très très lent !
dans …. ans !




  • c’est ce qu’aura réussie à faire ‘Internet’
    qui a ses BONS côtés (c’est indéniable), mais ça c’est le revers de la médaille
    son côté sombre !!! :mad:


SebGF Abonné
Il y a 2 mois

eglyn a dit:


Je pense que des limitations existent déjà en revanche pour les outils comme Dall-E, Midjourney etc…




Oui, il y a des filtres. Même GitHub Copilot a un proxy qui filtre les requêtes avant de les soumettre au modèle et analyse le retour pour réduire le risque de produire du contenu dangereux.



Mais même sur StableDiffusion la plupart des fronts ont des options pour bloquer le NSFW. Mais comme tu dis, impossible de contrôler en local.


elken Abonné
Il y a 2 mois

et puis y a une chaine twitch de “Clad3815” IA de Mélenchon et Macron qui répondent au chat H24”


kd9 Abonné
Il y a 2 mois

merlin171 a dit:


1- je trouve l’IA pas si Intelligente dans ce cas. Ça doit bien pouvoir ce mettre en place des limitations à ce niveau.



A quand des fakeporn avec les patrons de l’IA?



2- A quand une mise a jour de l’intelligence humaine? Parce que franchement c’est du grand n’importe quoi …




Comme dit eglyn c’est utilisable en local, et tu peux sans soucis te créer un système spécialement fait pour faire un gros service en ligne que pour du NSFW.
Le soucis n’est pas l’outil ni les lois, mais de faire respecter celles existantes et de poursuivre réellement les auteurs.



Car aujourd’hui c’est sur le thème du NSFW mais quid dans quelques années avec d’autres situations. Le but est vraiment de pouvoir condamner les personnes utilisant un outil pour jeter un discrédit ou tromper une personne, quelque soit la raison. Car techniquement, ça fait des années que des personnes font des fakes de nudes, je pense depuis la création de paint. Et pourtant paint n’est pas interdit.


OB Abonné
Il y a 2 mois

misocard a dit:


Une des choses à noter c’est que c’est apparemment devenu trivial. L’article cite l’affaire en Espagne où ce sont des adolescentes qui sont victimes d’autres ado.



Je ne pense pas que ce sera quelque chose qui sera résolu uniquement par la répression, il va falloir éduquer les gens à “pourquoi c’est mal”.




Merci de ce commentaire.
Car je pense exactement la même chose. Augmenter le nombre d’enquêteur n’aidera en rien l’explosion, et à part arriver à une situation où la moitié de la population travaillera à mettre en taule l’autre moitier, je vois pas trop d’issue.
A part l’éducation. Qui commence déjà par le simple “ne fait pas aux autre ce que tu ne veux pas qu’ils te fassent”, qui est valable pour le revenge porn, le harcèlement, le deep fake, …



L’autre solution c’est de diffuser tellement de deepfake de tout et n’importe quoi que plus rien n’aura de sens ni de crédibilité. Et à mon sens c’est presque possible de lancer des instances d’IA en boucle écumer les sites d’info & pornhub , créer des deepfake avec les 2, puis passer son temps à inonder insta, tiktop meta et autres , sans aucun filtre ni logique ni rien.



Car à un moment, la répression a ses limites aussi.
Si tout le monde se mettait à prendre des couteaux pour tuer tous les autres, finalement, on dirais quoi ? qu’on va mettre des flics dans chaque foyers ?


vizir67 Abonné
Il y a 2 mois

on commence déjà par le simple :
“ne fait pas aux autre ce que tu ne veux pas qu’ils te fassent”



qu’est-ce que tu veux que je te dise (soupir) ?
“MÊME ça..c’est déjà TROP, pourtant c’est pas trop difficile à comprendre, non” ? :fumer:


consommateurnumérique Abonné
Il y a 2 mois

Je ne comprends pas vos 2 commentaires. Vous êtes en train de dire que la solution serait de considérer toute image comme du faux ?



Si oui, pas la peine de considérer fiables des sources, des images, des textes, etc. C’est d’ailleurs comme ça que fonctionne le complotisme (tout est manipulation).



Moi je dirais le contraire : sélectionner, préserver des images qu’on considère comme fiables, punir les manipulations, développer la déontologie, éduquer aux images. On a toujours fait comme ça, quelque soit le support de communication.


SebGF Abonné
Il y a 2 mois

(quote:2154551:consommateurnumérique)
Je ne comprends pas vos 2 commentaires. Vous êtes en train de dire que la solution serait de considérer toute image comme du faux ?




Pas de manière aussi extrême, mais plutôt de s’éduquer à l’image comme tu le dis. Savoir développer son sens critique et apprendre à prendre du recul et étudier le contexte d’un document avant de s’enflammer dessus. En gros, dès qu’une image fait “le buzz”, ça doit déclencher une sonnette d’alarme : pourquoi elle le fait, pourquoi déclenche-t-elle une telle émotion, et dans quel but celle-ci a-t-elle été diffusée, etc.



Car c’est là une bonne partie de la source des “fake news” : une image (animée ou non) sortie de son contexte (plus vieille que les “faits” qu’elle accompagne, détournement, montage, habile recadrage, etc) et accompagnée d’une interprétation visant à tromper pour déclencher une réaction émotionnelle. Et pour le coup, les images fabriquées de toute pièce utilisées à des fins de désinformation ça ne date pas de l’IA générative : c’est arrivé avec des extraits de fiction comme des films ou séries télévisées.


potn Abonné
Il y a 2 mois

Ça existe le même genre de trucs qui viserait les hommes (puisque d’après l’article la majorité/totalité des deepfakes pornos concernent des femmes) ?


consommateurnumérique Abonné
Il y a 2 mois

Ce n’est pas un deepfake mais il y a l’affaire de la sextape et du chantage présumé du maire de St Étienne sur son 1er adjoint (catholique engagé).




SebGF Abonné
Il y a 2 mois

pierreonthenet a dit:


Ça existe le même genre de trucs qui viserait les hommes (puisque d’après l’article la majorité/totalité des deepfakes pornos concernent des femmes) ?




Oui, des faux “nudes” de célébrités masculines existent aussi. Parfois sous forme de fantasme homosexuel même.


potn Abonné
Il y a 2 mois

(reply:2154578:consommateurnumérique)




Merci, mais ce qui m’intéresse ici est de savoir si les hommes pourraient eux aussi être touchés par ce type de deepfake aujourd’hui.



OK, mais est-ce issu de deepfakes, et surtout ces outils sont-ils aussi accessibles que ceux “féminins” ?


SebGF Abonné
Il y a 2 mois

potn

(reply:2154578:consommateurnumérique)

Merci, mais ce qui m’intéresse ici est de savoir si les hommes pourraient eux aussi être touchés par ce type de deepfake aujourd’hui.

OK, mais est-ce issu de deepfakes, et surtout ces outils sont-ils aussi accessibles que ceux “féminins” ?

J’ai pas la prétention d’avoir fait une étude comparative, mais des quelques éléments que j’ai pu voir c’est comme pour le féminin : ça va du montage grossier à l’intégration très propre, probablement issue de l’IA générative aussi.



Sur Civitai il y a beaucoup de LoRA entraînés avec des célébrités masculines au même titre que les célébrités féminines. Et comme il y a aussi pas mal de modèles capables de produire du NSFW photo-réaliste assistés de quelques LoRA pour les éléments plus spécialisés, et pour en avoir vu sur la plateforme (car je ne filtre pas le contenu adulte dessus, il ne me fait pas peur), je peux confirmer sur ce point qu’il y a de la production de fausses images de nus, voire à caractère pornographique, pour des hommes aussi.


potn Abonné
Il y a 2 mois

SebGF

J’ai pas la prétention d’avoir fait une étude comparative, mais des quelques éléments que j’ai pu voir c’est comme pour le féminin : ça va du montage grossier à l’intégration très propre, probablement issue de l’IA générative aussi.

Sur Civitai il y a beaucoup de LoRA entraînés avec des célébrités masculines au même titre que les célébrités féminines. Et comme il y a aussi pas mal de modèles capables de produire du NSFW photo-réaliste assistés de quelques LoRA pour les éléments plus spécialisés, et pour en avoir vu sur la plateforme (car je ne filtre pas le contenu adulte dessus, il ne me fait pas peur), je peux confirmer sur ce point qu’il y a de la production de fausses images de nus, voire à caractère pornographique, pour des hommes aussi.

Merci ! :inpactitude: