Connexion Abonnez-vous

Vague massive de deepfakes générés par Grok : la justice française étend son enquête

IA pas de consentement

Vague massive de deepfakes générés par Grok : la justice française étend son enquête

Grok a généré des deepfakes de femmes déshabillées sans leur consentement, parfois des mineures, à la demande massive d'utilisateurs de X qui ont créé une tendance sur ce réseau. La justice française ajoute cette pièce au désormais épais dossier contre les deux entreprises d'Elon Musk.

Le 05 janvier à 15h01

La semaine dernière, avant le réveillon de la Saint-Sylvestre, nombre d'utilisateurs du réseau social X ont profité de la publication par des utilisatrices de photos d'elles-mêmes dans des tenues de fête pour les déshabiller virtuellement sans leur consentement, à l'aide de Grok. Saisi par plusieurs députés français et par des membres du gouvernement, le parquet de Paris va élargir l'enquête qu'il a déjà ouverte à propos de X et de xAI.

L'humiliation des femmes par le montage d'images à caractère sexuel n'est pas nouvelle. Mais l'IA générative permet une massification du phénomène depuis 2023 alors que des chercheuses et chercheurs avaient repéré dès 2021 que les ensembles de données utilisés pour entraîner les LLM comme LAION-400M contenaient de la misogynie, de la pornographie et des stéréotypes malveillants.

Début 2024 marquait une nouvelle étape : des utilisateurs de X partageaient massivement des deepfakes pornographiques de Taylor Swift, et quelques mois plus tard des influenceuses moins connues étaient aussi attaquées sur Instagram.

Massification via X et Grok

En cette fin d'année 2025, c'est Grok qui refait parler de lui à ce sujet. En effet, des utilisateurs du réseau social X ont massivement utilisé l'IA générative d'Elon Musk pour déshabiller virtuellement des femmes. Souvent avec une simple demande sous le partage d'une photo d'une utilisatrice, Grok générait une version de cette photo mais en représentant la personne en bikini ou plus ou moins dénudée.

En mai dernier, nos confrères de 404 expliquaient que l'outil de xAI posait très peu de freins à une demande d'utilisateur de déshabiller des femmes en reprenant des photos déjà existantes pour les trafiquer en objet de désir des utilisateurs du réseau social X. Mais cette « tendance » dégradante a été tellement suivie en cette fin d'année 2025 que n'importe quel utilisateur pouvait voir ce genre d'images dans la colonne « pour vous » du réseau social, avec certaines images ciblant des jeunes filles mineures.

« Je me suis retrouvée plus ou moins dévêtue sur plusieurs photos totalement sans mon consentement », raconte Fafa, une streameuse de 28 ans à France Info. « Trois ou quatre personnes s'étaient amusées à utiliser l'IA de X en vue de me dévêtir » en faisant un deepfake à partir d'un selfie de réveillon qu'elle avait posté le 31 décembre. Elle envisage de porter plainte. La doctorante en études théâtrales Marie Coquille-Chambel a vécu le même genre de violences sur le réseau social d'Elon Musk et a ensuite subi un harcèlement massif après l'avoir signalé sur X.

Devant la justice française

Le 2 janvier, les députés Arthur Delaporte (PS) et Éric Bothorel (Renaissance) ont tous deux saisi le procureur de la République de Paris, dénonçant ces deepfakes à caractère sexuel qui « contreviennent de fait à l'article 226-8-1 du Code pénal et portent atteinte à la dignité des personnes représentées et dont les contenus ont été détournés », comme l'affirme le signalement du député du Parti socialiste.

Quelques heures plus tard, le parquet de Paris expliquait à Politico qu'il allait élargir l'enquête déjà ouverte en juillet à propos de X, au départ pour ingérence étrangère. Il l'avait déjà étendue une première fois pour prendre en compte les propos négationnistes générés en novembre dernier par Grok, toujours publiés sur X.

Le gouvernement français réagissait un peu plus tard dans un communiqué expliquant que plusieurs de ses membres avaient aussi effectué des signalements à la justice : « les ministres Roland Lescure, Anne Le Hénanff et Aurore Bergé signalent au procureur de la République ainsi qu’à la plateforme Pharos, en vertu de l’article 40 du code de procédure pénale, des contenus manifestement illicites générés par l’intelligence artificielle générative Grok et diffusés sur la plateforme X, afin d’obtenir leur retrait immédiat ».

Alors qu'Elon Musk n'avait réagi à cette « tendance » sur son réseau social qu'avec des « 🤣🤣 » à propos d'une image de lui-même en bikini générée par IA, son entreprise a communiqué via le compte de Grok en publiant un message affirmant avoir « identifié des lacunes dans [ses] mesures de sécurité » pour répondre à un signalement d'un deepfake sur une enfant. xAI affirmait « s' [employer] à les corriger de toute urgence » et ajoutait que « le CSAM [child sexual abuse material, la pédopornographie] est illégal et interdit » en accompagnant son message d'un lien de signalement vers un site du FBI.

L'autorité malaisienne de la communication a elle aussi réagi, expliquant sur Facebook qu'elle avait « pris note avec une vive inquiétude des plaintes du public concernant l'utilisation abusive des outils d'intelligence artificielle (IA) sur la plateforme X, en particulier la manipulation numérique d'images de femmes et de mineurs afin de produire des contenus indécents, grossièrement offensants et autrement préjudiciables » et annonçait, elle aussi, lancer une enquête à ce sujet.

Commentaires (25)

votre avatar
Pas foutus de mettre des garde-fous sur leur produit... Navrant.
votre avatar
Ah mais c'est pas qu'ils sont pas capables : ils en ont juste pas la motivation. 🙄
votre avatar
C'est justement un des argument commerciale de X / Musk
votre avatar
Au contraire, ce non blocage est parfaitement volontaire ...
votre avatar
À quand des actions propres contre ces entreprises états-uniennes qui n'en ont rien à faire de rien?
On se fait sanctionner, tarriffer, moquer et la seule réponse est toujours : "Tu ne le refais pas, hein ?".

Faudrait commencer à s'attaquer aux lois "anti-circumvention" que les US nous ont imposées avec leurs traités de commerce, et à cause desquelles toutes ces entreprises sont en "free-for-all".
votre avatar
C'était peut-être déjà possible en demandant à Grok de le faire en réponse à une image mais à Noël, X a carrément ajouté un bouton SUR toutes les images partagées qui permet à n'importe quel utilisateur de les éditer avec Grok (énervant pas mal d'artistes que je suis toujours sur ce réseau...)
Ça a sans doute facilité cette vague de deepfakes aussi :-/
votre avatar
Question bête de quelqu'un qui n'est pas du tout sur ces réseaux sociaux : y a t-il ce genre d'images de générées avec les photos des proches du gouvernement américain et/ou de Musk (en mode "l'arroseur arrosé") ?
votre avatar
Elon Musk a de mémoire posté une photo de lui en bikini sur X en disant "ce n'est pas grave, regardez !"
votre avatar
Oui, mais là c'est clairement humoristique : je parle de vrais cas de harcèlement/deepfake au détriment de ses proches à lui ou ses copains.
votre avatar
Oui, dans l'avant dernier paragraphe, je parle de la réaction de Musk face à ça.
votre avatar
ah je pensais que c'était lui même qui avait généré cette image, visiblement non
Mea culpa.
votre avatar
Sauf que là, c'est lui qui est visé directement et de façon humoristique. Je pensais plus à des proches féminines de Musk ou du gouvernement Trump qui seraient visées par ce type de contenu deepfake et pas drôle.
votre avatar
Oui, Trump ou la maison blanche en balance régulièrement sur leurs adversaires du moment.
votre avatar
Du coup, ça répond pas à ma question car ça ne m'étonne pas qu'ils en fassent, eux, de leurs adversaires. Je me demande s'ils subissent eux (et surtout elles) aussi ce type de contenu...
votre avatar
Trump a fait l'objet de nombreux détournements par exemple. A partir de photos montrant Trump et une autre personnalité, des internautes demandent à Grok de retirer de l'image "le plus mauvais président", ce genre de trucs
votre avatar
OK pour Trump, mais je le vois mal vivre le traumatisme de se voir dénudé et sexualisé.
C'est pour ça que je demande si ça arrive à ses proches féminines. 😘
votre avatar
OK pour Trump, mais je le vois mal vivre le traumatisme de se voir dénudé et sexualisé.
Le traumatisme, c'est plutôt pour ceux qui voient ça :vomi1:
votre avatar
Tu veux dire, Elon en tenue "très" légère représenté avec un pt'it kiki ?
:photo:
votre avatar
Non, pas Elon lui-même (il s'en ficherai), mais sa femme, sa fille, son amie d'enfance, sa mère...
votre avatar
Les questions que je me pose:
- comment ces outils peuvent-ils générer des nus de personnes mineures (vraiment mineures, pas 17 ans et 364 jours) ?
- Sur quelles données ont-ils été entrainés ? Je connais l'inférence par les IA mais tout de même.

Quand on sait à quel point les LLM ont pompé du contenu disponible pour leur apprentissage, je me dis que ces outils de manipulation d'image doivent avoir utilisé des données illégales pour s'entrainer. Je ne parle pas du copyright.

Edit: correction grammaire et conjugaison
votre avatar
Plusieurs data set d'images ont été mis hors ligne suite à la découverte de contenu pédopornographique dedans, entre autres. Donc pas étonnant.
Les LoRA de "nudification" existent depuis à peu près le début de la massification des modèles de diffusion, tout comme il existe des modèles spécialisés dans la génération de contenu pornographique (et plein de sites de porno généré, eh oui, là aussi). Donc même sans avoir entraîné un autre dessus, l'usage de ces fichiers de poids est aussi une possibilité.

Au vu du cynisme des entreprises de la Tech US, ces comportements ne m'étonneraient pas.
votre avatar
De ce que j'ai pu voir, Grok ne génère pas de nus publiquement (ou très peu). Les images "à caractère dénudé" dont il est question sont plutôt des images en sous-vêtements, souvent dans des poses très suggestives.

Des images de mineures en sous-vêtements sont disponibles publiquement (il suffit par exemple de regarder des sites de vente de vêtements), donc ce n'est pas étonnant que Grok sache les générer.

Après, j'ai regardé un peu le flux de Grok et je n'ai pas vu de photos de personnes mineures vraiment jeunes. Celles que j'ai vu sont plutôt de jeunes filles (genre 16 ans) qui pourraient sans problème prétendre en avoir 18. Je ne sais pas si ça veut dire que Grok refuse la génération d'images dénudées quand il n'y a pas d'ambiguité sur l'âge, ou s'il reste un semblant de modération sur X.
votre avatar
Du coup, si je comprends bien, il y a 2 problèmes. D'une part la possibilité de générer des deepfakes qui déshabille les gensles femmes (voire des enfants) sans leur consentement. D'autre part, la publication de ces « photos » en ligne.
À la limite, je peux comprendre la motivation du premier point, ça s'apparente à la visite de sites pornographiques. En revanche, je ne trouve aucune explication rationnelle à la publication de ces « photos » sur des réseaux socio, hormis la volonté de nuire à la victime.
votre avatar
Comment est construite la « tendance » ? C'est juste une comparaison des hausses de messages avec un hashtag particulier ? Ou il y a une autre façon (dont payer) ?
votre avatar
Je suis surpris d'apprendre que le bikini est à caractère sexuel !
Il faut arrêter d'amener les mineurs à la plage.

Je ne suis pas sûr qu'une photo trafiquée par grok à partir d'une photo en tenue du 31/12 devienne une photo à caractère sexuel.

Je comprends que ça ne plaise pas aux cibles mais je ne suis pas sûr que l'article 226-8-1 du code pénal soit applicable. Il faut peut-être attaquer par le droit à l'image, mais c'est du civil et pas du pénal et c'est à la personne dont la photo est détournée de porter l'affaire devant le tribunal.

De plus, j'ai l'impression que celui qui est puni dans le code pénal est celui qui a porté à connaissance du public l'image en question, donc, ceux qui ont demandé à grok de générer l'image. X ne peut pas être visé par cet article de loi : il doit enlever les images si elles lui sont signalées et qu'elles sont illégales. Par contre, il y a peut-être des choses côté DSA comme indiqué dans l'article de Politico qui dit que le gouvernement a saisi l'ARCOM à ce sujet.

Et Trump va encore hurler à l'UE/la France qui s'attaque à la liberté d'expression ! :D

Édit : n'étant pas sur X, je n'ai pas vu de telles photos (sauf une ou deux mais générées à la demande de la personne sur la photo) mais de ce que j'ai compris, il y a un garde-fou pour ne pas générer des photos de nus (il est peut-être possible de le détourner).

Vague massive de deepfakes générés par Grok : la justice française étend son enquête

  • Massification via X et Grok

  • Devant la justice française

Fermer