Attention : le sujet de cet article est particulièrement difficile et certains détails évoqués peuvent heurter.

Pendant plus de six mois, Elon Musk et son entreprise d’IA générative ont incité leurs utilisateurs à générer avec Grok des images de femmes mises à nu et/ou dans des positions sexuelles. SpaceXAI (le nouveau nom de xAI) est maintenant accusée, aux États-Unis, d’avoir laissé Grok générer des milliers de photos pédocriminelles de cinq plaignantes, à la demande de ses utilisateurs.

• Deepfakes sur Grok : l’autorité de protection des données irlandaise ouvre une enquête
• Vague massive de deepfakes générés par Grok : la justice française étend son enquête

« Les puissants outils de l’intelligence artificielle peuvent produire des résultats stupéfiants », commence la plainte de ces cinq jeunes femmes :

« Imaginez : la vidéo d’une véritable enfant transformée par une plateforme d’IA pour représenter une scène entièrement nouvelle. Le visage de l’enfant reste le même ; ses membres bougent comme ceux de l’enfant réel ; même son rire conserve la même intonation. »

« Telle une poupée de chiffon à qui la magie noire aurait donné vie, cette enfant peut être manipulée pour prendre n’importe quelle posture, aussi malsaine, fétichiste ou illégale soit-elle », continue la plainte. « Pour le spectateur, la vidéo qui en résulte semble tout à fait réelle. Quant à l’enfant, ses traits distinctifs seront désormais à jamais associés à une vidéo montrant les abus sexuels dont elle a été victime ».

Grok et d’autres IA génératives peuvent ainsi créer des images très réalistes (même si complètement irréelles) d’enfants existants dans des positions lascives, les dénuder ou même les inclure dans des images sur lesquelles ils (et très souvent elles) subissent des violences sexuelles.

Trois jeunes femmes, toutes mineures au moment des faits (une d’entre elles l’est encore), ont porté plainte aux États-Unis en mars dernier. Elles ont été rejointes par deux autres (mineures aussi au moment des faits) en juillet dernier. Le document [PDF] décrit la génération de milliers de contenus pédocriminels (CSAM).

L’utilisation d’une photo d’une victime prise lorsqu’elle avait 11 ans

L’une d’entre elles accuse notamment SpaceXAI d’avoir généré plus de 7 000 fausses images la représentant dans des scènes de viol pour son beau-père. Celui-ci a utilisé le chatbot Grok de l’entreprise pour les obtenir en uploadant une photo d’elle prise lorsqu’elle avait 11 ans. La plainte détaille des images très explicites, le sous-titre d’une d’entre elles décrit le viol par le beau-père.

« Ma vie était tout à fait normale », explique la plaignante de manière anonyme auprès du Washington Post, « moins de 48 heures plus tard, c’était devenu un véritable cauchemar ». « L’accès illimité à ces outils se généralise à une vitesse fulgurante », ajoute-t-elle : « Cela transforme la vie quotidienne en une situation d’abus sexuel sur mineur ».

Ce cas a été découvert par les autorités américaines qui ont lancé une enquête contre le beau-père pour détention de contenus pédocriminels. Mais deux jours après les investigations sur les disques durs utilisés par le beau-père, celui-ci s’est suicidé. La plainte explique qu’à la suite de ce suicide, la victime a traversé une période de crise personnelle très grave : « Elle a dû faire face au traumatisme lié à sa propre exploitation sexuelle tout en aidant sa mère à surmonter la perte de son beau-père ».

De plus, selon son témoignage auprès de nos confrères, il n’a pas été inculpé car, si SpaceXAI a fait un signalement, l’entreprise n’a pas fourni aux autorités les deepfakes en question. L’entreprise aurait même, dans un premier temps, transmis l’information à la cellule de lutte contre la cybercriminalité du mauvais État.

Selon le Washington Post, le beau-père aurait uploadé la première photo de sa belle-fille quelques semaines après qu’Elon Musk a, mi-janvier, certifié que son outil « refuserait de produire quoi que ce soit d’illégal ». SpaceXAI n’a pas voulu répondre à nos confrères.

Stability AI ajoutée à la plainte

Les deepfakes concernant les autres plaignantes sont aussi décrits, dans la plainte, comme des contenus pédocriminels. Pour l’une d’entre elles, c’est aussi un proche qui a utilisé l’IA générative pour créer des images d’elle : « L’auteur des faits avait accès aux photos de [la jeune fille] car il entretenait une relation étroite et amicale avec elle, profitant de la confiance qu’elle lui accordait pour l’inciter à lui envoyer des photos d’elle-même », explique la plainte.

Dans la nouvelle version de la plainte, les avocats des plaignantes ont ajouté une autre entreprise au banc des accusés : Stability AI, qui diffuse son modèle en « open-weight » (on parle de modèle à poids ouverts quand ses paramètres internes – les « poids » – calculés lors de l’apprentissage sont partagés publiquement). Les applications installées sur le téléphone de plusieurs auteurs des faits, utilisées pour créer les contenus pédocriminels générés par IA représentant les plaignantes, s’appuyaient « sur les outils de génération d’images de Stability AI pour produire ces contenus illicites », affirment les avocats des plaignantes.

« La capacité d’un modèle à poids ouvert à générer du contenu CSAM, que ce soit « tel quel » ou après un ajustement par l’utilisateur, dépend fortement de la familiarité du modèle avec les contenus de nudité présents dans ses données d’entraînement initiales », expliquent-ils. Et ils ajoutent que les modèles Stable Diffusion SD 1.0 et 1.5 ont été entrainés sur les données de LAION-5B, une base de données qui a pendant, un certain temps, listé des contenus pédocriminels.

« Les modèles Stable Diffusion SD 1.0 et 1.5 ayant été entraînés sur du contenu pédocriminels, ils étaient capables de générer ce type de contenu », commentent les avocats. « Lorsqu’un modèle à poids ouverts a été entraîné sur du contenu pédopornographique, comme ce fut le cas pour Stable Diffusion, ces barrières s’avèrent faciles à contourner ».

Les deux entreprises n’ont pas encore été entendues par la justice. D’abord prévues le 13 aout dernier, l’audience préliminaire concernant ce procès a été reportée [PDF] au 15 octobre.