Connexion Premium

SpaceXAI accusé d’avoir utilisé des photos pédocriminelles pour entrainer Grok

🤢️🤢️🤢️🤢️

SpaceXAI accusé d’avoir utilisé des photos pédocriminelles pour entrainer Grok

Dans une plainte déposée par une femme, l’entreprise d’Elon Musk est accusée d’avoir entrainé son IA générative Grok sur des photos et des images générées par IA pédocriminelles.

Attention : le sujet de cet article est particulièrement difficile et certains détails évoqués peuvent heurter.

Après avoir été accusée d’avoir laissé Grok générer des milliers de contenus pédocriminels pour les utilisateurs de X, SpaceXAI (xAI, l’ancien nom de l’entreprise d’IA générative d’Elon Musk est utilisé dans la plainte dont il est question) va de nouveau devoir se défendre devant la justice états-unienne concernant l’utilisation de ce genre de contenus. Mais, pour la première fois, elle va aussi devoir répondre de l’accusation d’avoir utilisé des contenus pédocriminels pour entrainer son IA.

En effet, une victime-survivante de viols et d’agressions sexuelles dans les années 2000, lorsqu’elle était très jeune enfant, vient de porter plainte contre l’entreprise d’Elon Musk. Sa plainte [PDF] (obtenue par Arstechnica et d’autres médias américains) est déposée en tant que « class action » pour que toute personne située aux États-Unis et « dont des images et vidéos d’elle prises lorsqu’elle était mineure, ont été modifiées par Grok pour produire de la pédopornographie » puisse s’y joindre.

Des photos utilisées par Grok étaient déjà estampillées comme pédocriminelles

Le document explique qu’elle « a été victime à plusieurs reprises de viols et d’abus sexuels alors qu’elle était mineure, dans le but précis de produire du matériel pédocriminel destiné à être diffusé sur Internet, qui continue de circuler en ligne à ce jour ».

Ces photos ont été ajoutées à la liste de hash du National Center for Missing & Exploited Children (NCMEC), une organisation états-unienne qui s’occupe des affaires de mineurs disparus et exploités et de son homologue canadien, le Centre canadien de protection de l’enfance. La plaignante s’est volontairement inscrite au programme qui permet à ses avocats d’être alertés lorsqu’un nouveau cas d’utilisation des photos d’elle fait l’objet d’une enquête.

Et cette alerte leur a été envoyée à propos d’enquêtes concernant SpaceXAI. « En effet, sur les forums en ligne fréquentés par des délinquants, on trouve des messages dans lesquels ces derniers discutent de la création de contenus pédocriminels générés par IA mettant en scène la plaignante et d’autres victimes de pédocriminalité connues de longue date », relate le document.

Mais la plainte évoque aussi le fait que « du contenu pédocriminel représentant la plaignante, dont les valeurs de hachage sont connues depuis longtemps, a été utilisé dans le cadre de l’ensemble de données exploité par xAI ». Les avocats expliquent que le Centre canadien de protection de l’enfance a, lui, identifié des images pédocriminelles générées par xAI dans lesquelles la victime-survivante est représentée.

Ils insistent sur le fait que chaque fois que Grok crée une image pédocriminelle d’elle ou qu’il republie une photo pédocriminelle d’elle, cette IA générative lui inflige une nouvelle blessure.

Des soupçons sur leur utilisation pour l’entraînement

Mais, « étant donné que les conditions d’utilisation de Grok considèrent par défaut les publications publiques sur X et les propres résultats de Grok comme des données d’entraînement », expliquent les avocats, « la publication d’une image ne se limite pas à la rendre visible aux internautes, mais cela alimente également directement le pipeline utilisé par xAI pour entraîner et améliorer son modèle, et ainsi générer d’autres images ».

La plainte insiste : « étant donné qu’il est techniquement difficile d’éliminer totalement l’influence d’un exemple d’entraînement sur un modèle déjà entraîné, et que xAI n’a pas publiquement affirmé y être parvenu, tout contenu pédocriminel intégré à l’entraînement avant son retrait a probablement continué à influencer les résultats du modèle, même après que les images originales ont été retirées de l’espace public ». Et les avocats ajoutent que si l’entreprise a indiqué filtrer les contenus « violents », elle ne l’a pas explicitement indiqué concernant les contenus NSFW, pédocriminels ou les images intimes non consensuelles.

« Au lieu de prendre les précautions nécessaires pour empêcher la création d’images à caractère sexuel non consenties, dont des images pédocriminelles, xAI et son fondateur, Elon Musk, ont choisi de tirer profit de l’appétit des prédateurs pour les images et vidéos à caractère sexuel non consenties représentant des personnes réelles, y compris des enfants », accusent les avocats de la victime-survivante.

Elle demande que xAI ait l’interdiction de générer, de posséder, ou de transporter des images pédocriminelles d’elle et des autres victimes, mais aussi que l’entreprise ait l’obligation de détruire toutes les images pédocriminelles que son IA a générées. Comme elle a choisi de faire de cette plainte une « class action », toutes les victimes situées aux États-Unis pourront obtenir des réparations financières si l’entreprise est condamnée.

Contactée par nos consœurs d’ArsTechnica et de Law360, SpaceXAI n’a pas répondu.

Commentaires (19)

votre avatar
ça fait peur...
votre avatar
GroKXXX… à vomir. Si l’intention est démontrée, au pire faire un reset de cette merde, au mieux démanteler cette boite. L’humanité ne s’en portera que mieux
votre avatar
🤮
votre avatar
Je commence à voir une idée de ce à quoi pourrait bien servir Mythos et Fable5
votre avatar
On est là sur une problématique épineuse pour l'aspect purement technique des réquisitions. Sans le matériel pour entraîner le modèle, il ne saura pas ou très peu ce qui relève de la pédopornographie et risque d'être peu précis sur la modération. Mais, posséder ce genre de matériel étant illégal (et je suppose que c'est aussi le cas aux USA vu l'objet de la plainte), cela signifie qu'il est techniquement impossible d'apprendre à un modèle de génération d'image ce que c'est pour ensuite le bloquer sans enfreindre la loi.

Je n'ai pas la prétention de connaître en détails le processus d'entraînement d'un modèle de reconnaissance et génération d'image, m'en étant arrêté à une série d'application de bruits et inversement pour apprendre les schémas associés à l'époque où je m'étais beaucoup intéressé à Stable Diffusion. J'ai cependant des doutes que de simples hashes soient suffisants pour que le modèle puisse avoir les blocages nécessaires.

Je suis curieux de quelle pourrait être l'issue de cette procédure en matière de retombées, sauf s'il existe des précédents ?

PS : Cette fois je ne râle pas sur le titre, il vise bien les bons responsables :smack:
votre avatar
Pour que le modèle puisse plus tard savoir de quelles images s'inspirer en fonction du prompt donné, l'entraînement ne se fait pas sur de simples images brutes ; elles sont taguées avec plein de mots-clefs et une description très précise. Je pense qu'il est donc assez facile de reconnaître, en fonction des tags associés et de la description, qu'une image source est problématique.
votre avatar
Oui je sais bien qu'un data set est composé des images et des mots clés pour les qualifier.

Cependant, je me rappelle aussi à l'époque de cas qui montraient que les modèles qui n'avaient pas été entraînés sur du matériel pornographique étaient moins précis dans la reconstitution de l'anatomie humaine, par exemple.
votre avatar
Les parties genitales masculines du pr0n ne sont pas non plus super réalistes :windu:
Ni rien d'autre d'ailleurs.

Mais je comprends ton commentaire sur la reconnaissance d'un contenu problématique sans entraînement. Mais pour la pédophilie on sait bien ce que c'est et que c'est mal sans en avoir jamais vu. Au contraire d'autres choses pour lesquels on apprend plus par renforcement.
Par exemple un commentaire involontairement sexiste, raciste ou autre peut-être "dénoncé" par la victime ce qui nous apprend à nous améliorer.
votre avatar
Les parties genitales masculines du pr0n ne sont pas non plus super réalistes
Je l'avais observé sur des vieux tests avec Stable Diffusion, démontrant que les données d'entraînement étaient plus axées sur du contenu avec des femmes. Rien de surprenant j'ai envie de dire, même si des LoRA ou des modèles spécialisés avaient fait leur apparition (Civitai en regorgeait).

D'ailleurs, ces modèles aussi sont biaisés sur un autre aspect. Puisqu'ils sont entraînés en majorité sur du contenu pornographique, ils ne savent pas représenter un homme nu autrement qu'avec une érection.
Mais pour la pédophilie on sait bien ce que c'est et que c'est mal sans en avoir jamais vu.
"On" le sait parce que ça fait partie de l'héritage culturel d'une société, mais ça reste appris et non un savoir inné.

Un modèle d'IA, aura aussi besoin de l'apprendre d'une façon ou d'une autre. La différence étant que le logiciel n'ayant pas l'imagination ou la capacité d'abstraction d'un humain, sans matériel sur lequel associer des poids statistiques le pifomètre algorithmique risque d'être très faillible.
votre avatar
Il n'y a pas un sorte de contrôle a posteriori de la génération plus ou moins verbalisé ? J'ai souvenir que dans des tests sur ChatGPT l'image/ou le texte, étaient censurés après mise en forme du contenu problématique. En faisant des captures d'écrans au bon moment, sans forcément le voir car coupé avant transmission, je pouvais deviner le contenu problématique. Comme une relecture avant validation. Je me demande dans quelle mesure une IA ne pourrait pas, par analyse verbalisée du contenu d'une image, identifier que des enfants font ceci ou cela, sans pour autant avoir jamais eu d'image montrant ceci ou cela. C'est peut être spécifiquement humain comme compétence, mais en un équivalent de transfert cognitif. (je sais des adultes font ça, je vois individus faire ça, individus = enfant ; alerte ! Stop !)
votre avatar
Là, on sort du cadre de l'entraînement du modèle, qui est le contexte de mon propos, pour aller vers la modération de son usage.

Un élément sur lequel xAI/SpaceXAI a maintes fois démontré ses défaillances.

Sinon, oui, le comportement que tu décris est une méthode de modération à la sortie du modèle. Il reste aussi celle à l'entrée du modèle où le prompt et les médias associés devraient d'abord être qualifiés et évalués pour bloquer la requête. Le fine tuning fait aussi partie de l'étape de fin d'entraînement où le modèle est censé avoir des gardes fous contre ce genre de demandes.

Le problème ici ne vient pas spécifiquement de l'outil, mais des tocards qui l'implémentent, encore une fois.
votre avatar
Je suis pas sûr de bien comprendre, le problème c'est que Grok accepte en input ces photos devenues "publiques" (genre "Ré imagine cette image") puis s'en serve dans l'apprentissage comme indiqué dans les CGU, ou le fait qu'ils les avaient déjà en stock en amont pour l'apprentissage du modèle et produisent des images sur cette base pour répondre aux prompts des pédocriminels ?

Qu'on s'entende bien, les deux sont un peu à vomir, mais c'est pour cerner la façon dont on arrive au résultat (c'est à dire qu'on puisse générer des images et que ça exploite les images de la plaignante).
votre avatar
Elle demande à ce que xAI ait l’interdiction de générer, de posséder, ou de transporter des images pédocriminelles d’elle et des autres victimes, mais aussi que l’entreprise ait l’obligation de détruire toutes les images pédocriminelles que son IA a générées.
Pourquoi ils demandent pas à ce sue le modèle soit détruit et reconstruit sans ces données d'entraînement ?
Au vu du prix d'un tel investissement, ça serait bien plus dissuasif.
votre avatar
Ultra dégueulasse et révoltant....Mais bien sur, comme d'hab ils s'en tireront avec un accord à coups de milliards..
votre avatar
Je n'ai vu le mot emprisonnement nulle part.
C'est normal ?
votre avatar
Oui, la plainte vient d'être déposée, même dans un monde idéal on ne parlerait pas déjà d'emprisonnement, il n'y même pas de personnes physiques désignées.

Et ensuite, pour la suite, je me fais peu d'illusion. SpaceXAI est un mastodonte très lié au pouvoir actuel des EUA, ils sont presque inattaquable. En plus, la logique de "mélange massif de données" ( « Olalala désolé on est pas en mesure de connaître toutes les données de nos jeux d’entrainement, trop déso ! ») des LLM leur donne une excuse toute trouvée.
Bref, même si la plainte va jusqu'au bout, je doute que personne n'aille en prison, au pire SpaceXAI aura une petite amende qui représentera quelque jours d'exercice fiscal 😢
Mon seul espoir qui me paraît un peu possible, c'est que ça fasse beaucoup parler, comme les perverts glasses de Meta, et que in fine suffisamment de gens qui utilisent Grok changent de crèmerie. Mais même ça j'y crois moyen ...
votre avatar
Oui, la plainte vient d'être déposée, même dans un monde idéal on ne parlerait pas déjà d'emprisonnement, il n'y même pas de personnes physiques désignées.
Indirectement il y en a une : le responsable légal de SpaceXAI.
Bref, même si la plainte va jusqu'au bout, je doute que personne n'aille en prison, au pire SpaceXAI aura une petite amende qui représentera quelque jours d'exercice fiscal 😢
Voire tout simplement soldée par un accord à l'amiable (cf le cas Anthropic pour les plaintes sur le droit d'auteur, et le plus récent cas Meta sur l'addiction aux médias sociaux) histoire d'enterrer une énième nuisance pour eux et continuer jusqu'à la prochaine.
votre avatar
J'allais justement parler de l'accord à l'amiable.

Si j'ai bien compris le système judiciaire aux USA, si les victimes ne veulent pas signer un accord, le procès pourra se ternir jusqu'au bout et conduire à des actions telles que l'obligation de ré-entrainer depuis le début le modèle Grok mais leur dédommagement sera bien plus faible.

Pas facile de choisir je pense car le premier cas permettrait d'avoir une action profitable au monde entier et pourrait créer un précédent menaçant directement d'autres LLM et dans l'autre cas, une compensation financière permettant peut-être aux victimes de mieux se reconstruire avec une issue plus rapide.
votre avatar
"Oui mais c'est promis, Elon Musk a rémunéré les auteurs, il ne s'agit pas d'un pillage en règle".