SpaceXAI accusé d’avoir utilisé des photos pédocriminelles pour entrainer Grok
🤢️🤢️🤢️🤢️
Le 28 août à 16h28
Dans une plainte déposée par une femme, l’entreprise d’Elon Musk est accusée d’avoir entrainé son IA générative Grok sur des photos et des images générées par IA pédocriminelles.
SpaceXAI accusé d’avoir utilisé des photos pédocriminelles pour entrainer Grok
🤢️🤢️🤢️🤢️
Dans une plainte déposée par une femme, l’entreprise d’Elon Musk est accusée d’avoir entrainé son IA générative Grok sur des photos et des images générées par IA pédocriminelles.
Droit
Droit
5 min
Attention : le sujet de cet article est particulièrement difficile et certains détails évoqués peuvent heurter.
Après avoir été accusée d’avoir laissé Grok générer des milliers de contenus pédocriminels pour les utilisateurs de X, SpaceXAI (xAI, l’ancien nom de l’entreprise d’IA générative d’Elon Musk est utilisé dans la plainte dont il est question) va de nouveau devoir se défendre devant la justice états-unienne concernant l’utilisation de ce genre de contenus. Mais, pour la première fois, elle va aussi devoir répondre de l’accusation d’avoir utilisé des contenus pédocriminels pour entrainer son IA.
En effet, une victime-survivante de viols et d’agressions sexuelles dans les années 2000, lorsqu’elle était très jeune enfant, vient de porter plainte contre l’entreprise d’Elon Musk. Sa plainte [PDF] (obtenue par Arstechnica et d’autres médias américains) est déposée en tant que « class action » pour que toute personne située aux États-Unis et « dont des images et vidéos d’elle prises lorsqu’elle était mineure, ont été modifiées par Grok pour produire de la pédopornographie » puisse s’y joindre.
Des photos utilisées par Grok étaient déjà estampillées comme pédocriminelles
Le document explique qu’elle « a été victime à plusieurs reprises de viols et d’abus sexuels alors qu’elle était mineure, dans le but précis de produire du matériel pédocriminel destiné à être diffusé sur Internet, qui continue de circuler en ligne à ce jour ».
Ces photos ont été ajoutées à la liste de hash du National Center for Missing & Exploited Children (NCMEC), une organisation états-unienne qui s’occupe des affaires de mineurs disparus et exploités et de son homologue canadien, le Centre canadien de protection de l’enfance. La plaignante s’est volontairement inscrite au programme qui permet à ses avocats d’être alertés lorsqu’un nouveau cas d’utilisation des photos d’elle fait l’objet d’une enquête.
Et cette alerte leur a été envoyée à propos d’enquêtes concernant SpaceXAI. « En effet, sur les forums en ligne fréquentés par des délinquants, on trouve des messages dans lesquels ces derniers discutent de la création de contenus pédocriminels générés par IA mettant en scène la plaignante et d’autres victimes de pédocriminalité connues de longue date », relate le document.
Mais la plainte évoque aussi le fait que « du contenu pédocriminel représentant la plaignante, dont les valeurs de hachage sont connues depuis longtemps, a été utilisé dans le cadre de l’ensemble de données exploité par xAI ». Les avocats expliquent que le Centre canadien de protection de l’enfance a, lui, identifié des images pédocriminelles générées par xAI dans lesquelles la victime-survivante est représentée.
Ils insistent sur le fait que chaque fois que Grok crée une image pédocriminelle d’elle ou qu’il republie une photo pédocriminelle d’elle, cette IA générative lui inflige une nouvelle blessure.
Des soupçons sur leur utilisation pour l’entraînement
Mais, « étant donné que les conditions d’utilisation de Grok considèrent par défaut les publications publiques sur X et les propres résultats de Grok comme des données d’entraînement », expliquent les avocats, « la publication d’une image ne se limite pas à la rendre visible aux internautes, mais cela alimente également directement le pipeline utilisé par xAI pour entraîner et améliorer son modèle, et ainsi générer d’autres images ».
La plainte insiste : « étant donné qu’il est techniquement difficile d’éliminer totalement l’influence d’un exemple d’entraînement sur un modèle déjà entraîné, et que xAI n’a pas publiquement affirmé y être parvenu, tout contenu pédocriminel intégré à l’entraînement avant son retrait a probablement continué à influencer les résultats du modèle, même après que les images originales ont été retirées de l’espace public ». Et les avocats ajoutent que si l’entreprise a indiqué filtrer les contenus « violents », elle ne l’a pas explicitement indiqué concernant les contenus NSFW, pédocriminels ou les images intimes non consensuelles.
« Au lieu de prendre les précautions nécessaires pour empêcher la création d’images à caractère sexuel non consenties, dont des images pédocriminelles, xAI et son fondateur, Elon Musk, ont choisi de tirer profit de l’appétit des prédateurs pour les images et vidéos à caractère sexuel non consenties représentant des personnes réelles, y compris des enfants », accusent les avocats de la victime-survivante.
Elle demande que xAI ait l’interdiction de générer, de posséder, ou de transporter des images pédocriminelles d’elle et des autres victimes, mais aussi que l’entreprise ait l’obligation de détruire toutes les images pédocriminelles que son IA a générées. Comme elle a choisi de faire de cette plainte une « class action », toutes les victimes situées aux États-Unis pourront obtenir des réparations financières si l’entreprise est condamnée.
Contactée par nos consœurs d’ArsTechnica et de Law360, SpaceXAI n’a pas répondu.
Commentaires (19)
Abonnez-vous pour prendre part au débat
Déjà abonné ou lecteur ? Se connecter
Cet article est en accès libre, mais il est le produit d'une rédaction qui ne travaille que pour ses lecteurs, sur un média sans pub et sans tracker. Soutenez le journalisme tech de qualité en vous abonnant.
Accédez en illimité aux articles d'un média expert
Profitez d'au moins 1 To de stockage pour vos sauvegardes
Intégrez la communauté et prenez part aux débats
Partagez des articles premium à vos contacts
Abonnez-vousLe 28 août à 16h37
Le 28 août à 17h30
Le 28 août à 17h34
Le 28 août à 17h38
Le 28 août à 17h50
Je n'ai pas la prétention de connaître en détails le processus d'entraînement d'un modèle de reconnaissance et génération d'image, m'en étant arrêté à une série d'application de bruits et inversement pour apprendre les schémas associés à l'époque où je m'étais beaucoup intéressé à Stable Diffusion. J'ai cependant des doutes que de simples hashes soient suffisants pour que le modèle puisse avoir les blocages nécessaires.
Je suis curieux de quelle pourrait être l'issue de cette procédure en matière de retombées, sauf s'il existe des précédents ?
PS : Cette fois je ne râle pas sur le titre, il vise bien les bons responsables
Le 28 août à 18h28
Le 28 août à 18h41
Cependant, je me rappelle aussi à l'époque de cas qui montraient que les modèles qui n'avaient pas été entraînés sur du matériel pornographique étaient moins précis dans la reconstitution de l'anatomie humaine, par exemple.
Le 29 août à 23h15
Ni rien d'autre d'ailleurs.
Mais je comprends ton commentaire sur la reconnaissance d'un contenu problématique sans entraînement. Mais pour la pédophilie on sait bien ce que c'est et que c'est mal sans en avoir jamais vu. Au contraire d'autres choses pour lesquels on apprend plus par renforcement.
Par exemple un commentaire involontairement sexiste, raciste ou autre peut-être "dénoncé" par la victime ce qui nous apprend à nous améliorer.
Le 30 août à 08h48
D'ailleurs, ces modèles aussi sont biaisés sur un autre aspect. Puisqu'ils sont entraînés en majorité sur du contenu pornographique, ils ne savent pas représenter un homme nu autrement qu'avec une érection.
"On" le sait parce que ça fait partie de l'héritage culturel d'une société, mais ça reste appris et non un savoir inné.
Un modèle d'IA, aura aussi besoin de l'apprendre d'une façon ou d'une autre. La différence étant que le logiciel n'ayant pas l'imagination ou la capacité d'abstraction d'un humain, sans matériel sur lequel associer des poids statistiques le pifomètre algorithmique risque d'être très faillible.
Le 31 août à 13h05
Modifié le 31 août à 13h48
Un élément sur lequel xAI/SpaceXAI a maintes fois démontré ses défaillances.
Sinon, oui, le comportement que tu décris est une méthode de modération à la sortie du modèle. Il reste aussi celle à l'entrée du modèle où le prompt et les médias associés devraient d'abord être qualifiés et évalués pour bloquer la requête. Le fine tuning fait aussi partie de l'étape de fin d'entraînement où le modèle est censé avoir des gardes fous contre ce genre de demandes.
Le problème ici ne vient pas spécifiquement de l'outil, mais des tocards qui l'implémentent, encore une fois.
Le 28 août à 17h54
Qu'on s'entende bien, les deux sont un peu à vomir, mais c'est pour cerner la façon dont on arrive au résultat (c'est à dire qu'on puisse générer des images et que ça exploite les images de la plaignante).
Le 28 août à 19h27
Au vu du prix d'un tel investissement, ça serait bien plus dissuasif.
Le 28 août à 19h35
Le 28 août à 20h01
C'est normal ?
Le 29 août à 03h05
Et ensuite, pour la suite, je me fais peu d'illusion. SpaceXAI est un mastodonte très lié au pouvoir actuel des EUA, ils sont presque inattaquable. En plus, la logique de "mélange massif de données" ( « Olalala désolé on est pas en mesure de connaître toutes les données de nos jeux d’entrainement, trop déso ! ») des LLM leur donne une excuse toute trouvée.
Bref, même si la plainte va jusqu'au bout, je doute que personne n'aille en prison, au pire SpaceXAI aura une petite amende qui représentera quelque jours d'exercice fiscal 😢
Mon seul espoir qui me paraît un peu possible, c'est que ça fasse beaucoup parler, comme les perverts glasses de Meta, et que in fine suffisamment de gens qui utilisent Grok changent de crèmerie. Mais même ça j'y crois moyen ...
Le 29 août à 08h39
Voire tout simplement soldée par un accord à l'amiable (cf le cas Anthropic pour les plaintes sur le droit d'auteur, et le plus récent cas Meta sur l'addiction aux médias sociaux) histoire d'enterrer une énième nuisance pour eux et continuer jusqu'à la prochaine.
Le 30 août à 10h21
Si j'ai bien compris le système judiciaire aux USA, si les victimes ne veulent pas signer un accord, le procès pourra se ternir jusqu'au bout et conduire à des actions telles que l'obligation de ré-entrainer depuis le début le modèle Grok mais leur dédommagement sera bien plus faible.
Pas facile de choisir je pense car le premier cas permettrait d'avoir une action profitable au monde entier et pourrait créer un précédent menaçant directement d'autres LLM et dans l'autre cas, une compensation financière permettant peut-être aux victimes de mieux se reconstruire avec une issue plus rapide.
Le 28 août à 20h18
Signaler un commentaire
Voulez-vous vraiment signaler ce commentaire ?