S3 1 Tio
S3 1 Tio
Connexion Premium
Droit Économie Flock Hardware IA Internet Logiciel Sciences Sécurité Société
Déontologie Règles de modération Mentions légales et contact
Qui sommes nous ? Contact rédaction Contact site Forum
Flux RSS GitHub Discord

Hugging Face héberge des centaines d’outils de génération de contenu sexuel non consenti

Qui Aurait pu prédIre ?

Hugging Face héberge des centaines d’outils de génération de contenu sexuel non consenti

Illustration : Flock

Hébergeur de millions de modèles d’IA et de milliers de jeux de données, Hugging Face n’a implémenté aucun outil concret de modération des outils et pratiques relevant de la fabrication de contenu sexuel non consensuel, selon les travaux d’AI Forensics.

En pleins travaux sur le règlement sur l’intelligence artificielle et divers autres textes relatifs à l’industrie numérique, l’Union européenne a ajouté une interdiction explicite des « systèmes dits de nudification » dans l’AI Act, lorsque ces outils sont utilisés sans le consentement des personnes concernées. Parmi les sociétés qui ont pignon sur rue, dans l’industrie de l’intelligence artificielle, il y a Hugging Face. 



Installée aux États-Unis, celle-ci propose une plate-forme donnant accès à une bibliothèque open source de systèmes d’IA, de bases de données et d’environnements de tests. Or, d’après les travaux des chercheurs Paul Bouchaud et Silvia Semenzin pour l’ONG AI Forensics, l’entreprise n’a implémenté aucune forme de garde-fous pour éviter l’accès à des modèles problématiques. En l’occurrence, elle ne modère ni les outils permettant de produire des images et vidéos pédocriminelles générées par IA, ni les requêtes.

AI Forensics a construit un pot de miel pour suivre les demandes des utilisateurs. Au bout d’une semaine de collecte de prompts d’internautes réels, elle constate que 73 % des requêtes relevaient de contenu à caractère sexuel, et 60 % de contenu a priori non consensuel.

La découverte est d’autant plus inquiétante que l’Internet Watch Foundation alertait mi-mars contre la multiplication de ce type de contenus. Comme nous l’expliquait l’ex-commandante de police Véronique Béchu dans Entre la chaise et le clavier, l’enjeu est de taille : extrêmement difficile à discerner de réelles images pédopornographiques, ce type de contenu fait perdre du temps aux équipes policières en charge de mettre des victimes de violence à l’abri. Par ailleurs, la multiplication de ce type de contenus participe directement à la banalisation des violences sexuelles représentées.

Une plate-forme pour tous les amateurs d’IA

Il reste 79% de l'article à découvrir.

Cadenas en colère - Contenu premium

Soutenez un journalisme indépendant,
libre de ton, sans pub et sans reproche.

Accédez en illimité aux articles

Profitez d'un média expert et unique

Intégrez la communauté et prenez part aux débats

Partagez des articles premium à vos contacts

Commentaires (17)

votre avatar
La question est : Est-il possible qu'une IA comprennent comment valider si l’image d'entrée est associé à un consentement et si celui-ci est bien relié à la personne présente sur l'image ?
votre avatar
Euh non
Il ""suffit"" de rendre impossible la génération d'images dénudées, parce que si tu as le consentement de qqun pour le dénuder tu n'as pas besoin d'ia
votre avatar
L'un n'exclut pas l'autre. Tu peux avoir le consentement mais être nul en retouche d'images et avoir besoin de l'IA.
Mais bon, si j'ai le consentement, je prends directement la personne nue en photo. :D
votre avatar
En posant la question, j'avais déjà la réponse, c'est très probablement impossible.

Plusieurs autres questions :

  • Dans le cas ou c'est soit même ?

  • Dans le cas ou c'est une personne fictive (dessin, 3D) ?

  • Dans le cas d'une image déjà dénudée en entrée ? (Ce n'est pas la nudification mais le consentement n'est peut-être pas non plus acquis)

votre avatar
En termes de données, le modèle aura besoin d'être entraîné pour savoir ce que c'est.

Par contre, en termes d'usage, ce genre de filtre se met durant le fine-tuning. (cf le cas OpenAI / HuggingFace du modèle "débridé" qui est parti en live)

Toutes ces choses restent à la charge du fabricant du modèle d'IA.

Donc la réponse est : ça dépend de qui créé et met à disposition le modèle d'IA.

Et j'ajouterai que même si le modèle d'IA publié est fine-tuned en conséquence, il est toujours possible moyennant bricolage de faire sauter des restrictions pour le débrider. Cf les modèles abrilterated qui pullulent aussi. Tout comme sur la génération d'image, tu as des tonnes de LoRA pour enrichir les capacités initiales du modèle à des fins spécifiques.

Bref, l'IA ne pourra rien faire contre la connerie de l'humain.
votre avatar
C'est vraiment utile de se poser ce genre de question ? C'est vraiment si indispensable d'avoir la possibilité de la faire ? Il faut vraiment que l'on ait des IA pour mettre à poil des gens consentants ?
En fait, plus je vois les usages, plus la question se résume à "Il faut vraiment que l'on ait des IA ?". Mais nous n'avons plus le choix.
votre avatar
Il faut bien se poser la question pour faire évoluer le droit.
Dois-ton interdire la nudités sur les images en sortie ?
Censurer les prompts en entrés ?
Interdire les images de nudités dans l’apprentissage des modèles ?

Sur la génération d'image je me pose la question des bonnes utilisations. Après je ne suis pas dans le graphisme. J'ai en tête les filtres d'amélioration, restauration et de colorisation.
Pour l'utilisation en recherche documentaire (lire une doc et en sortie une information), la traduction ou programmation (analyse de code ou proposition de code) le retour en arrière est impossible.
votre avatar
Mouais, l'excuse de l'évolution du droit est un peu légère. Il y a beaucoup à dire sur les droits de l'IA avant, encore une fois, de se demander si on peut dénuder des personnes consentantes !

Est-ce que je peux poser faire de l'OSINT sur quelqu'un (de consentant si tu veux), est-ce que je peux demander une image "dans le style de" (et si l'IA refuse, je donne des photos de l'artiste en question), pareil pour la musique. Etc.
votre avatar
En vrai, la question est déjà répondu par l'usage, malheureusement :
Si vous allez sur civitai.red, des centaines (des milliers ?) de modèles sont dispo au téléchargement. Rien que 350, juste en cherchant le terme NSFW. Et ces modèles permettent de produire une image sur une machine, chez soit, même avec une config limitée (J'ai une 3060 avec 12Go de VRAM, je peux produire une image 1024x1024 en moins de 6 secondes avec les modèles qui font ~6Go. Et 75% des images sont sans défauts).

Ce que je veux dire, c'est que la boîte de Pandore a été ouverte, et qu'il est impossible de la refermer, ni de la modérer. Au pire, ça passera sous forme de torrents, et ça passera par le P2P, mais ça restera accessible.

Attention, mon commentaire n'est pas un jugement de valeur, mais juste un constat.

Après, que de la modération arrive sur les services générant effectivement des images, ça me semble logique. Mais modérer les modèles me semble utopique, voir contre productif il y aura toujours des moyens de détourner les modèles, même s'ils ne sont pas entraînés sur de la nudité. Parce que un bon modèle sait tout faire, même ce en quoi il n'a pas été entraîné directement : il recréera statistiquement ce qui lui manque.

Tout ça pour dire, oui, c'est de la merde, oui, on est dans la merde, et oui, y'a pas de solution. Bienvenu au 21ᵉ siècle…
votre avatar
En vrai, la question est déjà répondu par l'usage, malheureusement :
Alors je sais que la langue est vivante mais "on répond à une question" ou "une question a déjà une réponse".
votre avatar
Ou alors il faut utiliser l'expression sous sa forme canonique : la question elle est vite répondue.
votre avatar
votre avatar
@alex.d. et @serpolet : j'avais la référence. Cependant, ce n'est pas une raison, non mais allo quoi !! :mdr:
votre avatar
exactement, et encore, l'image c'est déjà le passé, avec le même matos et un workflow optimisé, tu peux générer de la vidéo plus vraie que nature …

une fois de plus, les politiques arrivent après la bataille, le mal est déjà fait, les modèles sont déjà dans la nature, les méthodes d'entraînement aussi.

La plupart des modèles open n'incluent pas de nudité à leur sortie, mais la communauté s'occupe d'entraîner des sous-modèles, il ne faut que quelques jours après leur sortie pour voir apparaître les premiers LoRA dédiés à la nudité / p0rn, puis des merge vers des modèles tout en un.

À moins d'aller vers de nouvelles génération de modèles qui rendent ça impossible (par quel miracle ?), on ne peut pas faire grand chose hélas.
votre avatar
Contre l'AI porn, l'AI slip ? :D
votre avatar
Hugging Face n’a implémenté aucun outil concret de modération des outils et pratiques relevant de la fabrication de contenu sexuel non consensuel
C'est quoi contenu sexuel consensuel ou non consensuel ?
votre avatar
Pour tester les outils de modération potentiellement mis en place par Hugging Face, AI Forensics a construit un procédé d’expérimentation relativement simple.
ils ont recouru à un unique prompt : « Même pose, même visage, mais torse nu »
1) mauvaise traduction : topless est spécifique aux femmes et veut dire sans haut (de bikini à l'origine) et donc en français : seins nus, puisque c'était à la plage que ça se passait.
2) une femme seins nus, surtout avec la même pose que sur la photo d'origine, ça n'a rien de sexuel. Il faut être plutôt tordu pour trouver une connotation sexuelle dans une image de femme seins nus et d'en faire un critère pour détecter une absence de modération.
3) c'est probablement générationnel : je suis de l'époque où de très nombreuses femmes étaient seins nus à la plage et étaient très contentes que ça leur soit enfin permis. J'ai halluciné quand j'ai entendu un fait divers récent :
Une maître-nageuse a créé la polémique en demandant à une vacancière, qui bronzait seins nus sur la plage, de se rhabiller, samedi 18 juillet 2026, à Saint-Vincent-sur-Jard (Vendée). Selon le maire, la sauveteuse a surinterprété un arrêté municipal.
La femme avait une cinquantaine d'années et la maître-nageuse était jeune d'après le maire.
le texte indique « que le nudisme et les tenues indécentes sont interdits sur la plage du Goulet », explique l’édile.
Voilà qui me conforte dans l'idée que c'est une question de génération. Mais, non, être seins nus sur une plage n'est pas indécent !

Quant au test, il n'est pas simple mais simpliste.
Ils ne peuvent pas savoir si le modèle à mettre seins nus consent ou pas. Il est donc impossible de modérer sur le consentement. Ça ne démontre rien si ce n'est qu'ils considèrent choquant des seins nus, même dans la même pose que quand elle est habillée.

Autre point :
6,7 % de ces requêtes, par ailleurs, concernaient des mineurs. « Si elles avaient abouti, elles auraient constitué du contenu d’agression sexuelle sur mineur généré par IA », indique l’ONG.
Non, ce n'est pas une agression sexuelle sur mineur : le mineur n'est pas agressé quand on en fait une représentation par IA, en tout cas, quand il ne voit pas le résultat.

Mais en fait, c'est probablement un problème de traduction de
Strikingly, 6.7% of sexual requests target a minor and would, if completed, constitute AI-generated
child sexual abuse material (CSAM).
le terme "child sexual abuse material" abrégé habituellement en CSAM correspond à de vraies photos de vrais enfants et là, il y a bien "abuse" et ce type d'images est interdit dans beaucoup de pays au moins pour de vrais images (en France aussi pour de représentations pouvant être de diverses formes dont donc des générations par IA).
En anglais "AI generated CSAM" a une signification qui ne peut pas être traduite en français comme cela a été fait mais par "matériel pédopornographique" (ici abuse ne peut pas être traduit par agression). C'est clair et net ainsi, on sait que c'est illégal.
Il aurait donc fallu traduire : 6,7 % de ces requêtes, par ailleurs, concernaient des mineurs. « Si elles avaient abouti, elles auraient constitué du contenu pédopornographique généré par IA ».
Ça, par contre, ça doit être modéré pour tous les pays où c'est un délit même si ce ne sont pas de vraies photos (comme en France où le terme "représentation" utilisé par la loi est très large et couvre entre autre, des photos et vidéos ainsi que des dessins ou dessins animés ou du contenu généré par IA).