Hugging Face héberge des centaines d’outils de génération de contenu sexuel non consenti
Qui Aurait pu prédIre ?
Hébergeur de millions de modèles d’IA et de milliers de jeux de données, Hugging Face n’a implémenté aucun outil concret de modération des outils et pratiques relevant de la fabrication de contenu sexuel non consensuel, selon les travaux d’AI Forensics.
En pleins travaux sur le règlement sur l’intelligence artificielle et divers autres textes relatifs à l’industrie numérique, l’Union européenne a ajouté une interdiction explicite des « systèmes dits de nudification » dans l’AI Act, lorsque ces outils sont utilisés sans le consentement des personnes concernées. Parmi les sociétés qui ont pignon sur rue, dans l’industrie de l’intelligence artificielle, il y a Hugging Face.
Installée aux États-Unis, celle-ci propose une plate-forme donnant accès à une bibliothèque open source de systèmes d’IA, de bases de données et d’environnements de tests. Or, d’après les travaux des chercheurs Paul Bouchaud et Silvia Semenzin pour l’ONG AI Forensics, l’entreprise n’a implémenté aucune forme de garde-fous pour éviter l’accès à des modèles problématiques. En l’occurrence, elle ne modère ni les outils permettant de produire des images et vidéos pédocriminelles générées par IA, ni les requêtes.
AI Forensics a construit un pot de miel pour suivre les demandes des utilisateurs. Au bout d’une semaine de collecte de prompts d’internautes réels, elle constate que 73 % des requêtes relevaient de contenu à caractère sexuel, et 60 % de contenu a priori non consensuel.
La découverte est d’autant plus inquiétante que l’Internet Watch Foundation alertait mi-mars contre la multiplication de ce type de contenus. Comme nous l’expliquait l’ex-commandante de police Véronique Béchu dans Entre la chaise et le clavier, l’enjeu est de taille : extrêmement difficile à discerner de réelles images pédopornographiques, ce type de contenu fait perdre du temps aux équipes policières en charge de mettre des victimes de violence à l’abri. Par ailleurs, la multiplication de ce type de contenus participe directement à la banalisation des violences sexuelles représentées.
Une plate-forme pour tous les amateurs d’IA
Commentaires (0)
Signaler un commentaire
Voulez-vous vraiment signaler ce commentaire ?