S3 1 To
S3 1 To
Connexion Premium
Droit Économie Flock Hardware IA Internet Logiciel Sciences Sécurité Société
Déontologie Règles de modération Mentions légales et contact
Qui sommes nous ? Contact rédaction Contact site Forum
Flux RSS GitHub Discord

Deepfakes : Sora 2 sert déjà à harceler des utilisatrices

À peine sorti, le modèle Sora 2 de génération de contenus audio et vidéo d’OpenAI a été utilisé pour générer de faux clips représentant Sam Altman, le patron de la société d’IA.

Pour le moment accessible uniquement aux usagers d’iPhone, et sur invitation, la nouvelle application de doomscroll liée au moteur de génération de contenu est déjà utilisée pour harceler certaines utilisatrices.

La journaliste Taylor Lorenz témoigne ainsi qu’une personne habituée à la surveiller et à générer des centaines de comptes à son effigie recourt déjà à Sora 2 pour générer des vidéos d’elle.

symbolisation du deepfake avec le duplicata non consenti d'un visage

En l’état, l’application fournit les outils pour effacer les images non acceptées par celles et ceux à qui elles sont censées ressembler.

Mais plusieurs garde-fous mis en place sur l’application ont déjà été outrepassés par des internautes, souligne Futurism, certains générant des vidéos à caractère sexuel. 


Dans la documentation de Sora 2, OpenAI admet directement que l’application pourrait avoir du mal à bloquer le contenu représentant une personne réelle dénudée ou dans une position suggestive dans 1,6 % des cas.

Rapporté aux millions de prompts générés par jour, ce pourcentage peut se traduire par d’importants volumes de deepfakes pornographiques non consentis, à l’heure où ce type de contenu est régulièrement utilisé pour harceler. Avec 99 % des images pornographiques générées par IA en 2023 représentant des femmes, ces dernières sont les premières victimes de ce type de contenu.

Commentaires (4)

votre avatar
OpenAI admet directement que l’application pourrait avoir du mal à bloquer le contenu représentant une personne réelle dénudée ou dans une position suggestive dans 1,6 % des cas.
Question conne ( qui a déjà dû sortir quelque part), si Sora 2 sais générer des personnes dans position suggestive c'est qu'on à bien dû lui apprendre, et donc lui montrer des photos et vidéos de ce type de contenu à un moment donner non ?
Est ce que les grandes sociétés de ce type ne pourraient pas faire le ménage dans leur dataset avant d'entraîner la nouvelle version de leur modèle ? ( quite à utiliser la dernière version en date de leur modèle pour faire le trie)

Ça réglera pas le problème de fond mais ça sera déjà ça de gagner.
votre avatar
Pour faire le ménage dans ces milliards de données gobées, il faudrait construire un modèle capable de les reconnaître pour faire le tri, en les alimentant avec ces données problématiques.
Oh wait
votre avatar
Ou alors tu donne à "manger à l'IA" parce que ton modèle economique est uniquement basé sur ça. Et tu demande aux clients utilisateurs de signaler les images problématique gratuitement pour améliorer ton algo de détection....Oh wait.....
votre avatar
Une idée pour les prochains captchas, pour aider à entrainer les IAs: "laquelle de ces images est NSFW ?"
:D:bocul: