Sora : des deepfakes et représentations racistes de Martin Luther King et Malcolm X

C'est dans un message sur le réseau social X qu'OpenAI a annoncé ce matin qu'elle avait « suspendu la génération d'images représentant le Dr King [Martin Luther King] afin de renforcer les mesures de protection des personnages historiques ». L'entreprise affirme le faire après avoir « abordé la question de la représentation de l'image du Dr Martin Luther King Jr. dans les générations Sora » avec les descendants de la figure noire du mouvement des droits civiques.

Sora 2, l'application de doomscrolling de vidéos générées par IA d'OpenAI est sortie récemment aux États-Unis mais pas encore en Europe.

Plusieurs descendants se sont exprimés contre l'utilisation dégradante d'images de personnalités historiques

Bernice King avait publié sur Instagram la semaine dernière un post demandant aux gens d'arrêter de lui envoyer des vidéos générées par IA utilisant l'image de son père. Elle y fait référence à la même demande faite par Zelda Williams, la fille de Robin Williams. Celle-ci implorait : « Arrêtez de croire que je veux voir ça ou que je vais comprendre, ce n'est pas le cas et ça ne changera pas ». Et elle ajoutait : « Si vous essayez juste de me troller, j'ai vu bien pire, je vais restreindre l'accès et passer à autre chose. Mais s'il vous plaît, si vous avez un minimum de décence, arrêtez de lui faire ça, à lui, à moi, à tout le monde même, point final. C'est stupide, c'est une perte de temps et d'énergie, et croyez-moi, ce n'est PAS ce qu'il voudrait ».

Mais le Washington Post raconte que le problème n'est pas seulement le fait que des personnes connues soient visibles dans des vidéos générées par IA photoréalistes, mais aussi que l'outil est utilisé contre ces personnes de façon dégradante, sexiste, ou raciste. Ainsi, une vidéo montrait par exemple Whitney Houston ivre, comme si elle était filmée par une caméra corporelle de police. Une autre montrait Martin Luther King faisant des cris de singe pendant son célèbre discours « I have a dream ».

D'autres vidéos montrent des deepfakes de Malcolm X, une autre figure noire du mouvement des droits civiques aux États-Unis, faisant des blagues salaces, se battant avec Martin Luther King ou déféquant sur lui-même. « Il est profondément irrespectueux et blessant de voir l'image de mon père utilisée de manière aussi cavalière et insensible alors qu'il a consacré sa vie à la vérité », déplore sa fille, Ilyasah Shabazz, auprès du Washington Post, qui rappelle qu'elle a assisté à l'assassinat de son père en 1965 alors qu'elle n'avait que deux ans. Et elle pose la question : pourquoi les développeurs n'agissent pas « avec la même moralité, la même conscience et le même soin […] qu'ils le souhaiteraient pour leur propre famille ».

OpenAI fait un pas en arrière

Comme nous l'expliquions fin septembre, l'application dispose d'une fonctionnalité censée limiter les deepfakes. Une personne qui a vérifié son identité peut utiliser son image dans des vidéos et d'autres peuvent faire le faire à condition qu'elle donne son consentement. La journaliste Taylor Lorenz a déjà témoigné qu'une personne qui la harcèle avait créé des deepfakes d'elle, mais qu'elle avait pu les faire supprimer en utilisant ce système. Par contre, au lancement de l'application, OpenAI a décidé de ne pas mettre en place de restriction sur les « personnages historiques ».

Ne réagissant qu'après les divers témoignages de descendants célèbres et en ne citant que le cas de Martin Luther King, OpenAI affirme dans son tweet de ce matin : « Bien qu'il existe un intérêt certain pour la liberté d'expression dans la représentation de personnages historiques, OpenAI estime que les personnalités publiques et leurs familles devraient avoir le contrôle final sur l'utilisation de leur image. Les représentants autorisés ou les ayants droit peuvent demander que leur image ne soit pas utilisée dans les caméos [nom utilisé par OpenAI pour sa fonctionnalité de deepfake] de Sora ». En bref, l'entreprise choisit de proposer une option d'opt-out pour les représentants des personnalités historiques qui ne voudraient pas que leur image soit utilisée dans Sora.

Pour éviter que les vidéos générées par IA soient repartagées en dehors de son réseau pour désinformer, OpenAI a mis en place un watermark qui se déplace au cours de la lecture. Mais, comme l'a remarqué 404 Media, de nombreux systèmes de suppression de ces filigranes ont rapidement pullulé sur le web, rendant rapidement cette protection contre la désinformation peu efficace.

La viralité et l'injure font le succès

Tout ça a permis d'avoir un certain succès. Mais, comme le souligne notre consœur Katie Notopoulos de Business Insider, la plupart des utilisateurs semblent être des garçons adolescents, contre « très, très peu de femmes ». « De manière générale, si une plateforme sociale est un endroit effrayant pour les femmes… mon ami, tu as un problème », commente-t-elle.

Pendant ce temps-là, comme nous l'évoquions aussi, Meta a sorti Vibes, un équivalent de Sora mais sans cette possibilité de deepfake. Celui-ci semble avoir beaucoup moins de succès. Pour notre confrère de Wired, Reece Rogers, ses premières expériences sur l'application de Meta étaient « ennuyeuses et sans intérêt ». Pour lui, le flux de Sora, « avec sa prolifération de deepfakes souriants, était beaucoup plus électrique… et inquiétant ».

On n'en a en tout cas pas fini avec les vidéos générées par IA plus photoréalistes les unes que les autres, puisque Google vient d'annoncer ce jeudi 15 octobre la sortie de Veo 3.1. L'entreprise promet aux utilisateurs plus de contrôle dans son outil d'édition de vidéos générées par IA Flow : « Nous sommes toujours à l'écoute de vos commentaires, et nous avons compris que vous souhaitez avoir davantage de contrôle artistique dans Flow, avec une prise en charge audio améliorée dans toutes les fonctionnalités », affirme l'entreprise. Elle promet, entre autres, une génération de vidéos plus rapidement proche des demandes des utilisateurs et une « qualité audiovisuelle améliorée lors de la conversion d'images en vidéos ».