Sora d’OpenAI utilisée pour insérer des propos racistes dans la bouche de célébrités

Sora a déjà permis des deepfakes et des représentations racistes et sexistes de personnages historiques. Mais l'application d'OpenAI rend aussi possible la création de vidéos dans lesquelles des personnes connues semblent proférer des insultes racistes.

Ainsi, comme l'explique Rolling Stone, des deepfakes commencent à circuler sur le nouveau réseau social d'OpenAI (non accessible officiellement en France) où l'on voit des personnalités étatsuniennes comme le boxeur et youtubeur Jack Paul proférer des insultes racistes. Ou plutôt, qui semblent proférer. Car les utilisateurs qui créent ce genre de vidéos s'appuient sur la proximité sonore de certains mots pour passer outre les blocages.

Ainsi, par exemple, Jack Paul est représenté dans un supermarché criant « I hate juice » (je déteste le jus), qui se rapproche fortement de façon sonore d'une phrase antisémite, jouant sur le rapprochement sonore de « juice » (jus) et de « jews » (juifs). La vidéo a été générée par Sora le 12 octobre et est encore en ligne actuellement.

De la même façon, une vidéo met en scène Sam Altman crier « I hate knitters » (je déteste les personnes qui tricotent), pour se rapprocher du terme « niggers » (nègres).

Les chercheurs de l'entreprise Copyleaks qui ont repéré le phénomène expliquent : « ce comportement illustre une tendance peu surprenante en matière de contournement basé sur les prompts, où les utilisateurs testent intentionnellement les systèmes à la recherche de faiblesses dans la modération du contenu. Lorsqu'ils sont associés à des ressemblances avec des personnes reconnaissables, ces deepfakes deviennent plus viraux et plus préjudiciables, se propageant rapidement sur la plateforme et au-delà (toutes les vidéos que nous avons examinées pouvaient être téléchargées, ce qui permettait leur publication croisée ailleurs) ».