Illustration parfaite de l’un des nombreux risques que posent les IA génératives en matière de désinformation : le 22 mai, pendant quelques heures, la rumeur a couru, photos générées à l’appui, que le Pentagone puis la Maison Blanche avaient été attaquées. 

Dans un thread publié sur Twitter, le chercheur John Scott-Railton a donné plusieurs détails sur la campagne, à commencer par le fait que les images étaient suffisamment grossièrement réalisées pour que des internautes suspectent rapidement l’utilisation de modèles génératifs d’IA.

Plus problématique, et « comme nous avions tous prévenu », des comptes Twitter assortis de l’icône bleue de vérification de Twitter ont participé à faire circuler la fausse information, quand bien même ils usurpaient l’identité d’entités comme le média Bloomberg. Pendant un bref moment, la bourse américaine a même plongé, probablement flouée par la campagne.

Le buzz créé par la fausse information a été suffisant pour que différents comptes des services d’urgence comme les pompiers estiment nécessaires de communiquer sur le sujet – sachant que certains, comme l’agence des forces de protection du Pentagone, ont perdu leur icône de vérification dans les derniers mois.

En définitive, John Scott-Railton rappelle que les modèles génératifs sont encore dans leur jeunesse : les images qu’ils génèrent devraient s’améliorer, donc leur détection se compliquer. La campagne a rapidement été détectée, mais si l’image concernait un espace moins bien connu que le Pentagone, le débunking aurait pris plus de temps. 

Et le chercheur du Citizen Lab de poser une question conclusive : « demandez-vous comment ce type de désinformation aurait joué à un moment de haute tension. Imaginez par exemple apprendre un attentat contre le président, en ligne, images, vidéos, audios réalistes à l’appui… quelques heures avant la fermeture des bureaux de vote ».
« Nous ne sommes pas préparés », s’inquiète-t-il.

• ChatGPT, Bard et les autres, agents de désinformation massive ?
• Dangers des grands modèles de langage : des chercheuses avaient prévenu
• GPT-4 plus enclin à disséminer des fausses informations