Illustration parfaite de l’un des nombreux risques que posent les IA génératives en matière de désinformation : le 22 mai, pendant quelques heures, la rumeur a couru, photos générées à l’appui, que le Pentagone puis la Maison Blanche avaient été attaquées.
Dans un thread publié sur Twitter, le chercheur John Scott-Railton a donné plusieurs détails sur la campagne, à commencer par le fait que les images étaient suffisamment grossièrement réalisées pour que des internautes suspectent rapidement l’utilisation de modèles génératifs d’IA.
Plus problématique, et « comme nous avions tous prévenu », des comptes Twitter assortis de l’icône bleue de vérification de Twitter ont participé à faire circuler la fausse information, quand bien même ils usurpaient l’identité d’entités comme le média Bloomberg. Pendant un bref moment, la bourse américaine a même plongé, probablement flouée par la campagne.
Le buzz créé par la fausse information a été suffisant pour que différents comptes des services d’urgence comme les pompiers estiment nécessaires de communiquer sur le sujet – sachant que certains, comme l’agence des forces de protection du Pentagone, ont perdu leur icône de vérification dans les derniers mois.
En définitive, John Scott-Railton rappelle que les modèles génératifs sont encore dans leur jeunesse : les images qu’ils génèrent devraient s’améliorer, donc leur détection se compliquer. La campagne a rapidement été détectée, mais si l’image concernait un espace moins bien connu que le Pentagone, le débunking aurait pris plus de temps.
Et le chercheur du Citizen Lab de poser une question conclusive : « demandez-vous comment ce type de désinformation aurait joué à un moment de haute tension. Imaginez par exemple apprendre un attentat contre le président, en ligne, images, vidéos, audios réalistes à l’appui… quelques heures avant la fermeture des bureaux de vote ».
« Nous ne sommes pas préparés », s’inquiète-t-il.
Commentaires (28)
#1
Qui veut le pognon prépare l’infox…
Qui paye les serveurs type CDN déjà ?
#2
Il me semble qu’il y a des machines de traiding high fréquence qui suivent les flux twitter et vendent ou achètent en partie à l’aide de ces informations.
#2.1
Salut,
Oui!
Et ça peut s’emballer vite…
Si tu ne connais pas ce Datageule
#3
Illustration parfaite du fait que l’on considère comme vérité absolue et irréfragable le moindre bullshit posté sur un média social.
Bref, rien de nouveau. Ce genre de désinformation est déjà légion et ne demande pas énormément de taff : juste sortir une photo de son contexte. Même pas besoin de retouche.
#4
Après la bétise humaine pour contester l’existence des attentats du 11 septembre maintenant l’intelligence artificielle pour faire croire que ça recommence, c’est beau le progrès …
#4.1
les IA sont complotistes
#4.2
Le 11 septembre personne n’est allé sur la lune.
#5
Ça illustre plus le danger de Twitter que de l’IA. La même photo aurait pu être générée avec Photoshop.
#5.1
Surtout la naïveté des gens… Cela manque de sensibilisation à remettre en question un minimum ce que tu vas lire et voir sur internet, surtout sur Twitter ou autre réseau social…
#5.2
Nous sommes tous bien d’accord, les problématiques soulevées ici viennent plus de Twitter qui met en avant des comptes inconnus plutôt que les sources officielles… ainsi que la tendance aux “trending” sans contrôle.
#5.3
Je me suis coupé le doigt, on est tous bien d’accord que c’est à cause de Twitter.
#6
En résumé:
la seule solution me semble de noyer le poisson en générant n’importe quoi jusqu’à ce que ça devienne ubuesque.
#7
Et de toutes façons elle est plate …
c’est vendredi, on a le droit ….
#7.1
Ah ça je confirme, toutes les photos que j’ai pu en prendre sont totalement plates, c’est bien la preuve que la lune elle même l’est
#8
Et soutenue par quatre éléphants posé sur une tortue
#8.1
L’éclipse de tortue se produit d’ailleurs à chaque pose d’évier.
Entre plombiers faut s’entre-aider…
#9
ca me rappel furieusement l’histoire d’Orson Welles et son émission radiophonique ‘La Guerre des Mondes’ et de l’impact qu’elle peut avoir sur l’opinion publique.
Avec la technologie actuelle, il est devenu possible de créer des images et des vidéos qui semblent réelles, mais qui sont en réalité des fabrications. Par conséquent, il est crucial de maintenir un esprit critique bien aiguisé et de demander des preuves supplémentaires ou de connaître le contexte dans lequel une image ou une vidéo a été capturée.
#9.1
en + de 120 ans l’Humanité n’a pas bcp. évoluée, la preuve !!!
#10
Ha non, mais y’avait la coche bleu, c’est forcément véridique.
#11
Les sources officielles utilisent-elles toutes Twitter ?
#11.1
Je parlais de
“l’agence des forces de protection du Pentagone, ont perdu leur icône de vérification dans les derniers mois.”
#12
Un gars sur Twitter explique qu’il y a eu une campagne de fake news sur Twitter. Je l’ai appris en lisant ce tweet.
Moralité: twitter…
#13
Il semble que l’impact a été exagéré.
#14
ça semblait général
#15
Seul le fisheye rend la forme réelle de la Terre
#16
Ce qui m’inquiète le plus c’est que nous avons tous vu des vidéos choquantes, scandaleuses, que nous avons parfois récupérées, tournées avant les IA génératives donc indiscutables, et très bientôt leur date ne sera plus un argument car les IA peuvent changer la date d’une nouvelle vidéo de manière crédible. Et donc, la terre est ‘plate’, la ‘fausse’ shoah, la ‘fausse’ conquête de la lune, … ont de beaux jours devant eux !
#17
Je connais une technologie très simple, qui existe toujours et qui a presque 20 ans, pour pouvoir détecter le vrai du faux en un instant.
Les webcams publiques sur Internet.
Franchement chers chercheurs, arrêtez de vous compliquer la vie… Quand au risque de traitement diffférent si c’était en campagne, la réalité est qu’un tel acte en campagne n’aurait pas intéressé les réseaux sociaux de toute façon. Il faut un lieu attirant et connu de tous pour que ce genre de désinformation fonctionne.
Les seuls vrais problèmes ici sont l’effet de masse causé par les réseaux sociaux ainsi que la naïveté des gens.
#18
Il y a surtout des efforts conséquents de l’autre côté :
La mise en avant des récits applicables au plus grand nombre, la grandiloquence des lieux de culte, la promesse de vivre dans l’en deça ou l’au delà, le divin reproduisant le corps d’un humain.
Tranduit en lexique contemporain :
La modération par la mise en avant du contenu idiot, l’obésité des pages/apps, la conservation de la mémoire, les selfies.
L’une des caractéristiques essentielles d’un culte c’est qu’il est si ordinaire qu’on ose pas même le contester.
Les archéologues de 5678 retiendront peut-être que les data-center étaient nos temples… et les codecs nos idôles.