Connexion Premium

L’hallucination d’une IA a failli provoquer un affrontement entre les États-Unis et la Chine

« ChatGPT peut faire des erreurs »

L’hallucination d’une IA a failli provoquer un affrontement entre les États-Unis et la Chine

L’humanité est passée à un cheveu, ou plutôt à une hallucination près, de partir en lattes. Au printemps, l’armée américaine était en effet à deux doigts de prendre d’assaut un navire chinois soupçonné de transporter des composants pour un programme nucléaire. Problème : le rapport sur lequel l’armée se basait a été généré par une IA qui a halluciné la cargaison du bateau.

Depuis quelques jours, les grands acteurs de l’IA jouent à se faire peur, en affirmant que cette technologie pourrait signer la fin de l’humanité. Un storytelling apocalyptique qui sert aussi et surtout les intérêts commerciaux d’entreprises qui préparent leurs introductions en Bourse.

Le vrai danger immédiat de l’IA réside dans les décisions potentiellement catastrophiques d’humains prises à partir d’informations non fiables ou carrément hallucinées. C’est particulièrement problématique quand il s’agit de décisions militaires. CNN rapporte un exemple qui fait froid dans le dos.

WarGames pour les nuls

Au plus fort de la guerre contre l’Iran ce printemps, l’armée américaine a très sérieusement envisagé d’intercepter un navire chinois par la force, avec l’aide d’un support aérien armé. Le bâtiment, qui croisait au Moyen-Orient, transportait des composants destinés à un programme d’armement nucléaire, du moins d’après un rapport rédigé par un analyste du commandement des opérations spéciales américaines pour le Pacifique, basé à Hawaï.

Fort heureusement, juste avant le lancement de l’opération, des responsables ont examiné de plus près le fameux rapport. Ils ont alors découvert qu’il avait été rédigé avec l’aide d’un bot IA qui a mal identifié la nature du matériel transporté par le navire, à partir de son manifeste. Une des sources de CNN affirme que le rapport était « complètement faux ». Cette histoire basée sur l’hallucination d’une IA a « presque failli déclencher une guerre » : toute opération américaine contre un navire chinois peut dégénérer en conflit entre les États-Unis et la Chine.

Le bot aurait patouillé des renseignements publics avec des renseignements classifiés pour déterminer, faussement, que le bâtiment transportait une cargaison dangereuse. Une conclusion qui aurait pu être très lourde de conséquences.

Le Pentagone hallucine aussi

Le ministère de la Défense américain, emmené par le très trumpiste Pete Hegseth, a fait de l’intégration de l’IA dans les opérations militaires une priorité. Une intégration à marche forcée : les responsables états-uniens, tout comme Donald Trump, estiment que le pays ne peut pas prendre de retard sur ce dossier. Que se passerait-il si les États-Unis devaient affronter la Chine ou un autre adversaire mieux équipé ?

Une note du Pentagone décrivait la stratégie à suivre (PDF) : démocratiser l’expérimentation de l’IA dans l’ensemble du ministère, « en mettant les modèles d’IA américains de pointe directement entre les mains de nos trois millions de personnels civils et militaires, à tous les niveaux de classification ».

La mise en œuvre serait cependant bien décousue : chaque branche du gouvernement utilise des outils différents avec des normes de sécurité tout aussi différentes. Aucun standard n’existe pour vérifier les informations de ces systèmes d’IA. Les humains restent donc, plus que jamais, absolument indispensables pour prendre les décisions, en espérant que ce soient les bonnes.

Commentaires (33)

votre avatar
Heureusement, des responsables ont été responsables.
... Mais pour combien de temps encore ?

J'ai l'impression d'être au temps de la guerre froide, mais au lieu d'avoir en menace un déluge de feu nucléaire, j'ai la crainte plus sournoise d'une apocalypse numérique.
C'est un peu moins pire : on a probablement moins le risque de mourir oblitérés.
C'est un peu pire : on risque de devoir vivre dans un monde en ruine et à feu et à sang.
votre avatar
L'un n'empêche pas l'autre, l'apocalypse numérique qui par rebond déclenche l'apocalypse nucléaire après une phase de conflit "classique".
votre avatar
Ce n'est pas l'IA le vrai danger, mais l'incompétence ou la précipitation humaine : déléguer une analyse géopolitique à un algorithme sans checker pour valider ses conclusions, c'est de la connerie pure ...
votre avatar
C'est clairement pas la première fois qu'un humain intervient pour éviter un désastre lié à des systèmes automatisés cf l'article mis en source à la fin de celui-ci
votre avatar
Une petite pensée à Stanislav Petrov, pour sa rapide et salutaire analyse des hallucinations d'un satellite en 1983!
fr.wikipedia.org Wikipedia
votre avatar
votre avatar
Oui je pensais à cet épisode, je me demande encore s’il a réellement eu lieu, si ce n’est pas une légende urbaine.

Ce type est un héros planétaire, il devrait être connu de tous, avoir des statues et des lieux à son nom.
votre avatar
si ce n’est pas une légende urbaine.
Les soviétiques eux-mêmes ont documenté l'erreur d'interprétation (sur le tard, on est d'accord). Quel pourrait bien être l'avantage idéologique à admettre que leur détection précoce est trouée?
votre avatar
Bon, après, quand on est capable de fermer tous les programmes de recherche que ce gouvernement ferme juste parce qu'il contient un "mauvais" mot dans le titre, quand on est capable de stopper les obligations de vaccins, ... je ne vois pas ce qu'il y a d'étonnant.
Quand on voit ce qu'on voit, quand on entend ce qu'on entend, quand on sait ce qu'on sait, on ne s'étonne plus de penser ce qu'on pense...
votre avatar
L'IA est le vrai danger car contrairement à un simple outil, elle pourrait à termes prendre les commandes en automatique de décisions qui même apparaissant anodines, pourraient entrainer un conflit quand elles s'enchainent.

Certes l'humain est en partie responsable, mais tenir absolument à absoudre l'IA c'est de l'aveuglement.
votre avatar
elle pourrait à termes prendre les commandes en automatique de décisions
Non, l'IA ne prendra pas les commandes, éventuellement on pourrait lui déléguer ces prises de décisions. À la fin, ce sont toujours des gens qui sont responsables de leurs conneries. Tant qu'on n'aura pas vu le FBI faire des raids chez Anthropic et OpenAI pour leur attaque du site de Hugging Face, et des responsables (comme des CEO et des CTO) traînés en justice et condamnés lourdement (comme ça a été le cas pour des milliers de hackers), on continuera à se br... sur les dangers de l'IA et à inventer des histoires à dormir debout pour une gouvernance de l'IA, alors qu'il faut juste traiter l'IA pour ce qu'elle est : du logiciel, avec les mêmes conséquences que pour tout logiciel quand il y a des résultats dommageables pour des personnes ou des organisations.

La gouvernance de l'IA, c'est de la poudre aux yeux diffusée par les vendeurs des modèles qui cherchent à tout prix à éviter d'être comptables de leurs actes et de leurs décisions.
votre avatar
Malheureusement, il y en a plein des gens qui ont débranché leur cerveau et qui prennent tout ce qui génère leur IA pour argent comptant sans rien vérifier... On a pas le c*l sorti des ronces... 😥️
votre avatar
Sous l'article du Monde sur cet événement, il y a un commentaire qui explique que l'IA est superintelligente et donc que le bateau devait forcément contenir du matériel nucléaire, et que c'est l'armée qui a eu tort de ne pas lui faire confiance 🤯

J'étais plutôt pour éviter les simplifications stupides du genre "les IA sont des perroquets stochastiques" mais quand on voit le niveau d'ignorance générale, ça ne fait pas de mal de rappeler les bases.
votre avatar
Les erreurs militaires liées à une mauvaise utilisation de l'IA, il y en a déjà eu probablement des centaines, mais comme aucun journaliste n'a pu se rendre sur le terrain, ça n'est que peu ou pas documenté. Je parle bien sûr des frappes israéliennes à Gaza :pleure:
votre avatar
Les erreurs date d'avant, l'IA a juste ajouter une couche supplémentaire.
Les US sont spécialiste des bavures cachées sur le terrain.

Faut voir comment les US ont imposé la protection de leurs boys en cas de conflits... aucun passage par la CPI possible, parce qu'ils sont américains.
votre avatar
Intelligence artificielle et stupidité naturelle, les ingrédients clés pour une apocalypse aux petits onions parfaitement réussie...
votre avatar
Bah, c'est juste une IA avec le taux de testostérone qu'affectionne Hegseth! :fume:
votre avatar
J'aime les nouvelles rassurantes de bon matin ☕️
votre avatar
Dans un sens, c'est rassurant : il y a eu vérification et donc le problème a été évité.
À priori, il reste des gens compétents dans l'armée américaine.
votre avatar
Pour combien de temps encore ?
:roll:
votre avatar
Marrant que tu me cite !
:copain:
votre avatar
L’humanité est passée à un cheveu, ou plutôt à une hallucination près, de partir en lattes.
Fausse joie :craint:
votre avatar
Mais non, les dangers de l'IA, c'est un canular des démocrates, c'est Trump qui le dit :mdr2:
votre avatar
On est passé à côté d'un incident diplomatique, pas de la fin du monde hein.
D'ailleurs un tel incident aurait probablement mis en lumière le besoin de coordination internationale sur le développement de l'IA et accéléré sa mise en œuvre pour éviter une catastrophe. Do coup c'est le status quo.
Titre un peu putaclic à mon avis 😉
votre avatar
On est juste passé à côté de la fin de Trump 😭
votre avatar
Vu l'ambiance actuelle, bien malin qui peut prévoir ce qu'un tel incident diplomatique aurait pu donner.
Ça aurait très bien pu être utilisé comme Casus belli par la Chine. Ou pas. On sait pas.
Mais comme pour l'après seconde guerre mondiale, on parle de 2 superpuissances nucléaires qui se disputent la première place dans le monde, avec un dictateur d'un côté et un #&%@ de l'autre.

C'est bien d'essayer de garder la tête froide, mais il ne faut pas non plus se voiler la face : c'était un coup à déstabiliser le monde entier. Et même sans le détruire (effectivement, ça, je n'y crois pas vraiment), ça aurait pu avoir de sacré impacts pour tous. Il suffit de voir ce que l'échec de la guerre en Iran a comme impact actuellement, ne serait-ce que sur les prix des carburants.
votre avatar
Ça me rappelle une histoire datant de la guerre froide ou l'on est passés à un cheveu d'un affrontement nucléaire (et merci à l'opérateur radar qui a vu que c'était un bug radar).
votre avatar
Il savait pas que c'était un bug : il s'est dit que c'était très probablement un bug car l'attaque était trop "petite" pour être réelle.

Et le gars avait ses supérieurs sur le dos pour lui dire d'appuyer sur le bouton.

Le gars est littéralement un vrai héro de l'humanité.
votre avatar
Personnellement je m'interroge sur la base légale d'une telle intervention si elle était arrivée.
votre avatar
La même que pour couler des bateaux dans les Antilles (et non Caraïbes, ça c'est le nom anglais), c'est à dire Ø
votre avatar
la base quoi?
votre avatar
Wargame IRL.
votre avatar
il semblerait également que l'attaque contre l'école de fille au début de la guerre vienne de l'utilisation de l'IA : l'école était une base militaire avant, la cible a donc du etre intégré à ce moment là dans une base, l'IA l'a sélectionné sauf que personne n'a eu l'idée de vérifier les cibles à un moment donné.

A noter que cette confiance dans la techno a toujours été un problème côté US, j'ai souvenir d'un reportage où des militaires FR expliquaient qu'ils avaient du faire appel aux renseignements US pour une cible et qu'en vérifiant avant ils avaient constaté que c'était une cible civile.