L’hallucination d’une IA a failli provoquer un affrontement entre les États-Unis et la Chine
« ChatGPT peut faire des erreurs »
Le 21 septembre à 08h08
L’humanité est passée à un cheveu, ou plutôt à une hallucination près, de partir en lattes. Au printemps, l’armée américaine était en effet à deux doigts de prendre d’assaut un navire chinois soupçonné de transporter des composants pour un programme nucléaire. Problème : le rapport sur lequel l’armée se basait a été généré par une IA qui a halluciné la cargaison du bateau.
L’hallucination d’une IA a failli provoquer un affrontement entre les États-Unis et la Chine
« ChatGPT peut faire des erreurs »
L’humanité est passée à un cheveu, ou plutôt à une hallucination près, de partir en lattes. Au printemps, l’armée américaine était en effet à deux doigts de prendre d’assaut un navire chinois soupçonné de transporter des composants pour un programme nucléaire. Problème : le rapport sur lequel l’armée se basait a été généré par une IA qui a halluciné la cargaison du bateau.
IA et algorithmes
IA
3 min
Depuis quelques jours, les grands acteurs de l’IA jouent à se faire peur, en affirmant que cette technologie pourrait signer la fin de l’humanité. Un storytelling apocalyptique qui sert aussi et surtout les intérêts commerciaux d’entreprises qui préparent leurs introductions en Bourse.
Le vrai danger immédiat de l’IA réside dans les décisions potentiellement catastrophiques d’humains prises à partir d’informations non fiables ou carrément hallucinées. C’est particulièrement problématique quand il s’agit de décisions militaires. CNN rapporte un exemple qui fait froid dans le dos.
WarGames pour les nuls
Au plus fort de la guerre contre l’Iran ce printemps, l’armée américaine a très sérieusement envisagé d’intercepter un navire chinois par la force, avec l’aide d’un support aérien armé. Le bâtiment, qui croisait au Moyen-Orient, transportait des composants destinés à un programme d’armement nucléaire, du moins d’après un rapport rédigé par un analyste du commandement des opérations spéciales américaines pour le Pacifique, basé à Hawaï.
Fort heureusement, juste avant le lancement de l’opération, des responsables ont examiné de plus près le fameux rapport. Ils ont alors découvert qu’il avait été rédigé avec l’aide d’un bot IA qui a mal identifié la nature du matériel transporté par le navire, à partir de son manifeste. Une des sources de CNN affirme que le rapport était « complètement faux ». Cette histoire basée sur l’hallucination d’une IA a « presque failli déclencher une guerre » : toute opération américaine contre un navire chinois peut dégénérer en conflit entre les États-Unis et la Chine.
Le bot aurait patouillé des renseignements publics avec des renseignements classifiés pour déterminer, faussement, que le bâtiment transportait une cargaison dangereuse. Une conclusion qui aurait pu être très lourde de conséquences.
Le Pentagone hallucine aussi
Le ministère de la Défense américain, emmené par le très trumpiste Pete Hegseth, a fait de l’intégration de l’IA dans les opérations militaires une priorité. Une intégration à marche forcée : les responsables états-uniens, tout comme Donald Trump, estiment que le pays ne peut pas prendre de retard sur ce dossier. Que se passerait-il si les États-Unis devaient affronter la Chine ou un autre adversaire mieux équipé ?
Une note du Pentagone décrivait la stratégie à suivre (PDF) : démocratiser l’expérimentation de l’IA dans l’ensemble du ministère, « en mettant les modèles d’IA américains de pointe directement entre les mains de nos trois millions de personnels civils et militaires, à tous les niveaux de classification ».
La mise en œuvre serait cependant bien décousue : chaque branche du gouvernement utilise des outils différents avec des normes de sécurité tout aussi différentes. Aucun standard n’existe pour vérifier les informations de ces systèmes d’IA. Les humains restent donc, plus que jamais, absolument indispensables pour prendre les décisions, en espérant que ce soient les bonnes.
Commentaires (33)
Abonnez-vous pour prendre part au débat
Déjà abonné ou lecteur ? Se connecter
Cet article est en accès libre, mais il est le produit d'une rédaction qui ne travaille que pour ses lecteurs, sur un média sans pub et sans tracker. Soutenez le journalisme tech de qualité en vous abonnant.
Accédez en illimité aux articles d'un média expert
Profitez d'au moins 1 To de stockage pour vos sauvegardes
Intégrez la communauté et prenez part aux débats
Partagez des articles premium à vos contacts
Abonnez-vousLe 21 septembre à 08h41
... Mais pour combien de temps encore ?
J'ai l'impression d'être au temps de la guerre froide, mais au lieu d'avoir en menace un déluge de feu nucléaire, j'ai la crainte plus sournoise d'une apocalypse numérique.
C'est un peu moins pire : on a probablement moins le risque de mourir oblitérés.
C'est un peu pire : on risque de devoir vivre dans un monde en ruine et à feu et à sang.
Le 21 septembre à 09h49
Le 21 septembre à 08h43
Le 21 septembre à 08h58
Le 21 septembre à 10h13
Le 21 septembre à 10h34
Le 22 septembre à 14h13
Ce type est un héros planétaire, il devrait être connu de tous, avoir des statues et des lieux à son nom.
Le 23 septembre à 10h35
Le 21 septembre à 09h20
Quand on voit ce qu'on voit, quand on entend ce qu'on entend, quand on sait ce qu'on sait, on ne s'étonne plus de penser ce qu'on pense...
Le 21 septembre à 16h44
Certes l'humain est en partie responsable, mais tenir absolument à absoudre l'IA c'est de l'aveuglement.
Le 22 septembre à 08h16
La gouvernance de l'IA, c'est de la poudre aux yeux diffusée par les vendeurs des modèles qui cherchent à tout prix à éviter d'être comptables de leurs actes et de leurs décisions.
Le 21 septembre à 09h01
Le 21 septembre à 15h17
J'étais plutôt pour éviter les simplifications stupides du genre "les IA sont des perroquets stochastiques" mais quand on voit le niveau d'ignorance générale, ça ne fait pas de mal de rappeler les bases.
Modifié le 21 septembre à 09h05
Le 21 septembre à 09h53
Les US sont spécialiste des bavures cachées sur le terrain.
Faut voir comment les US ont imposé la protection de leurs boys en cas de conflits... aucun passage par la CPI possible, parce qu'ils sont américains.
Le 21 septembre à 09h06
Le 21 septembre à 09h41
Le 21 septembre à 09h55
Le 21 septembre à 10h05
À priori, il reste des gens compétents dans l'armée américaine.
Le 21 septembre à 13h28
Le 21 septembre à 14h39
Le 21 septembre à 10h29
Le 21 septembre à 11h42
Le 21 septembre à 13h30
D'ailleurs un tel incident aurait probablement mis en lumière le besoin de coordination internationale sur le développement de l'IA et accéléré sa mise en œuvre pour éviter une catastrophe. Do coup c'est le status quo.
Titre un peu putaclic à mon avis 😉
Le 21 septembre à 13h51
Le 21 septembre à 14h35
Ça aurait très bien pu être utilisé comme Casus belli par la Chine. Ou pas. On sait pas.
Mais comme pour l'après seconde guerre mondiale, on parle de 2 superpuissances nucléaires qui se disputent la première place dans le monde, avec un dictateur d'un côté et un #&%@ de l'autre.
C'est bien d'essayer de garder la tête froide, mais il ne faut pas non plus se voiler la face : c'était un coup à déstabiliser le monde entier. Et même sans le détruire (effectivement, ça, je n'y crois pas vraiment), ça aurait pu avoir de sacré impacts pour tous. Il suffit de voir ce que l'échec de la guerre en Iran a comme impact actuellement, ne serait-ce que sur les prix des carburants.
Le 21 septembre à 13h53
Modifié le 21 septembre à 14h38
Et le gars avait ses supérieurs sur le dos pour lui dire d'appuyer sur le bouton.
Le gars est littéralement un vrai héro de l'humanité.
Le 21 septembre à 17h29
Le 21 septembre à 17h46
Le 21 septembre à 22h45
Le 21 septembre à 17h49
Le 22 septembre à 11h43
A noter que cette confiance dans la techno a toujours été un problème côté US, j'ai souvenir d'un reportage où des militaires FR expliquaient qu'ils avaient du faire appel aux renseignements US pour une cible et qu'en vérifiant avant ils avaient constaté que c'était une cible civile.
Signaler un commentaire
Voulez-vous vraiment signaler ce commentaire ?