Quoi de mieux pour chanter les louanges de l’IA qu’un rapport truffé d’hallucinations rédigé par une IA ? KPMG a dû retirer une étude sur l’IA agentique après la découverte de plusieurs cas d’usage apparemment inventés. Oups.
Tout ce que raconte l’IA n’est pas d’or. KPMG, une des plus grandes agences de conseil au monde, a publié en octobre dernier un rapport pour « redéfinir l’excellence à l’heure de l’IA agentique ». Destiné aux dirigeants et aux décideurs, le document multiplie les études de cas censées illustrer l’adoption de cette technologie dans les secteurs de la finance, des transports ou encore de la santé.
Seul problème : de nombreux exemples du rapport sont faux, ou à tout le moins factuellement incorrects. Le rapport affirmait ainsi que la banque UBS utilisait des agents IA pour le conseil en investissement, la gestion des risques et la conformité réglementaire au sein d’une plateforme développée avec Microsoft. Des affirmations qui reposent sur des faits incorrects, affirme l’établissement financier au Financial Times et aux chercheurs d’hallucinations du détecteur de contenus générés par IA GPTZero.
Quand l’IA vante l’IA
Autre exemple, celui des chemins de fer fédéraux suisses, chez qui des agents IA étaient censés aider les voyageurs à planifier, réserver et optimiser leurs trajets en fonction de leurs préférences, des conditions en temps réel et de l’impact carbone. Sauf que la description donnée dans le rapport n’était « pas exacte ». Il prétendait aussi que Transport for London (TfL) employait des agents IA pour prévoir et gérer la congestion, personnaliser les informations aux voyageurs et coordonner les modes de transport. Une présentation « trompeuse », selon la TfL.
Enfin, KPMG affirmait que des agents IA prédisaient les réadmissions à l’hôpital, réalisaient un tri des patients et automatisaient les orientations médicales au sein du système de santé dans le grand Manchester. De fausses informations provenant manifestement de la mauvaise interprétation d’un communiqué sur un outil de détection du… cancer du poumon.
Sur les 45 références citées dans le rapport, seules 5 renvoient correctement à des sources réelles, a calculé GPTZero. 28 autres citations fournissent des titres paraphrasés et/ou des éléments erronés pour une source réelle. Les 12 dernières sont trop vagues ou comportent trop d’erreurs pour permettre de déterminer avec certitude si une source existe.
De plus, environ la moitié des affirmations étayées par ces 45 citations semblent être fausses ou attribuées à tort – probablement parce qu’un outil de recherche sur l’IA a trop pris au pied de la lettre une demande visant à trouver des exemples d’« IA agentique » exploitées en production.
Après avoir été alerté par le FT et GPTZero, KPMG a retiré le rapport de ses sites web, tout en affirmant prendre très au sérieux « l’exactitude et l’intégrité » de ses publications. Le cabinet a rappelé que ses employés doivent respecter des règles internes sur l’usage responsable de l’IA.
« Nous attendons de l’ensemble de nos collaborateurs qu’ils respectent nos directives relatives à l’utilisation responsable de l’IA, notamment en assurant une supervision humaine pour valider les contenus et vérifier les sources indépendantes », indique un porte-parole. Une enquête interne a été lancée, mais c’est un peu tard : les conclusions de ce rapport avaient déjà été reprises par plusieurs publications spécialisées du secteur, ainsi que par un important quotidien tchèque.
Ce n’est pas une première, les exemples d’hallucinations d’IA prises pour argent comptant se sont multipliés dans tous les domaines, et on n’est pas près d’en voir le bout.
Commentaires (11)
Abonnez-vous pour prendre part au débat
Déjà abonné ou lecteur ? Se connecter
Cet article est en accès libre, mais il est le produit d'une rédaction qui ne travaille que pour ses lecteurs, sur un média sans pub et sans tracker. Soutenez le journalisme tech de qualité en vous abonnant.
Accédez en illimité aux articles d'un média expert
Profitez d'au moins 1 To de stockage pour vos sauvegardes
Intégrez la communauté et prenez part aux débats
Partagez des articles premium à vos contacts
Abonnez-vousLe 15 juin à 09h17
Le 15 juin à 13h40
Le 15 juin à 09h39
Le 15 juin à 10h50
Le 15 juin à 10h48
Parce que bon, leurs rapport servent souvent de "justification" à la prise de décisions, sont repris dans d'autres rapports, etc.
Modifié le 15 juin à 13h06
Le 15 juin à 13h12
Le 16 juin à 19h14
Le 15 juin à 12h16
Arrêtez de voir l’hallucination partout, c'est potentiellement une sacrée preuve d'humour de la part de l'IA rédactrice du torcheballe!
Le 15 juin à 13h14
Le 15 juin à 19h51
Là c’est un compte rendu de réunion aux airs super bien ficelé mais faux dès les premières lignes : noms de sociétés et postes des intervenants complètement inventés. Tellement gros que personne ne le voit…
Ici un rapport fleuve sur un sujet relou, truffé de précisions bidonnées (lieux, dates etc).
Là bas, un travail parfaitement exécuté pour une première requête, puis entièrement bidonné sur la deuxième, pourtant tout à fait similaire. Si on s’est contenté de vérifier le résultat de la première on peut avoir tendance à se dire : « pas de raison qu’il y a une erreur sur cette deuxième » et aller trop vite en besogne.
C’est un peu comme un numéro d’illusioniste. On ne voit pas l’essentiel.
Que ces cabinets internationaux se prennent des claques c’est extrêmement positif.
Et honteux à la fois. Même si comme certains l’ont dit : bien qu’ils soient considérés trop souvent comme des tiers de confiance, ils n’ont pas attendu l’IA générative pour sortir des rapports creux et truffés d’âneries.
Signaler un commentaire
Voulez-vous vraiment signaler ce commentaire ?