Connexion Premium

KPMG retire un rapport chantant les louanges de l’IA après la découverte d’hallucinations

Quoi de mieux pour chanter les louanges de l’IA qu’un rapport truffé d’hallucinations rédigé par une IA ? KPMG a dû retirer une étude sur l’IA agentique après la découverte de plusieurs cas d’usage apparemment inventés. Oups.

Tout ce que raconte l’IA n’est pas d’or. KPMG, une des plus grandes agences de conseil au monde, a publié en octobre dernier un rapport pour « redéfinir l’excellence à l’heure de l’IA agentique ». Destiné aux dirigeants et aux décideurs, le document multiplie les études de cas censées illustrer l’adoption de cette technologie dans les secteurs de la finance, des transports ou encore de la santé.

Illustration : Flock

Seul problème : de nombreux exemples du rapport sont faux, ou à tout le moins factuellement incorrects. Le rapport affirmait ainsi que la banque UBS utilisait des agents IA pour le conseil en investissement, la gestion des risques et la conformité réglementaire au sein d’une plateforme développée avec Microsoft. Des affirmations qui reposent sur des faits incorrects, affirme l’établissement financier au Financial Times et aux chercheurs d’hallucinations du détecteur de contenus générés par IA GPTZero.

Quand l’IA vante l’IA

Autre exemple, celui des chemins de fer fédéraux suisses, chez qui des agents IA étaient censés aider les voyageurs à planifier, réserver et optimiser leurs trajets en fonction de leurs préférences, des conditions en temps réel et de l’impact carbone. Sauf que la description donnée dans le rapport n’était « pas exacte ». Il prétendait aussi que Transport for London (TfL) employait des agents IA pour prévoir et gérer la congestion, personnaliser les informations aux voyageurs et coordonner les modes de transport. Une présentation « trompeuse », selon la TfL.

Enfin, KPMG affirmait que des agents IA prédisaient les réadmissions à l’hôpital, réalisaient un tri des patients et automatisaient les orientations médicales au sein du système de santé dans le grand Manchester. De fausses informations provenant manifestement de la mauvaise interprétation d’un communiqué sur un outil de détection du… cancer du poumon.

Sur les 45 références citées dans le rapport, seules 5 renvoient correctement à des sources réelles, a calculé GPTZero. 28 autres citations fournissent des titres paraphrasés et/ou des éléments erronés pour une source réelle. Les 12 dernières sont trop vagues ou comportent trop d’erreurs pour permettre de déterminer avec certitude si une source existe.

De plus, environ la moitié des affirmations étayées par ces 45 citations semblent être fausses ou attribuées à tort – probablement parce qu’un outil de recherche sur l’IA a trop pris au pied de la lettre une demande visant à trouver des exemples d’« IA agentique » exploitées en production.

Après avoir été alerté par le FT et GPTZero, KPMG a retiré le rapport de ses sites web, tout en affirmant prendre très au sérieux « l’exactitude et l’intégrité » de ses publications. Le cabinet a rappelé que ses employés doivent respecter des règles internes sur l’usage responsable de l’IA.

« Nous attendons de l’ensemble de nos collaborateurs qu’ils respectent nos directives relatives à l’utilisation responsable de l’IA, notamment en assurant une supervision humaine pour valider les contenus et vérifier les sources indépendantes », indique un porte-parole. Une enquête interne a été lancée, mais c’est un peu tard : les conclusions de ce rapport avaient déjà été reprises par plusieurs publications spécialisées du secteur, ainsi que par un important quotidien tchèque.

Ce n’est pas une première, les exemples d’hallucinations d’IA prises pour argent comptant se sont multipliés dans tous les domaines, et on n’est pas près d’en voir le bout.

Commentaires (2)

votre avatar
Deloitte, maintenant KPMG, décidément ces cabinets tentent de nous gaver d’IA en prod pour des résultats… simplement faux, et très chers dans le cas de Deloitte ! 😳
votre avatar
Peut-être qu'ils pensaient que ça n'allait pas être lu, comme bien d'autres rapports ☝️