[Màj] Deloitte reconnaît avoir rendu à l’Australie un rapport en partie généré par IA

Mise à jour du 7 octobre :

Deloitte Australie vient de reconnaître qu'elle a utilisé une IA générative pour créer son rapport remis au gouvernement australien, explique le journal économique Australian Financial Review (AFR) à l'origine des révélations. Une nouvelle version du rapport a été discrètement mise en ligne vendredi 3 octobre.

L'entreprise s'est engagée à rembourser une partie des 439 000 dollars australiens (environ 245 500 euros) que l'Australie lui avait versé pour auditer son système informatique censé automatiser les sanctions dans le système social, sans pour autant qu'on sache quelle somme exacte sera remboursée.

Cette mésaventure avec l'IA générative ne semble pas freiner l'entreprise de conseil. Ainsi, l'entreprise annonçait ce lundi un accord avec Anthropic pour que ses 470 000 employés à travers le monde puissent utiliser l'assistant IA Claude.

« Nous investissons tous deux des sommes importantes dans ce partenariat, que ce soit sur le plan financier ou simplement en termes de ressources techniques que nous allons y consacrer », affirmait Paul Smith, le responsable commercial d'Anthropic sans que les deux entreprises donnent de détails financiers sur l'accord en question.

Article originel publié le 28 aout :

En Australie, la multinationale de conseil Deloitte a été missionnée pour auditer le système informatique utilisé pour automatiser les sanctions dans le système social, telles que les suspensions d'allocations chômage.

Plus de 1 000 personnes injustement sanctionnées

En effet, en février dernier, la ministre australienne de l'Emploi et des relations professionnelles, Natalie James, a dû présenter des excuses publiques alors qu'une enquête a été lancée sur 1 326 annulations potentiellement illégales de paiements d'aides sociales, expliquait le média The Mandarin.

Ces annulations erronées seraient dues à une mauvaise interprétation des règles sociales du pays par le système informatique mis en place pour automatiser la gestion des sanctions. Selon le Guardian, le montant total des annulations avoisinerait 1,2 million de dollars australiens (environ 670 000 euros).

• Australie : la commission royale étrille les responsables du système de robot-dette

Un rapport d'audit avec de fausses citations scientifiques

Mais, selon le journal économique Australian Financial Review (AFR), Deloitte est suspectée d'avoir rendu un rapport au moins partiellement rédigé par IA et n'ayant pas été suffisamment relu. En effet, ce rapport [PDF] qui boucle une mission qui aura coûté plus de 439 000 dollars australiens (environ 245 500 euros) aux contribuables, contient des citations d'articles scientifiques qui n'existent pas.

Le rapport s'appuie, par exemple, sur deux articles supposés avoir été publiés par la chercheuse Lisa Burton Crawford : « The Rule of Law and Administrative Justice in the Welfare State: A Study of Centrelink » ainsi que « The Rule of Law and Administrative Discretion ».

Interrogé par AFR, la chercheuse explique qu'elle a « publié des recherches sur les questions abordées dans le rapport, dont certaines sont largement favorables à certaines des affirmations pour lesquelles je suis citée ». Elle ajoute : « Cependant, les publications auxquelles le rapport fait référence n'existent pas, et je ne comprends pas toujours clairement en quoi les recherches que j'ai publiées corroborent les propositions pour lesquelles je suis citée. Il est préoccupant de voir des recherches m'être attribuées de cette manière. J'aimerais que Deloitte m'explique comment ces citations ont été générées ». Le chercheur Chris Rudge, qui a signalé le problème au média australien, a repéré d'autres citations de travaux scientifiques fantaisistes.

Deloitte a refusé de répondre à nos confrères sur l'éventuelle utilisation d'une IA pour rédiger son rapport. Dans un communiqué envoyé à AFR, l'entreprise assume toujours le travail réalisé ainsi que les conclusions du rapport. « Lors de la finalisation des références en notes de bas de page pour publication, quelques titres ne correspondaient pas entièrement aux sources correspondantes. Cela a été signalé au client et les références sont en cours de correction », a-t-elle affirmé.

Mais selon l'une des co-autrices de deux chapitres nouvellement cités, Janina Boughey, ces nouvelles références ne vont pas forcément dans le même sens que ce qu'affirme le rapport. « Les affirmations ne semblent pas avoir été tirées d'une lecture de nos travaux », a-t-elle expliqué au journal économique australien.

Un extrait de décision de justice inventé

Chris Rudge a aussi remarqué que le rapport invente une citation d'un juge lors d'une décision de justice et cite une affaire juridique qui n'a en fait aucun rapport avec le sujet. Une autre citation de la même décision de justice fait une erreur dans le numéro du paragraphe auquel elle fait référence.

Cité par nos confrères, le chercheur affirme : « C'est une chose de citer [de manière incorrecte] des universitaires ou d'attribuer des travaux à des chercheurs qui n'existent pas, c'en est une autre de citer [de manière incorrecte] des juges et ainsi de déformer le droit commun australien dans un avis adressé au gouvernement du Commonwealth ».

• Il génère des plaidoiries par IA, et en recense 160 ayant « halluciné » depuis 2023

À notre connaissance, c'est la première fois qu'une des entreprises des « big four » de conseil est prise la main dans le sac concernant l'utilisation de l'IA générative pour rédiger un rapport concluant une étude aussi importante.