USA : l’IA qui devait révolutionner les autorisations de médicaments hallucine des études

L'IA mise en place au sein de la Food and Drugs Administration (FDA) ne serait pas l'outil améliorant les performances tant vantée par son responsable Marty Makary, nommé le 1er avril dernier.

La très reconnue agence de sécurité alimentaire et du médicament avait publié début juin un communiqué de presse sur cette IA, qu'elle a nommé Elsa. « Cet outil innovant modernise les fonctions de l'agence et exploite les capacités de l'IA pour mieux servir la population américaine », expliquait la FDA.

Dans un extrait d'une interview donnée à Tucker Carlson et repérée par Gizmodo, le secrétaire à la Santé et aux Services sociaux des États-Unis, Robert F. Kennedy Jr., affirmait que « Nous sommes à la pointe de l'IA » :

« Nous la mettons en œuvre dans tous nos départements. À la FDA, nous accélérons les autorisations de mise sur le marché [AMM] des médicaments afin de ne plus avoir besoin d'utiliser des primates ou même des modèles animaux. Grâce à l'IA, vous pouvez obtenir très, très rapidement les autorisations de mise sur le marché des médicaments. »

« À la suite d'un programme pilote très réussi mené avec les évaluateurs scientifiques de la FDA, j'ai fixé un calendrier ambitieux pour déployer l'IA dans toute l'agence d'ici le 30 juin », assurait Marty Makary dans le communiqué de l'agence : « Le lancement d'Elsa aujourd'hui est en avance sur son calendrier et en dessous du budget prévu, grâce à la collaboration de nos experts internes dans tous les centres ».

Pas d'analyse des autorisations de mise sur le marché pour l'instant

Moins d'un mois après cette date de déploiement, les dents grincent en interne, selon CNN. Comme une bonne partie des IA génératives mises en place dans les bureaux, celle de la FDA peut être utile pour générer des notes, des résumés de réunion, des mails et des communiqués.

Mais contrairement à ce qui a été annoncé, elle ne permettrait pas d'analyser les autorisations de mise sur le marché, puisqu'elle n'a pas accès aux documents des dossiers des industriels, expliquent les sources du média étasunien.

Des hallucinations, comme les autres IA génératives

Et, comme les autres IA génératives, Elsa « hallucine ». Selon plusieurs sources de CNN, ainsi que des documents qu'a pu consulter le média, elle a généré des références à des études inexistantes et déformé les contenus de véritables études. Ces problèmes concernant des informations scientifiques discréditent l'outil aux yeux des sources de CNN.

« Tout ce que vous n'avez pas le temps de vérifier deux fois n'est pas fiable. Elle hallucine en toute confiance », affirme l'une d'entre elles. Si ce problème est connu et doit être pris au sérieux à chaque fois qu'on utilise une IA générative, les responsables de la FDA qui ont annoncé la mise en place d'Elsa promettaient une plus grande efficacité des employés de l'agence grâce à cette IA.

« L'IA est censée nous faire gagner du temps, mais je peux vous garantir que je perds beaucoup de temps supplémentaire simplement à cause de la vigilance accrue dont je dois faire preuve pour vérifier les études fausses ou trompeuses », explique à CNN un autre agent de la FDA.

Le genre de travail effectué par l'agence demande une précision importante. « Si Elsa résume en un paragraphe un travail de recherche sur un nouveau médicament qui tient en 20 pages de recherche, il n'y a aucun moyen de savoir si cela déforme ou omet quelque chose qu'un évaluateur humain aurait considéré comme important », souligne l'un des employés interrogés par CNN.

Près de 30 millions de dollars pour le cabinet de conseil Deloitte

Dès l'annonce de juin, des employés de la FDA expliquaient au média Stat que la mise en place d'Elsa était « précipitée ». Notre consœur, spécialisée dans les technologies de la santé, donnait un peu plus de précisions sur le projet. Elsa serait basée sur le modèle Claude d'Anthropic et développée par le cabinet de conseil Deloitte (entreprise qui finançait déjà l'investiture de Donald Trump en 2017), comme le rapporte ArsTechnica.

Selon Stat, Deloitte a reçu 13,8 millions de dollars depuis 2020 pour développer une base de données de documents de la FDA qui a servi à fine-tuner Claude, et ainsi obtenir le modèle utilisé par Elsa. L'entreprise a obtenu un nouveau contrat de 14,7 millions de dollars en avril dernier pour le déploiement d'Elsa dans toute l'agence.

Interrogé par CNN, Jeremy Walsh, responsable IA de l'agence admet ces critiques : « Elsa n'est pas différente de nombreux [grands modèles de langage] et de l' IA générative, ils peuvent halluciner ».

De plus, il affirme que les utilisateurs pourront dans les prochaines semaines ajouter des documents pour que cette IA puisse répondre en fonction de données spécifiques.