Le recours à des technologies d’IA pour enregistrer et retranscrire les consultations peut mener à des erreurs dans le rendu des diagnostics et des noms de médicaments, alerte Healthwatch England. Ce dernier agit comme organisme de surveillance du National Health System (NHS), le système public de santé britannique.

Alors qu’elle s’appuyait sur la transcription générée par IA d’un entretien avec son praticien, une patiente a par exemple été choquée d’apprendre qu’elle était atteinte de démyélinisation, rapporte the Guardian. Le diagnostic était faux : le produit d’une erreur, ou « hallucination », de la machine utilisée pour transcrire les échanges. Ce n’est qu’une fois vérifiés les résultats d’une IRM passée à l’hôpital qu’elle a pu constater que le résultat correct aurait dû être transcrit en « absence de démyélinisation ».

Dans un autre cas, un patient s’est rendu compte qu’un système de transcription par IA avait mélangé deux noms de médicaments. Plutôt que de retranscrire celui réellement prescrit, il en avait inscrit un second, au nom proche. Là encore, c’est le patient qui s’est aperçu de l’erreur, plutôt que le médecin. Dans une troisième affaire, la machine n’avait pas retranscrit le caractère répétitif de la prescription médicamenteuse, ce qui aurait pu laisser le patient, souffrant de migraine, sans possibilité d’obtenir ses médicaments s’il ne s’était pas aperçu du problème.

• IA

  Comment les médecins s’emparent de l’IA générative

  IA

  Lundi 13 janvier 2025 à 09h10 13/01/2025 09h10

  7

Outils de santé et IA : des technologies toujours plus poreuses

Ces histoires ne sont que quelques cas parmi de multiples erreurs : pour Healthwatch England, ce type de fautes de transcription dues au recours à l’IA pourrait poser de réels dangers pour la sécurité des patients. Un enjeu d’autant plus important qu’en dehors de la NHS, au Royaume-Uni, nombreux sont les services et logiciels médicaux à intégrer de l’IA générative, en particulier des outils d’enregistrement et de retranscription, dans les outils qu’ils fournissent à leur clientèle médicale.

En sens inverse, des moteurs grand public déploient désormais des fonctionnalités dédiées à renforcer leur usage par un public de professionnels de la médecine. Chez Open AI, ChatGPT Health intègre désormais un système de gestion électronique des dossiers patients, auquel les praticiens états-uniens peuvent recourir pour importer leurs dossiers puis questionner le moteur.

• IA

  Quand les IA génératives se prennent pour des médecins… et que les utilisateurs y croient

  IA

  Mercredi 13 août 2025 à 14h00 13/08/2025 14h00

  27

Au Royaume-Uni, où au moins 27 « scribes IA » différents sont déjà utilisés par le personnel de santé, la NHS pousse pour le déploiement généralisé de ce type de technologies. D’après un plan gouvernemental pensé sur dix ans, ces dernières permettront en effet de « libérer les équipes de leur charge administrative », leur rendant de ce fait du temps pour le soin des patients.

Qualifier les robots de transcription d’outils de santé ?

Si la promesse est belle, elle fait pour le moment peu de cas de la propension de ces technologies à générer du faux ou de l’inexistant, ce que critiquent Healthwatch England et certaines associations de patients. Parmi les autres dysfonctionnements déjà connus, la question des biais de représentation est tout à fait prévalente dans les applications de l’IA générative à la santé.

• IA

  Intelligence artificielle, biais et stéréotypes : nous sommes dans « un cercle vicieux »

  IA

  Mercredi 12 février 2025 à 11h52 12/02/2025 11h52

  24

Pour de mêmes symptômes, des outils utilisés par le grand public tendent par exemple à recommander aux hommes d’aller aux urgences et aux femmes d’attendre de trouver un rendez-vous chez le médecin. Dans les contextes où des professionnels de santé génèrent des cas cliniques synthétiques, notamment pour préserver les données de patients réels, les machines surévaluent certains risques médicaux masculins et sous-représentent des risques répandus chez les femmes. Du côté des machines de transcription, certains accents sont moins compris que d’autres, ce qui rend la qualité de la transcription des échanges variable selon l’expression du ou de la patiente – dans certains cas, ces derniers ne parviennent pas à passer l’étape du répondeur automatisé.

Pour Healthwatch England, ces différents éléments rendent « inquiétant » le fait de ne pas faire entrer les « scribes IA » des médecins dans la catégorie juridique des dispositifs de santé, ce qui permettrait de les encadrer comme ces technologies dédiées.

Au sein de l’Union européenne, ce type de dispositifs est régulé par différents textes, dont le règlement sur l’intelligence artificielle et le règlement relatif à l’espace européen des données de santé. Le premier des deux fonctionne sur un système de niveaux de risque, la santé étant généralement considérée comme un domaine nécessitant des précautions avancées.

• Droit

  Systèmes à haut risque, modèles à usage général : ce que dit l’AI Act en pratique

  Droit

  Mercredi 25 septembre 2024 à 14h00 25/09/2024 14h00

  1

Pour autant, une cinquantaine de chercheurs internationaux regrettaient fin 2025 l’absence d’évaluation complète et rigoureuse sur le déploiement des technologies d’IA, notamment génératives, dans les usages des professionnels de santé.