Quand un serveur de prépublications scientifiques utilise l’IA générative pour résumer les articles

Le serveur de prépublications scientifiques bioRxiv lance un système de résumés automatiques d'articles en utilisant un grand modèle de langage. Le but affiché est de les rendre plus accessibles à des non-spécialistes, mais des doutes peuvent être soulevés sur l'efficacité réelle et sur le respect des faits scientifiques traités dans les articles.

« Élargir le public, améliorer la compréhension », c'est avec ce titre que la plateforme de prépublication scientifique bioRxiv présente sa nouvelle fonctionnalité basée sur l'utilisation d'un grand modèle de langage (Large language model, LLM en anglais) pour résumer automatiquement les articles mis en ligne sur son serveur.

L'idée de « déjargoniser » automatiquement les articles scientifiques n'est pas nouvelle, mais mettre en place un outil le faisant directement et l'intégrer à un outil d'édition scientifique (même si cela reste un serveur de prépublication) est une nouvelle étape.

La fonctionnalité est développée par Science Cast, déjà partenaire de la plateforme.  Le service qui propose déjà à ses utilisateurs d'écouter des résumés audio d'articles scientifiques mis en ligne sur les différentes plateformes de prépublications va donc un cran plus loin en intégrant ses résumés directement sur le site de bioRxiv, à côté des articles eux-mêmes.

• Ce que font les grands modèles de langage à la recherche
• Springer-Nature vend aux chercheurs une IA nommée « Curie » pour rédiger leurs articles en anglais

Peu de détails techniques sur l'outil

bioRxiv présente cet outil comme un « projet pilote visant à utiliser les LLM pour améliorer l'accessibilité du contenu » de la plateforme en expliquant que tout preprint (article en prépublication) sera maintenant mis en ligne avec trois résumés : l'un destiné au lecteur sans formation scientifique avancée, le deuxième pour les chercheurs spécialisés dans un domaine différent de celui de l'article, et le troisième pour les chercheurs du domaine.

Actuellement, pour pouvoir lire les résumés ainsi générés, il faut cliquer sur un petit pictogramme perdu avec les autres pictogrammes de partages sur les réseaux sociaux et de commentaires, comme présenté ci-dessous :

Si bioRxiv explique que ces résumés sont générés en utilisant un grand modèle de langage, la plateforme ne donne pas d'autre détail sur la technologie mise en place. On ne sait pas quel modèle est utilisé ni sur quelles données il est entraîné, par exemple.

De son côté, Science Cast présente cette fonctionnalité comme une « application innovante de la technologie d'intelligence artificielle de ScienceCast pour générer des résumés nuancés des études scientifiques publiées sur bioRxiv ». Elle explique que ce n'est que la première étape vers sa volonté de rendre l'information scientifique « interactive ».

« L'IA utilisera les données et les déductions de l'article pour fournir des réponses immédiates et construire une ontologie et des graphes de connaissances reliant des données scientifiques apparemment sans rapport entre elles », ajoute-t-elle, sans pour autant donner de détails techniques non plus.

Un enjeu de diffusion et de médiation des sciences

bioRxiv est donc la première plateforme de preprints à se lancer dans ce genre d'automatisation. Pourtant, avant la pandémie de Covid-19, les communautés de biologie et de médecine étaient plutôt frileuses sur l'utilisation même des preprints.

Cette plateforme spécialisée pour la mise en ligne des articles des biologistes est née en 2013, douze ans après la plus connue des plateformes de prépublication scientifique, arXiv, dédiée notamment aux articles de maths, informatique et astronomie.

La pandémie a fait entrer ces communautés dans une certaine folie des prépublications scientifiques et bioRxiv comme sa petite sœur medRxiv sont devenues des outils incontournables pour les chercheurs de ces disciplines.

S'il peut sembler habituel dans de nombreux services utilisant ce genre de technologies, le manque de détail signalé ci-dessus est problématique quand l'outil traite des textes scientifiques, et encore plus quand il s'agit d'ajouter une fonctionnalité à une plateforme censée participer au mouvement d'ouverture de la science (open science) et de la médiation scientifique. Ni les auteurs des articles ni les lecteurs ne savent comment sont élaborés ces résumés et s'ils peuvent, a priori, leur faire confiance ou pas.

Peu de cas du regard des chercheurs

Sur Mastodon, Chloé Azencott, chercheuse en bioinformatique et maitrisant les enjeux autours des LLM, demande : « quelles garanties avons-nous que les nouveaux résumés générés par l'IA de biorXiv ne déforment jamais le contenu de l'article ? ». Elle ajoute « Pourquoi ne pas au moins offrir aux auteurs la possibilité de rédiger leurs propres résumés / d'éditer ceux générés par l'algorithme ? ».

Alors que bioRxiv se présente comme un outil d'édition scientifique, il est problématique que les résumés ainsi générés automatiquement et ajoutant potentiellement des erreurs ne puissent même pas être corrigés ou rédigés par les personnes qui ont mis en ligne l'article.

Richard Sever, co-fondateur de bioRxiv and medRxiv, a répondu à Chloé Azencott que le projet était encore à l'état de « pilote » et que les auteurs devraient être intégrés au flux s'il va plus loin. Il explique que la plupart des résumés générés pendant les tests étaient bons et que les auteurs des articles ont la possibilité de supprimer les résumés générés, une sorte d' « opt-out » pour chaque résumé, en somme.

Il ajoute qu' « un point essentiel est la motivation : l'accessibilité. La plupart des articles portent sur des sujets obscurs, difficiles à comprendre pour les non-experts, en particulier ceux dont l'anglais est la deuxième langue. Il n'est pas juste/réaliste d'attendre des auteurs qu'ils rédigent de bons résumés vulgarisés. Et bien sûr, il ne s'agit absolument pas de remplacer l'article », et conclut finalement, « ce qui m'intéresserait, c'est de savoir si les auteurs aiment plus ou moins ces résumés que les articles de journaux sur leurs travaux... »

Une meilleure accessibilité, vraiment ?

Mais prenons en exemple l'article scientifique « Identification and Pharmacological Targeting of Treatment-Resistant, Stem-like Breast Cancer Cells for Combination Therapy » mis en ligne sur bioRxiv le 10 novembre dernier.

Si on clique sur le bouton pour obtenir le résumé, on obtient le texte suivant :

« Scientists have made a breakthrough in understanding cancer stem-like cells (CSLCs) by using the CRISPR/Cas9 gene editing technology. By targeting specific master regulator (MR) proteins, they were able to reprogram cancer cells towards a more or less differentiated state. This discovery may pave the way for new combination therapies, as they found that the anthelmintic drug albendazole can effectively target CSLCs without harming healthy cells. The study also introduced the metaVIPER algorithm, which can measure the activity of regulatory and signaling proteins based on their transcriptional targets. More research is needed, but this study offers hope for more effective cancer treatments ».

Pas sûr que toutes les notions abordées ici puissent être comprises par un public non expert (même anglophone). De plus, ce résumé commence par expliquer au grand public que « les scientifiques ont fait une avancée importante dans la compréhension des cellules souches cancéreuses ». Or, dans leur article, les chercheurs n'affirment rien de tel.

D'ailleurs, les résumés de niveau 2 et 3, adressés aux chercheurs, ne font pas cette affirmation exagérée. En tout cas, c'est justement le genre de choses que les chercheurs et chercheuses détestent retrouver dans les articles de vulgarisation de leurs recherches. Globalement, on peut se demander si ce résumé remplit bien le but d'amélioration de l'accessibilité du contenu scientifique clamé par bioRxiv.