Quand un serveur de prépublications scientifiques utilise l'IA générative pour résumer les articles

Quand un serveur de prépublications scientifiques utilise l’IA générative pour résumer les articles

IA pas compris

Avatar de l'auteur
Martin Clavey

Publié dans

Société numérique

15/11/2023
11

Quand un serveur de prépublications scientifiques utilise l'IA générative pour résumer les articles

Le serveur de prépublications scientifiques bioRxiv lance un système de résumés automatiques d'articles en utilisant un grand modèle de langage. Le but affiché est de les rendre plus accessibles à des non-spécialistes, mais des doutes peuvent être soulevés sur l'efficacité réelle et sur le respect des faits scientifiques traités dans les articles.

« Élargir le public, améliorer la compréhension », c'est avec ce titre que la plateforme de prépublication scientifique bioRxiv présente sa nouvelle fonctionnalité basée sur l'utilisation d'un grand modèle de langage (Large language model, LLM en anglais) pour résumer automatiquement les articles mis en ligne sur son serveur.

L'idée de « déjargoniser » automatiquement les articles scientifiques n'est pas nouvelle, mais mettre en place un outil le faisant directement et l'intégrer à un outil d'édition scientifique (même si cela reste un serveur de prépublication) est une nouvelle étape.

La fonctionnalité est développée par Science Cast, déjà partenaire de la plateforme.  Le service qui propose déjà à ses utilisateurs d'écouter des résumés audio d'articles scientifiques mis en ligne sur les différentes plateformes de prépublications va donc un cran plus loin en intégrant ses résumés directement sur le site de bioRxiv, à côté des articles eux-mêmes.

Peu de détails techniques sur l'outil

bioRxiv présente cet outil comme un « projet pilote visant à utiliser les LLM pour améliorer l'accessibilité du contenu » de la plateforme en expliquant que tout preprint (article en prépublication) sera maintenant mis en ligne avec trois résumés : l'un destiné au lecteur sans formation scientifique avancée, le deuxième pour les chercheurs spécialisés dans un domaine différent de celui de l'article, et le troisième pour les chercheurs du domaine.

Actuellement, pour pouvoir lire les résumés ainsi générés, il faut cliquer sur un petit pictogramme perdu avec les autres pictogrammes de partages sur les réseaux sociaux et de commentaires, comme présenté ci-dessous :

Résumé automatique IA

Si bioRxiv explique que ces résumés sont générés en utilisant un grand modèle de langage, la plateforme ne donne pas d'autre détail sur la technologie mise en place. On ne sait pas quel modèle est utilisé ni sur quelles données il est entraîné, par exemple.

De son côté, Science Cast présente cette fonctionnalité comme une « application innovante de la technologie d'intelligence artificielle de ScienceCast pour générer des résumés nuancés des études scientifiques publiées sur bioRxiv ». Elle explique que ce n'est que la première étape vers sa volonté de rendre l'information scientifique « interactive ».

« L'IA utilisera les données et les déductions de l'article pour fournir des réponses immédiates et construire une ontologie et des graphes de connaissances reliant des données scientifiques apparemment sans rapport entre elles », ajoute-t-elle, sans pour autant donner de détails techniques non plus.

Un enjeu de diffusion et de médiation des sciences

bioRxiv est donc la première plateforme de preprints à se lancer dans ce genre d'automatisation. Pourtant, avant la pandémie de Covid-19, les communautés de biologie et de médecine étaient plutôt frileuses sur l'utilisation même des preprints.

Cette plateforme spécialisée pour la mise en ligne des articles des biologistes est née en 2013, douze ans après la plus connue des plateformes de prépublication scientifique, arXiv, dédiée notamment aux articles de maths, informatique et astronomie.

La pandémie a fait entrer ces communautés dans une certaine folie des prépublications scientifiques et bioRxiv comme sa petite sœur medRxiv sont devenues des outils incontournables pour les chercheurs de ces disciplines.

S'il peut sembler habituel dans de nombreux services utilisant ce genre de technologies, le manque de détail signalé ci-dessus est problématique quand l'outil traite des textes scientifiques, et encore plus quand il s'agit d'ajouter une fonctionnalité à une plateforme censée participer au mouvement d'ouverture de la science (open science) et de la médiation scientifique. Ni les auteurs des articles ni les lecteurs ne savent comment sont élaborés ces résumés et s'ils peuvent, a priori, leur faire confiance ou pas.

Peu de cas du regard des chercheurs

Sur Mastodon, Chloé Azencott, chercheuse en bioinformatique et maitrisant les enjeux autours des LLM, demande : « quelles garanties avons-nous que les nouveaux résumés générés par l'IA de biorXiv ne déforment jamais le contenu de l'article ? ». Elle ajoute « Pourquoi ne pas au moins offrir aux auteurs la possibilité de rédiger leurs propres résumés / d'éditer ceux générés par l'algorithme ? ».

Alors que bioRxiv se présente comme un outil d'édition scientifique, il est problématique que les résumés ainsi générés automatiquement et ajoutant potentiellement des erreurs ne puissent même pas être corrigés ou rédigés par les personnes qui ont mis en ligne l'article.

Richard Sever, co-fondateur de bioRxiv and medRxiv, a répondu à Chloé Azencott que le projet était encore à l'état de « pilote » et que les auteurs devraient être intégrés au flux s'il va plus loin. Il explique que la plupart des résumés générés pendant les tests étaient bons et que les auteurs des articles ont la possibilité de supprimer les résumés générés, une sorte d' « opt-out » pour chaque résumé, en somme.

Il ajoute qu' « un point essentiel est la motivation : l'accessibilité. La plupart des articles portent sur des sujets obscurs, difficiles à comprendre pour les non-experts, en particulier ceux dont l'anglais est la deuxième langue. Il n'est pas juste/réaliste d'attendre des auteurs qu'ils rédigent de bons résumés vulgarisés. Et bien sûr, il ne s'agit absolument pas de remplacer l'article », et conclut finalement, « ce qui m'intéresserait, c'est de savoir si les auteurs aiment plus ou moins ces résumés que les articles de journaux sur leurs travaux... »

Une meilleure accessibilité, vraiment ?

Mais prenons en exemple l'article scientifique « Identification and Pharmacological Targeting of Treatment-Resistant, Stem-like Breast Cancer Cells for Combination Therapy » mis en ligne sur bioRxiv le 10 novembre dernier.

Si on clique sur le bouton pour obtenir le résumé, on obtient le texte suivant :

« Scientists have made a breakthrough in understanding cancer stem-like cells (CSLCs) by using the CRISPR/Cas9 gene editing technology. By targeting specific master regulator (MR) proteins, they were able to reprogram cancer cells towards a more or less differentiated state. This discovery may pave the way for new combination therapies, as they found that the anthelmintic drug albendazole can effectively target CSLCs without harming healthy cells. The study also introduced the metaVIPER algorithm, which can measure the activity of regulatory and signaling proteins based on their transcriptional targets. More research is needed, but this study offers hope for more effective cancer treatments ».

Pas sûr que toutes les notions abordées ici puissent être comprises par un public non expert (même anglophone). De plus, ce résumé commence par expliquer au grand public que « les scientifiques ont fait une avancée importante dans la compréhension des cellules souches cancéreuses ». Or, dans leur article, les chercheurs n'affirment rien de tel.

D'ailleurs, les résumés de niveau 2 et 3, adressés aux chercheurs, ne font pas cette affirmation exagérée. En tout cas, c'est justement le genre de choses que les chercheurs et chercheuses détestent retrouver dans les articles de vulgarisation de leurs recherches. Globalement, on peut se demander si ce résumé remplit bien le but d'amélioration de l'accessibilité du contenu scientifique clamé par bioRxiv.

11

Écrit par Martin Clavey

Tiens, en parlant de ça :

Sommaire de l'article

Introduction

Peu de détails techniques sur l'outil

Un enjeu de diffusion et de médiation des sciences

Peu de cas du regard des chercheurs

Une meilleure accessibilité, vraiment ?

Commentaires (11)


RuMaRoCO Abonné
Le 15/11/2023 à 16h 09

De ce que j’avais compris,
Je me trompe peut-être, mais les publications scientifiques ont un canevas assez générique et surtout un abstract(?) qui sert déjà de résumé à l’étude. non ?


Le 15/11/2023 à 16h 19

Tout à fait, mais ces « abstracts » sont souvent rédigés pour s’adresser à des chercheurs très spécialisés. Ici, l’idée est de faire des résumés plus accessibles. Mais je ne suis pas sûr que ça soit si “simple” à produire de façon automatisée.


Jon Joe Abonné
Le 15/11/2023 à 17h 05

On le saura assez vite, non?



Quand les premiers résumés seront produits, les auteurs pourront bien dire si ça respecte leurs travaux ou non.


alex.d. Abonné
Le 15/11/2023 à 18h 28

Ce que les gens appellent “jargon”, c’est un vocabulaire précis. Déjargoniser, c’est enlever la précision pour aller vers l’à-peu-près. Évidemment que ça va déboucher sur des généralisations qui n’ont pas lieu d’être, c’est l’essence même du mécanisme.


Pinailleur Abonné
Le 16/11/2023 à 10h 53

Non, parfois du jargon c’est du jargon.



Et déjargonniser pour donc signifier employer des termes qui restent précis mais qui sont plus proches d’un vocabulaire courant / populaire.


alex.d. Abonné
Le 16/11/2023 à 14h 39

Pinailleur

Non, parfois du jargon c’est du jargon.



Et déjargonniser pour donc signifier employer des termes qui restent précis mais qui sont plus proches d’un vocabulaire courant / populaire.


Je veux bien quelques exemples, parce que là, ton affirmation non-étayée est moyennement convaincante.


fred42 Abonné
Le 16/11/2023 à 14h 43

alex.d.

Je veux bien quelques exemples, parce que là, ton affirmation non-étayée est moyennement convaincante.


On va dire qu’elle est autant étayée que la tienne.


Le 16/11/2023 à 15h 05

alex.d.

Je veux bien quelques exemples, parce que là, ton affirmation non-étayée est moyennement convaincante.



(reply:2165788:fred42)
J’interviens avant que ça dégénère. On peut arrêter là ce genre d’échanges inutiles.



Pinailleur Abonné
Le 17/11/2023 à 08h 38

alex.d.

Je veux bien quelques exemples, parce que là, ton affirmation non-étayée est moyennement convaincante.


Je ne note pas dans un carnet les nombreuses fois où j’ai dû cherché dans le dico médicale des définitions pour voir que certains termes ont des équivalents dans le dictionnaire Larousse qui signifient la même chose.



Le seul exemple que j’ai en tête serait le lépisme, ou Lepisma saccharinea. Alors que tout le monde (comprendre la majorité) appelle ça un poisson d’argent, tu vas souvent avoir le terme latin, parfois si t’as de la chance juste tu auras le lépisme. Complication inutile.



Edit: sur le Journal du CNRS tu verras que leurs articles sont souvent un peu plus abordable et un peu déjargonnisé par rapport aux études qu’ils ont en soruces.


Le 16/11/2023 à 06h 47

Je ne sais pas comment ce modèle de langage a été entraîné, mais il a complètement capté le sensationnalisme des communications scientifiques dans la presse grand public.
Il ne manque plus qu’il poste automatiquement un résumé de moins de dix mots sur Xitter et Fessebouc, du genre “Scientists find cure to cancer !”, et on aura la totale…
Je vous conseille cet excellent épisode de la chaîne YouTube Veritasium sur le sujet (en anglais) : https://www.youtube.com/watch?v=czjisEGe5Cw


Sceptique Abonné
Le 16/11/2023 à 09h 37

C’est fabuleux, décider d’utiliser un bullshit generator en soit c’est déjà une idée con, alors l’utiliser pour paraphraser de la recherche scientifique…



Il y a aujourd’hui déjà beaucoup de crainte vis à vis des publications, à cause de coûts, des problèmes lors des revues, je me demande à quoi ressemblera la publication scientifique dans 10 ans.