Les articles générés par IA pullulent aussi dans la sphère scientifique. Certains chercheurs ne se gênent pas pour utiliser ChatGPT ou une autre IA générative pour éditer des articles à foison, se rendre visibles dans leur communauté et polluer les plateformes de prépublication d’articles (le terme anglais « preprint » est couramment utilisé dans le milieu) comme arXiv. D’autant que sur cette plateforme, après deux articles validés par leurs pairs, les chercheurs peuvent mettre en ligne leurs articles sans modération a priori.

Envahie par des preprints générés par IA

Résultat : la plateforme historique (arXiv existe depuis 1991) de la prépublication scientifique est submergée de preprints générés par IA, notamment sur l’intelligence artificielle. Sur son blog, l’équipe d’arXiv a publié un billet expliquant qu’ « au cours des dernières années, arXiv a été inondé d’articles. L’IA générative et les grands modèles linguistiques ont contribué à cette avalanche en facilitant et en accélérant la rédaction d’articles, en particulier ceux qui ne présentent pas de nouveaux résultats de recherche ».

Elle ajoute que « toutes les catégories d’arXiv ont connu une augmentation importante du nombre de soumissions » mais que « celle-ci est particulièrement importante dans la catégorie informatique » et notamment ceux sur l’intelligence artificielle elle-même.

Une politique de modération resserrée

La plateforme initiatrice du mouvement de prépublication scientifique annonce resserrer sa politique d’acceptation des articles dans le domaine de l’informatique. Ainsi, elle refusera les prépublications d’articles de synthèse (appelés «reviews » ou « surveys » dans le milieu) ou d’argumentaires (« position papers »). « Ce changement est mis en œuvre en raison de l’afflux ingérable d’articles de synthèse et d’argumentaires » dans ce domaine, explique arXiv.

Elle ajoute que, « techniquement », ce n’est pas un changement dans sa politique officielle de modération : « Si vous consultez les politiques d’arXiv relatives aux types spécifiques de contenu, vous remarquerez que les articles de synthèse et les argumentaires ne font pas (et n’ont jamais fait) partie des types de contenu acceptés ». Et elle explique qu’avant elle pouvait en accepter car, finalement, elle en recevait peu et qu’ils étaient souvent de très bonne qualité. Mais, avec l’arrivée de l’IA générative, l’afflux est devenu énorme et la qualité n’est pas au rendez-vous.

arXiv ne refuse cependant pas tous les articles de synthèse et argumentaires, mais il faudra qu’ils aient été acceptés par une revue scientifique ou une conférence et qu’ils aient passé complètement l’évaluation par les pairs. Ces conditions pourraient facilement passer pour un comble pour la mise en ligne sur une plateforme de prépublication.

La plateforme explique se conformer à une plus stricte lecture de ses politiques de modération pour « aider les lecteurs d’arXiv à trouver plus facilement des articles de synthèse et des prises de position rédigés par des experts dans leur domaine » mais aussi « libérer les modérateurs afin qu’ils puissent se concentrer sur les types de contenu officiellement acceptés par arXiv, réduire les délais d’attente pour les soumissions et maintenir le rythme des découvertes scientifiques ! ».

Des preprints popularisés depuis le Covid et massivement utilisés dans l’entrainement des IA

Il faut dire que ces plateformes ont permis aux chercheurs et chercheuses de partager plus rapidement leurs travaux. Comme nous l’expliquions il y a déjà plusieurs années, aucune relecture n’est faite en amont par des pairs avant la mise en ligne sur les serveurs de preprints, ce qui doit alerter toute personne non spécialiste.

Alors que la pratique d’utilisation des preprints était surtout populaire dans les disciplines couvertes par arXiv (informatique, physique, astrophysique…), le Covid-19 a accéléré leur popularisation aussi bien dans les autres disciplines de recherche comme la médecine ou la biologie qu’auprès du grand public. La face cachée de la médaille est le grain à moudre à certaines dérives de la communication scientifique.

Rajoutons que les contenus publiés sur les serveurs de preprints sont massivement utilisés par l’industrie de l’intelligence artificielle générative pour entrainer leurs modèles, notamment car ils sont considérés comme de très haute qualité et à la pointe de la recherche. Mais, si ces plateformes sont inondées de contenus genAI comme le web ouvert, ces IA génératives risquent d’être entrainées sur des monceaux d’articles pseudoscientifiques considérés par leurs créateurs comme du contenu de qualité.