Connexion
Abonnez-vous

Recherche scientifique : un outil pour éviter les « colosses aux pieds d’argile »

Pour ne pas finir comme celui de Rhodes

Recherche scientifique : un outil pour éviter les « colosses aux pieds d’argile »

Flock

Un outil développé par le chercheur en informatique toulousain Guillaume Cabanac fait la liste des articles scientifiques qui citent le plus d'articles rétractés. Son travail permet de détecter les recherches qui s'appuient sur des travaux problématiques mais aussi aux auteurs de corriger leurs articles.

Le 30 août à 09h34

L'enseignant-chercheur à l'Université de Toulouse Guillaume Cabanac propose un outil dont le nom est « Feet of Clay Detector » ou « Détecteur de pieds d'argile » en français, explique la revue scientifique Nature. Celui-ci propose de retrouver les articles scientifiques qui citent le plus d'articles rétractés.

Depuis des siècles, les chercheurs reconnaissent que leurs travaux ne sortent pas seulement de leurs têtes et de leurs génies, mais qu'ils s'appuient « sur les épaules de géants » que constitue le savoir accumulé par leurs pairs et ainés. Mais, si le géant tombe parce qu'il est défaillant, les nains sur ses épaules dégringolent. C'est ce qui arrive, logiquement, quand des chercheurs s'appuient sur des travaux qui ont des failles importantes.

Le géant devient donc un colosse aux pieds d'argile (d'où le nom de l'outil, on ne parle pas d'Éric Cantona ici). Et, même si ça peut paraître étonnant de l'extérieur, aucun outil n'existait jusque-là pour détecter les articles citant des travaux rétractés. L'intérêt pour le signalement d'articles rétractés est d'ailleurs encore assez récent.

De plus en plus de rétractations

C'est vers 2010 que le nombre d'articles scientifiques rétractés a commencé d'attirer l'attention, notamment celle de deux journalistes : Adam Marcus et Ivan Oransky. Ils ont créé le site Retraction Watch qui les recense. Cinq ans après, ils constataient déjà une augmentation. En 2018, ils créaient une base de données pour les regrouper et mieux structurer leur analyse.

Et le grand public a un peu découvert le problème lors de l'épidémie de Covid-19, notamment avec les articles de Didier Raoult et d'un article publié par le Lancet. Une étude sur la mortalité imputée à l’hydroxychloroquine vient d'ailleurs de subir une rétractation, controversée, encouragée par des partisans du chercheur marseillais.

En 2022, Ivan Oransky expliquait à la revue scientifique Nature que les rétractations augmentaient, mais pas assez. Car, pour lui, ça peut être un signe positif : plus il y a de rétractations, plus ça veut dire que la communauté scientifique fait attention à ce qui a été publié.

Retraction Watch est de plus en plus connu dans la communauté scientifique. Mais les chercheurs n'ont en général pas le réflexe d'aller vérifier, à la fin du processus de publication de leur article, que les travaux qu'ils citent n'ont pas finalement été rétractés. Des outils commencent à émerger. Mais cette vérification devrait aussi faire partie du travail de l'éditeur, avant et après publication. Force est de constater que la vérification n'est pas faite systématiquement.

Jusqu'à 65 % d'articles cités rétractés

Un exemple repéré grâce à l'outil de Guillaume Cabanac et cité par Nature le montre bien. Un acte de colloque, mis en ligne en janvier dernier et passant en revue les moyens de détecter des maladies humaines après avoir examiné l'œil du patient, s'appuie à 60 % sur des articles scientifiques rétractés (18 sur 30). Interrogés par la revue scientifique, les auteurs n'ont pas répondu, mais l'éditeur, IEEE, lui a affirmé qu'il n'était pas au courant du problème et qu'il allait enquêter.

Nature a fait un classement des dix articles citant le plus (en proportion) de travaux rétractés :

On peut y observer qu'un article, publié en 2012 dans une revue de l'éditeur brésilien Scielo, est premier avec 65 % d'articles cités rétractés (33 sur 51).

Réception mitigée chez les auteurs d'articles listés

Certains chercheurs remercient Guillaume Cabanac de les avoir informés du problème, explique Nature. D'autres ont l'impression qu'il jette l'opprobre sur leurs articles et expliquent que ce n'est pas parce qu'un article est cité qu'il invalide leurs travaux. Ce dernier argument n'est pas faux, un article peut être rétracté pour différents problèmes.

En cas de plagiat, par exemple, la rétractation fait consensus dans la communauté scientifique, mais la science qui s'appuie dessus ne s'écroulera pas si l'article est rétracté. Néanmoins, le Feet of Clay Detector permet justement aux auteurs de repérer le problème et, par exemple, de citer l'article plagié plutôt que le plagiat.

Interrogé par Nature, Guillaume Cabanac veut rassurer : « nous n'accusons personne d'avoir fait quelque chose de mal. Nous observons simplement que dans certaines bibliographies, les références ont été rétractées ou retirées, ce qui signifie que l'article n'est peut-être pas fiable ».

D'ailleurs, comme il l'explique dans un autre article publié en parallèle dans la revue, « les rétractations ne sont pas toutes dues à des mauvaises conduites. Elles peuvent également survenir lorsque des erreurs sont commises, par exemple, lorsqu'un groupe de recherche se rend compte qu'il ne peut pas reproduire ses résultats ».

Aide à la correction

« Mais, ajoute-t-il, quelle que soit la manière dont des résultats erronés se sont retrouvés dans un article publié, il est important qu'ils ne soient pas propagés dans la littérature scientifique ». Le signalement de citations d'articles rétractés devrait permettre, au moins, aux chercheurs de se poser la question de la pertinence de leurs travaux aux vues du problème. Ne serait-ce que pour réaffirmer qu'ils sont robustes malgré tout.

On peut aussi voir dans la liste citée plus haut, que 4 des 10 articles ont plus de 10 ans, mais trois ont moins de deux ans. Ces cas sont sans doute différents : il y a plus de chance que les articles récents citent des articles rétractés avant leur publication. Si le résultat est le même, publier un article qui s'appuie sur des articles qui sont déjà rétractés n'est pas la même chose que si le problème est soulevé post-publication.

Les éditeurs réfléchissent à intégrer des outils similaires

Nature explique quand même que l'outil peut aussi servir à détecter des articles de fraudeurs. Elle cite plusieurs cas de chercheurs déjà connus pour leurs mauvaises conduites et dont l'outil de Guillaume Cabanac a repéré des articles problématiques.

Feet of Clay Detector pourrait avoir une influence importante. Selon Nature, si les éditeurs n'étiquetaient pas, jusque-là, les citations d'articles rétractés, certains d'entre eux (informés par le chercheur) commencent à mettre en place des outils de détection et d'affichage de ces cas problématiques.

Commentaires (8)

Vous devez être abonné pour pouvoir commenter.

Abonnez-vous
votre avatar
J'espère que ça sera un passage obligé pour les gros éditeurs scientifiques, que de passer les articles qui leurs sont proposés via un tel détecteur.

Ça existe un annuaire exhaustif des articles scientifiques revus par leurs pairs ?
votre avatar
Un article, dès lors qu'il est publié dans un journal scientifique, est normalement relu par les pairs. Cependant, selon la ligne éditoriale du journal, certains journaux vont être moins contraignants quant à la qualité du travail (apporter suffisamment d'éléments pour prouver ce qui y est avancé).

De plus, la relecture peut prendre beaucoup de temps (parfois plus d'un an, avec quelques allers-retours pour corriger/compléter), et aussi que l'article devient payant (via le journal, c'est la triple baise : tu paies pour publier un article, tu paies pour consulter un article, tu relis gratuitement les articles des autres), il est devenu commun de prépublié l'article dans arXiv (ou d'autre préprint)
votre avatar
Tout à fait, mais il n'est pas dit que les relecteurs humains vérifient bien cet aspect des articles, et un humain est plus faillible qu'une machine à ce genre de tâche.
votre avatar
Un "annuaire", je sais pas si on peut appeler ça comme ça, y a Google Scholar depuis longtemps et j'ai récemment parlé ici de Matilda
votre avatar
C'est pour ça que je parlais d'un annuaire exhaustif, à l'image de l'ISBN (que je crois exhaustif) : ça devrait simplifier la vérification automatique.
J'imagine que l'outil mis en place et dont parle l'actualité a besoin de chercher à plein d'endroits et qu'il n'est pas exhaustif.
votre avatar
A priori, l'outil est connu depuis longtemps. Bon, c'est pas nouveau, dans la recherche, il n'y a pas grand-chose qui émerge du néant.

Par contre, Guillaume Cabanac avait été cité par Nature en 2021 : https://www.nature.com/immersive/d41586-021-03621-0/index.html#section-gM9iO4XBRl

Pour exactement cet outil. D'où ma question : qu'est-ce qui a changé ? L'impact réel de son outil sur le colloque et certaines agrégations récentes ?
votre avatar
Alors, Guillaume Cabanac travaille beaucoup sur le sujet, mais ce n'est pas le même outil dont il était question. Celui de 2021 signalait des articles problématiques en repérant des « phrases torturées ». On aura sans doute l'occasion d'en reparler un de ces jours ici ;)
votre avatar
Si les "gros" éditeurs ne sont pas bêtes, vu le tarif exhorbitants qu'ils demandent et que le travail de review est quasi systématiquement réalisé par d'autres chercheurs non rémunérés, ce serait pour eux une "valeur ajoutée" pour les journaux les plus sérieux. Ce serait une façon aussi de délester certaines taches aux relecteurs, car là, ca peut s'automatiser.

Recherche scientifique : un outil pour éviter les « colosses aux pieds d’argile »

  • De plus en plus de rétractations

  • Jusqu'à 65 % d'articles cités rétractés

  • Réception mitigée chez les auteurs d'articles listés

  • Aide à la correction

  • Les éditeurs réfléchissent à intégrer des outils similaires

Fermer