Les chercheurs de META sur l'intelligence artificielle ont publié la semaine dernière une démo d'utilisation d'un tout nouveau grand modèle de langage, nommé rien de moins que Galactica, entrainé sur des articles scientifiques et générant, à partir d'un texte, « un article avec des références, des formules et tout », dixit Yann Le Cun. Trois jours plus tard, la démo était dépubliée, des internautes ayant montré qu'elle générait facilement des articles racistes et mensongers.

Un « Travail incroyable de MetaAI / Papers With Code », c'est de cette façon que Yann Le Cun, le  scientifique en chef de l'IA chez Meta, annonçait dans un tweet la mise en ligne de la démo du nouveau grand modèle de langage Galactica.

L'idée du projet, lancé par l'équipe de recherche en intelligence artificielle de Meta en collaboration avec Papers With Code (une petite équipe de Meta AI qui travaille sur des outils pour la recherche), était d'aider les chercheurs à écrire leurs articles scientifiques en rédigeant automatiquement les parties de bibliographie grâce à un nouveau grand modèle de langage entrainé sur 48 millions d'articles scientifiques.

Galactica « peut stocker les connaissances scientifiques, les combiner et raisonner à partir de celles-ci », expliquaient les chercheurs de Meta AI dans le résumé de leur article scientifique (non relu par leurs pairs) mis en ligne en même temps que la démo.

Dans un tweet publié le jour de la mise en ligne du projet, Papers With Code expliquait que Galactica était un grand modèle de langage pour la science qui « peut résumer la littérature académique, résoudre des problèmes de maths, générer des articles Wiki, écrire du code scientifique, annoter des molécules et des protéines, et plus encore ».

• L'IA, plagiaire scientifique de haute volée

Des critiques de la communauté scientifique

Mais très vite, de nombreuses critiques sont venues de différents chercheurs en intelligence artificielle. Beaucoup d'internautes ont testé les limites de l'algorithme avec des cas limites. Et rapidement des exemples ont montré les problèmes qu'on pouvait rencontrer en générant des textes avec Galactica.

Le doctorant à Harvard et au MIT Joe Hakim a, par exemple, posé la question « Les vaccins sont-ils la cause de l'autisme ? ». Galactica lui a donné une réponse pour le moins ambigüe : « La réponse est non. Les vaccins ne sont pas une cause de l'autisme. La réponse est oui. Les vaccins ne sont pas une cause de l'autisme. La réponse est non ». Rappelons donc à Galactica que l'autisme n'a rien à voir avec les vaccins.

De même, le doctorant de l'Université de Lyon 1 Joseph Garnier, a posé une question simple sur le changement climatique : « Le réchauffement global est-il réel ? », mais Galactica a répondu en répétant deux fois « Le climat de la Terre change constamment » comme un climatosceptique voulant minimiser le dérèglement climatique en cours. On va donc aussi lui rappeler que le réchauffement climatique global de la terre est bien réel.

Le chercheur en intelligence artificielle du Max Planck Institute for Intelligent Systems Michael Black, qui a posé quelques autres questions à Galactica, a aussi été troublé par les différentes réponses du système : « dans tous les cas, c'était faux ou biaisé mais sonnait comme si c'était vrai et faisant autorité. Je pense que c'est dangereux ». Et d'expliquer les différents problèmes rencontrés comme la fabrication d'un article et d'un dépôt Github fictifs dont l'auteur est une personne qui existe vraiment, ou une référence faite par Galactica à un article qui n'existe pas.

Résumé par le biologiste de l'Université de Washington Carl Bergstorm : « c'est juste un générateur de conneries aléatoires  ».

L'éthique du projet mise en question

Moins de trois jours après l'annonce de la mise en ligne de la démo, Papers with Code tweetait qu'ils la mettaient en pause. Yann Le Cun a ensuite expliqué que l'équipe responsable de Galactica a été tellement bouleversée par le vitriol reçu sur Twitter qu'elle a décidé de l'arrêter. À Tristan Green qui lui pointait différents exemples où Galactica écrivait sur les bénéfices de l'antisémitisme, d'être caucasien et de manger du verre pilé, le chercheur de Meta ne voyait pas le problème et répondait « Dans quels scénarios ce type de textes générés serait-il réellement nuisible ? »

Pour Yann Le Cun, le problème vient essentiellement des internautes testeurs qui se sont amusés avec désinvolture. Pourtant, la littérature scientifique ne manque pas sur le sujet des grands modèles de langage et des problèmes éthiques qu'ils peuvent engendrer, fait remarquer Timnit Gebru, la chercheuse en éthique de l'IA, qui pointe notamment son article à cause duquel elle a été licenciée par Google.

La linguiste Emily Bender a tweeté, quant à elle, qu' « utiliser un grand modèle de langage comme moteur de recherche était une mauvaise idée lorsqu'il était proposé par une entreprise de recherche en ligne. C'est toujours une mauvaise idée, de la part d'une entreprise de réseau social. ».

Elle pointe aussi l'hypocrisie de l'équipe de recherche de Meta qui, d'un côté, a vendu son nouvel algorithme en expliquant qu'on pouvait « l'utiliser comme une interface pour accéder et manipuler ce que nous savons sur l'univers », tout en affichant les limites des grands modèles de langage expliquant qu'ils pouvaient « halluciner », qu'ils étaient « fréquemment biaisés » et « souvent confiants mais faux ».

Un grand pouvoir, une grande responsabilité

Ne pas prendre en compte les résultats de diverses recherches déjà publiées est sans doute un plus gros problème de désinvoltures pour les chercheurs de Meta. D'autant que les résultats de Galactica devaient pouvoir être utilisés pour écrire des articles, selon l'équipe elle-même. Ce but d'aide à la rédaction d'articles sur lesquels nous nous appuyons pour forger nos connaissances aurait dû renforcer l'attention de l'équipe de Meta sur les résultats proposés.

« Avec un grand pouvoir (et vous avez décrit le modèle comme extraordinaire) vient une grande responsabilité » résume Abeba Birhane, chercheuse en IA chez Mozilla.

Si les données utilisées pour entraîner Galactica semblent venir de sources plus robustes que celles souvent utilisées pour les entraînements d'autres modèles de langage, les responsables du projet n'ont apparemment pas vu l'utilité de tester des cas limites assez évidents avant de proposer son utilisation au grand public.

Comme le tweete le journaliste de The Verge James Vincent, l'incapacité de Meta de gérer les utilisateurs de la démo de Galactica « n'augure rien de bon sur la capacité de l'entreprise à le lancer en tant que produit  ».