OpenAI veut absolument nous faire croire que GPT-5 a le niveau d’un chercheur

OpenAI et ses chercheurs ont publié ce jeudi 20 novembre sur le blog de l'entreprise un billet vantant les mérites de GPT-5 qui permettrait d' « accélérer la science ». L'entreprise s'appuie pour cela sur des témoignages de chercheurs qu'elle a recueillis et compilés dans un fichier qui a la présentation d'un article scientifique, qui a comme auteurs des chercheurs qui pourraient signer un article scientifique, mais qui n'est pas un article scientifique.

De vieilles lunes

Rappelons d'abord qu'il y a trois ans quasiment jour pour jour, Meta s'était embourbée dans un « bad buzz » après avoir publié son IA Galactica. À l'époque, l'entreprise expliquait que cette IA était un grand modèle de langage pour la science capable de « résumer la littérature académique, résoudre des problèmes de maths, générer des articles Wiki, écrire du code scientifique, annoter des molécules et des protéines, et plus encore ». Critiqué par la communauté scientifique, notamment car Galactica pouvait générer des réponses fausses à des questions de culture scientifique assez basiques, le projet avait été dépublié au bout de trois jours. Seulement une semaine après, Sam Altman annonçait, avec un peu moins d'arrogance que Meta à l'époque, la disponibilité d'un nouveau chatbot : ChatGPT.

• Galactica : la nouvelle IA de Meta dépubliée au bout de trois jours

Les proclamations des entreprises d'IA génératives pour nous assurer que leurs outils sont de très bons compagnons pour les chercheurs ne sont donc pas nouvelles.

D'ailleurs, si OpenAI est resté pendant un temps un peu en dehors de ces déclarations, l'entreprise affirmait en septembre 2024 que son modèle o1, « dépassait le niveau d'un docteur [human PhD-level accuracy] » sur un benchmark de physique, de biologie et de chimie, tout en précisant un peu plus loin que « ces résultats ne signifient pas que o1 est plus compétent qu'un docteur à tous égards, mais seulement que le modèle est plus performant pour résoudre certains problèmes qu'un docteur serait censé résoudre ».

Nous expliquions en juin dernier que le benchmark utilisé se basait sur un QCM alors que les compétences demandées à un chercheur ne sont pas de répondre à des questions de culture scientifique (même très pointue) mais de formuler des problèmes scientifiques, d'établir des projets de recherche et de mettre en place des protocoles, tout ça pour trouver potentiellement de nouvelles réponses. Comme le remarquait Ars Technica, l'industrie de l'IA a, depuis ce moment-là, adopté le terme marketing « PhD-level AI » (« IA du niveau doctorat », en français) pour promouvoir ses modèles.

« Comme un chercheur débutant »

« Avec notre modèle le plus avancé, GPT-5, nous avons maintenant des IA qui agissent vraiment comme un chercheur débutant », affirme maintenant le chercheur d'OpenAI Sébastien Bubeck interrogé par Le Monde.

Il reste 58% de l'article à découvrir.

Déjà abonné ? Se connecter

Soutenez un journalisme indépendant,
libre de ton, sans pub et sans reproche.

Accédez en illimité aux articles

Profitez d'un média expert et unique

Intégrez la communauté et prenez part aux débats

Partagez des articles premium à vos contacts

Abonnez-vous