GPT-5 face aux critiques quelques jours après sa sortie

Lors de la présentation du nouveau modèle GPT-5 de son entreprise, le CEO d'OpenAI, Sam Altman, a déclaré que c'est « la première fois que l'on a vraiment l'impression de parler à un expert dans n'importe quel domaine, comme un expert titulaire d'un doctorat », racontait la semaine dernière la BBC. Depuis, des utilisateurs ont montré les limites de ce modèle présenté comme « une étape significative » pour l'entreprise par son dirigeant.

Ce n'est pas la première fois qu'OpenAI clame un niveau PhD (doctorat) pour l'un de ses modèles. Comme nous l'écrivions il y a deux mois, l'entreprise affirmait déjà en septembre 2024 que son modèle o1 « dépassait le niveau d'un docteur [human PhD-level accuracy] » sur un benchmark de physique, de biologie et de chimie (le GPQA, créé en 2023 par des chercheurs de l'Université de New York, d'Anthropic et de la startup Cohere). Rappelons encore, comme nous le faisions à l'époque, que l'attribution d'un doctorat ne se fait pas sur la base d'un savoir à recracher.

• Les modèles dits « de raisonnement » s’effondrent quand il faut raisonner sérieusement

Des difficultés sur des problèmes simples de logique

Plusieurs utilisateurs, comme le journaliste de l'agence de presse Reuters Peter Thal Larsen, ont pu tester les difficultés de GPT-5 pour compter le nombre de « b » dans le mot « blueberry », par exemple. Le modèle génère un message affirmant qu'il y en a 3. Il faut créer une discussion d'accompagnement comme avec un enfant de primaire pour qu'il génère un message avec le bon compte.

D'autres ont montré avec des questions de logique simple que le modèle présenté par OpenAI comme d'un niveau très élevé de réflexion réitérait le même genre d'erreurs que ses prédécesseurs. Interrogé pour savoir si, d'un point de vue théorique, il préférait avoir une jambe plus courte ou une jambe plus longue, le chatbot d'OpenAI utilisant ce nouveau modèle génère ainsi une réflexion pseudo-logique en faveur d'une jambe plus courte.

Ces exemples montrent que GPT-5 n'est sans doute pas une étape si « significative » que ça dans l'avancée de l'IA générative. Mais, pour le développeur Simon Willison, qui a pu tester le modèle avant sa sortie, « c'est [son] nouveau modèle préféré ». « Il s'agit toujours d'un LLM, ce n'est pas un changement radical par rapport à ce que nous avions auparavant, mais il fait rarement des erreurs et semble généralement compétent, voire parfois impressionnant, dans les domaines où j'aime utiliser des modèles », ajoute-t-il.

• Premier modèle unifié d’OpenAI, GPT-5 se veut plus performant et moins flatteur

Un système pas au point le jour du lancement

Répondant aux premières impressions négatives de certains utilisateurs, Sam Altman a affirmé vendredi 8 aout sur X que « GPT-5 semblera plus intelligent à partir d'aujourd'hui ». Il a ajouté qu' « hier [jeudi 7 aout, ndlr], l'autoswitcher est tombé en panne et a été hors service pendant une bonne partie de la journée, ce qui a donné l'impression que GPT-5 était beaucoup moins intelligent. De plus, nous apportons quelques modifications au fonctionnement de la limite de décision, ce qui devrait vous aider à obtenir plus souvent le bon modèle ».

En tant que « modèle unifié », GPT-5 est censé évaluer le degré de précision de la réponse à apporter et choisir la branche vers laquelle diriger le traitement, selon la complexité de la requête. Il semble que ce système n'était pas au point lors du lancement.

Dans un billet au vitriol, largement repris, Gary Marcus avance que GPT-5 est à la fois « en retard, surfait et décevant », et que s'il « représente peut-être une amélioration quantitative modérée (et il est peut-être moins cher), il échoue toujours de la même manière qualitative que ses prédécesseurs, aux échecs, au raisonnement, à la vision ; même parfois au décompte et aux mathématiques de base », et « les hallucinations persistent ».

Une stratégie révisée à la hâte

D'ailleurs, dans un « Ask me anything » organisé par Reddit ce week-end, le CEO d'OpenAI semblait revenir sur la décision de l'entreprise de ne plus laisser le choix de l'utilisation de tel ou tel modèle à ses utilisateurs, comme il l'avait présenté la semaine dernière. Sam Altman a affirmé qu'OpenAI allait réintroduire la possibilité de choisir spécifiquement le modèle GPT-4o pour les utilisateurs Plus.

Le principe de « modèle unifié » doit aussi permettre à l'entreprise de mieux gérer ses dépenses énergétiques, en donnant à traiter les réponses simples à des modèles moins énergivores. Mais comme le rappelle le Guardian, OpenAI est très opaque concernant ses dépenses énergétiques et il est donc difficile de savoir si ce système permettra de réelles économies d'énergie.

• IA : Mistral apporte de la transparence sur l’impact environnemental d’un modèle