Depuis l’arrivée des grands modèles de langage (large language models, LLM), le débat sur leur capacité de raisonnement oppose les ingénieurs et chercheurs du domaine.

Certains prétendent que ces modèles permettent de créer des intelligences artificielles qui raisonnent, d'autres que ce sont de simples perroquets récitant statistiquement ce qui se trouve dans leurs données d’entrainement.

Les premiers s'appuient sur des tests de raisonnement (benchmarks) pour comparer leurs résultats à ceux de leurs concurrents et de leurs anciennes versions. De mois en mois, ils observent les scores augmenter petit à petit et certains se disent qu'un jour ou l'autre, grâce aux modèles de langage, la machine dépassera les capacités humaines.

Les autres s'appuient notamment sur le principe sur lequel ont été fondés les LLM pour expliquer qu'ils n'utilisent que des modèles de raisonnement qu'ils ont mémorisés à partir de leurs données d'entrainement. Bref, comme le disaient déjà en 2020 Emily Bender, Timnit Gebru, Angelina McMillan-Major et Margaret Mitchell, les LLM ne seraient que des « perroquets stochastiques ».

• Dangers des grands modèles de langage : des chercheuses avaient prévenu

Problème de fiabilité des mesures

Plusieurs études récentes montrent que les « benchmarks » ne permettent pas de mesurer les capacités de raisonnement de ces modèles, mais plutôt leurs capacités à ... répondre de façon fidèle à ces tests. Car les résultats s'effondrent quand les chercheurs leur font passer des tests similaires, mais présentant d'infimes variations.

Prenons, par exemple, l'étude mise en ligne [PDF] sur la plateforme de prepint arXiv par Iman Mirzadeh, Keivan Alizadeh, Hooman Shahrokhi, Oncel Tuzel, Samy Bengio et Mehrdad Farajtabar, chercheurs chez Apple. Ils ont voulu vérifier les performances des différents modèles sur des tâches de raisonnement en mathématiques.

Pour eux, « bien que les performances des LLM sur le GSM8K [l'un des benchmarks d'évaluation de raisonnement mathématique les plus utilisés] se soient considérablement améliorées ces dernières années, il n'est pas certain que leurs capacités de raisonnement mathématique aient réellement progressé, ce qui soulève des questions quant à la fiabilité des mesures rapportées ».

GSM8K a été créé par des chercheurs d'OpenAI en 2021. Comme l'explique Mehrdad Farajtabar, l'un des chercheurs d'Apple et co-auteur de l'article, « lorsque OpenAI a publié GSM8K il y a environ 3 ans, GPT-3 (175B) a obtenu un score de 35 % au test GSM8K. Aujourd'hui, les modèles avec ~3B paramètres dépassent les 85 %, et les plus grands atteignent plus de 95 % ». Mais le doute subsiste sur l'évolution de leurs capacités : « le "raisonnement" du modèle s'est-il vraiment amélioré ? », demande-t-il.

Une version plus dynamique

Ils ont donc créé un autre benchmark, appelé GSM-Symbolic. Celui-ci est similaire à GSM8K, mais ils l'ont rendu plus dynamique. Avec GSM8K, les questions ressemblent à ce que l'on peut voir à gauche de l'image ci-dessous. Les chercheurs d'Apple ont « juste » fait un programme très simple qui change quelques noms de variables dans le texte ainsi que leurs valeurs de façon aléatoire (pseudo-aléatoire, certes, mais ne chipotons pas).

C'est un peu comme quand, à l'école, un enseignant donne des exercices à ses élèves. Pour l'évaluation, il n'utilise pas les mêmes variables. Il ne pourrait pas savoir sinon, en regardant leur copie, s'ils ont compris le raisonnement ou s'ils recopient les mêmes données sans réfléchir. Normalement, si les LLM testés fonctionnent réellement en appliquant un raisonnement, ces quelques changements ne devraient rien changer à leur résultat.

Des performances bien moins bonnes

Conséquence : les résultats ne sont pas bons. D'une part, ils varient assez fortement, comme on peut le voir ci-dessous. En faisant passer une batterie de 50 générations de tests de GSM-Symbolic, les LLM ne sont pas constants, loin de là. Et, pour la plupart, leurs performances moyennes sont en dessous de celles constatées par le benchmark GSM8K (marquée par la ligne pointillée).

Tous les LLM testés par les chercheurs d'Apple sont touchés, même si certains se débrouillent clairement mieux que d'autres :

En séparant les deux types de changements qu'ils ont faits (modifications des noms et des valeurs), ils ont pu constater que l'un comme l'autre affectaient les performances. Mais celles-ci baissent le plus fortement quand les valeurs changent dans les énoncés, la combinaison des modifications perturbant encore plus les résultats :

Les chercheurs d'Apple ont créé d'autres variantes de leur benchmark en supprimant ou ajoutant des conditions dans l'énoncé à résoudre.

Et ils constatent que plus l'énoncé est complexe, plus les performances diminuent et la variance augmente.

On peut voir, dans l'exemple suivant, que le simple ajout d'une précision inutile au calcul perturbe complètement la réponse des modèles o1-mini et Llama3-8B :

Les chercheurs expliquent que la majorité des modèles ne tiennent pas compte du sens des ajouts et « les convertissent aveuglément en opérations, ce qui entraîne des erreurs ».

Et là, « les performances des modèles baissent de manière significative [...], les modèles les plus récents connaissant une baisse plus importante que les plus anciens » :

Pour les chercheurs d'Apple, ces tests de mathématiques assez élémentaires démontrent que les modèles de langage ne raisonnent pas, contrairement à ce que revendiquent souvent les entreprises d'IA générative comme OpenAI. Ils appliqueraient des « correspondances de motifs probabilistes » (probabilistic pattern-matching, en anglais). En gros, leurs résultats reprendraient le motif d'exercices de maths qui se trouvent dans leurs données d'entrainement, sans appliquer aucun raisonnement.

Cet article n'est pas le seul à pointer le problème. Les chercheurs de l'Université de Princeton R. Thomas McCoy, Shuny Yao (qui travaille chez OpenAI), Dan Friedman et Thomas L. Griffiths, ont ainsi publié début octobre un article qui montre « comment les grands modèles de langage sont façonnés par le problème qu'ils sont entrainés à résoudre ».

Plus de difficultés avec les tâches peu fréquentes

Ces chercheurs montrent que, quand on les teste sur des tâches de raisonnements logiques simples, les nouveaux LLM répondent de manière incorrecte et ne sont pas meilleurs que les premiers modèles présentés publiquement.

Ils les ont testés en leur demandant de compter des lettres, d'inverser un article avec un mot dans une phrase, d'utiliser un très simple algorithme de chiffrement (celui du chiffrement par décalage), ou de faire une opération mathématique très simple.

Dans leur conclusion, ils soulignent que, même si des recherches montrent que les modèles de langage peuvent être utilisés dans de nombreux domaines, « nous devons également nous rappeler un fait plus simple : les modèles de langage sont… des modèles de langage ! En d'autres termes, il s'agit de systèmes statistiques de prédiction du mot suivant ».

Ils tirent de leurs résultats que « les modèles de langage ont plus de difficultés avec les tâches peu fréquentes qu'avec les tâches fréquentes, même lorsqu'on compare deux tâches qui semblent aussi complexes pour un humain ». Ils ajoutent que ces modèles « ont plus de difficultés avec les exemples dont les réponses sont peu probables qu'avec ceux dont les réponses sont très probables, même lorsque la tâche est déterministe ».