« Stack Overflow est-il obsolète ? ». C'est la question que s'est posée la chercheuse de l'université de Purdue aux États-Unis, Samia Kabir avec ses collègues.

Depuis l'arrivée des outils d'IA générative, les fréquentations du site diminuent et les développeurs posent de plus en plus leurs questions techniques à ChatGPT ou à un autre outil similaire. Au point que le site, dans ces conditions inconfortables, signe avec OpenAI un accord laissant l'entreprise de Sam Altman entrainer ses modèles sur les questions/réponses postées depuis des années par ses utilisateurs.

ChatGPT : erroné et bavard

Mais l'analyse de Samia Kabir et de ses collègues – qu'ils viennent de présenter ce mois-ci à la conférence scientifique CHI (Conference on Human Factors in Computing Systems) – montre que 52 % des réponses de ChatGPT contiennent des informations erronées. Plus des trois quarts noient l'information principale dans un flot trop bavard. Au final, 65 % du temps, les participants de l'étude préfèrent les réponses humaines venant de Stack Overflow que celles de ChatGPT.

• • Stack Overflow signe avec OpenAI

• • Stack Overflow face à une révolte contre son accord avec OpenAI

Les chercheurs de l'université de Purdue ont essentiellement effectué cette étude l'année dernière en se basant sur la version de ChatGPT intégrant GPT-3.5. Ils avaient d'ailleurs mis en ligne, sur la plateforme de preprint arXiv, une première version en aout 2023. Mais ils ont, depuis, ajouté une partie testant GPT-4 qui tend à montrer que « le taux d'inexactitude reste élevé avec des types d'erreurs similaires ».

Leur étude s'appuie sur l'analyse des réponses à 517 questions posées sur Stack Overflow et se décompose en trois parties :

• • Une analyse approfondie en « open coding » (entre eux) pour comparer les qualités et l'exactitude des réponses de ChatGPT et de Stack Overflow

• • Une analyse automatique linguistique et de sentiments

• • Des entretiens avec 12 utilisateurs

La partie ajoutée sur GPT-4 se basant sur 21 questions, elle semble moins solide, mais permet de jauger un peu la tendance.

La plupart des erreurs de ChatGPT sont d'ordre conceptuel

Ces chercheurs ne se sont pas seulement demandés si les réponses de ChatGPT étaient erronées ou pas. Mais ils sont allés plus loin en catégorisant l'erreur. À 54 %, la réponse fausse générée par ChatGPT comportait une erreur conceptuelle, à 36 % une erreur factuelle, à 28 % de code et à 12 % de terminologie (évidemment, une réponse pouvant être erronée de plusieurs façons en même temps, la somme ici fait plus de 100 %).

Dans leur catégorisation, l'erreur conceptuelle correspond à une réponse inadaptée à la question posée. Ce qu'ils appellent une « erreur factuelle » est, par exemple, quand la réponse générée affirme qu'une certaine API peut résoudre un problème alors que ce n'est pas le cas. L'erreur de code est bêtement quand le code ne fonctionne pas. Et enfin, une erreur de terminologie correspond, par exemple, à une réponse avec un header en Perl pour du code en Python.

Ils ont observé que la plupart des erreurs de code sont des problèmes de « mauvaise logique » (à 48 %). Viennent ensuite les mauvais usages de fonctions, API et bibliothèques à 39 %. Dans 11 % des erreurs, le code généré est incomplet. Enfin, seulement 2 % des erreurs de ChatGPT sont des erreurs de syntaxe.

Plus de 75 % des réponses de ChatGPT incohérentes avec celles des humains

Les chercheurs ont calculé que 78 % des réponses de ChatGPT sont « incohérentes » avec celles données par les humains sur Stack Overflow. Dans ses réponses, le modèle de langage ne donne ainsi pas les mêmes informations que les utilisateurs du site.

Mais attention : cela ne veut pas dire que ces réponses sont incorrectes, puisqu'il y a de multiples façons de corriger un bug ou de résoudre un problème. Dans ces incohérences, les chercheurs mettent aussi dans le panier le nombre de solutions données : « ChatGPT fournit souvent de nombreuses solutions supplémentaires pour résoudre un problème », expliquent-ils.

Les réponses de ChatGPT véhiculent plus de « confiance » en elles-mêmes

En faisant l'analyse linguistique des réponses, Samia Kabir et son équipe se sont aperçus que les réponses de ChatGPT utilisent un style de langage différent de celles des humains. Elles « contiennent plus de mots liés à la pensée analytique et aux expressions de confiance ».

« Cela indique que les réponses de ChatGPT communiquent une compréhension plus abstraite et cognitive du sujet de la réponse, et que le style de langage est plus influent et confiant », remarquent-ils, alors qu'on a vu plus haut que la plupart des erreurs du chatbot étaient d'ordre conceptuel.

Dans l'analyse des sentiments, les réponses de ChatGPT sont plus souvent positives (à 85 %) que celles postées sur Stack Overflow (73 %) et moins neutres (14,5 % contre 25,5 %, respectivement). ChatGPT ne fait, par contre, quasiment aucune réponse négative (2 sur 2000) alors qu'il y a 1 % de réponses de Stack Overflow avec des sentiments négatifs dans leur échantillon.

Les réponses de ChatGPT identifiables par un humain

Enfin, ces chercheurs ont sondé 12 personnes ayant des compétences en programmation à propos des réponses de ChatGPT et de Stack Overflow.

En premier lieu, ils ont repéré à 81 % du temps que les réponses étaient générées par la machine, en se basant notamment sur le langage formel, l'écriture structurée, la longueur de la réponse ou des erreurs inhabituelles. Ils ont repéré à 61 % du temps « seulement » les réponses incorrectes de l'IA.

Ils ont préféré à 65 % les réponses de Stack Overflow. Mais quand ils ont préféré les réponses de ChatGPT, 77 % du temps, elles étaient en fait incorrectes.

Les « codebooks » et données des chercheurs sont disponibles sur GitHub.