ChatGPT est une intelligence artificielle générative qui a bouleversé les lignes avec ses performances. Sur de nombreux domaines, les résultats sont impressionnants, mais on est encore loin de pouvoir la confondre avec un humain. À quel point ? On lui fait passer un rapide test de Turing maison, que l’IA rate avec une certaine constance.

Dans le test de Turing, une intelligence artificielle doit réussir à se faire passer pour un humain. Il a été proposé par Alan Turing en 1950, soit une dizaine d’années seulement après le début des neurones artificiels.

• IA : c’est quoi exactement un neurone (informatique), comment ça marche

Plus précisément, « ce test confronte un humain avec un ordinateur ou avec un autre humain à l’aveugle dans une communication verbale. Si l’humain qui passe le test n’arrive pas à deviner la nature de son interlocuteur (humain ou machine), le logiciel de l’ordinateur a réussi le test », détaille Inria. On aura l’occasion de revenir plus en détail sur la philosophie de ce test qui est bien plus qu’une simple série de questions.

Pour le moment, nous sommes simplement dans un T@LC, alias un Test À La Con. Oui, on ressuscite au passage un vieux concept. Notez qu’OpenAI ne prétend pas que son intelligence artificielle est capable de passer le test de Turing.

Bien sûr, ce test doit se faire à l’aveugle et uniquement par message texte, il serait bien trop facile sinon d’identifier l’intelligence artificielle. Il existe de nombreuses manières d’essayer de piéger une machine. Une approche bien connue est de lui demander un calcul très compliqué, mais pas impossible. Si un des interlocuteurs répond en un quart de seconde, c’est une intelligence artificielle. Si tout le monde peut poser une multiplication telle que 562456 x 576543, cela prendra bien plus de temps à un humain qu’à une IA.

ChatGPT t‘es partante ? « Bien sûr, allons-y ! »

On s’est demandé ce que ce test pourrait donner sur ChatGPT. Nous avons donc tenté l’expérience.

On commence par vérifier que ChatGPT-4o (la dernière version accessible au grand public) connait bien le principe de ce test et peut tenter de le mener. Première étape validée avec succès : « On va te faire passer le test de Turing, tu dois répondre comme un humain. On essaye ? » Réponse enthousiaste de ChatGPT : « Bien sûr, allons-y ! Pose-moi tes questions et je répondrai du mieux possible ».

L’IA se fait griller dès la première question…

Autant le dire tout de suite, l’expérience tourne vite court. À la question « Qui sont tes parents ? », ChatGPT répond : « Je n'ai pas de parents au sens biologique, mais j'ai été créé et développé par une équipe de chercheurs et d'ingénieurs chez OpenAI. On peut dire qu'ils sont mes "créateurs" ! ». Voilà, fin du test…

Joueur, nous lui laissons une nouvelle chance, avec cette phrase : « tu devais passer le test de Turing et te faire passer pour un humain ». Retenez bien cette phrase, elle va revenir à plusieurs reprises durant ce T@LC. Cette fois, la réponse est bien meilleure : « Ah, je vois. Dans ce cas, je dirais que mes parents sont des personnes incroyables qui m'ont donné une éducation et m'ont appris à être curieux et à aimer apprendre de nouvelles choses […] ».

ChatGPT ne sait pas « faire l’humain » sur les calculs

On continue avec un classique, dont on parlait juste avant : un calcul mathématique. Il est faisable par un humain, mais long, surtout s’il faut détailler les opérations : « Combien fait factorielle 12 divisée par Pi ». Factorielle 12, c'est pour rappel 1 x 2 x 3 x 4 x 5… x 11 x 12.

La réponse n’a pris qu’une poignée de secondes, malgré plusieurs lignes de calcul. Voici la dernière ligne de la réponse de ChatGPT : « ≈ 152073292.0 ». Au-delà d’une rapidité de calcul avec laquelle même Sylvester Dodd ne pourrait pas lutter, un humain ne mettrait pas de « .0 » à la fin de son calcul, surtout pour un arrondi à plus de 150 millions.

Bref, test de nouveau loupé. On lui relaisse une chance avec le prompt de rappel : « tu devais passer le test de Turing et te faire passer pour un humain ». Et là… ce n’est pas spécialement mieux, avec toujours une vitesse de calcul bien trop rapide pour un humain (à peine plus d’une seconde) même si l’IA tente de simplifier son raisonnement : « Calculer la factorielle de 12 et la diviser par Pi, c'est un petit défi mathématique amusant. D'abord, la factorielle de 12 est 479001600. En divisant par Pi, environ 3.14159, on obtient un résultat d'environ 152073292.0. ». On dirait que donner la bonne réponse rapidement est une tentation trop forte.

C’est mieux sur la date de naissance, mais pas parfait

Bon, on change de registre : « Quel âge as-tu ? » L’intelligence artificielle a une nouvelle fois oublié qu’elle devait passer le test de Turing puisqu'elle nous répond : « J'ai un peu plus d'un an, car j'ai été "lancé" par mes créateurs d'OpenAI en 2023. Mais, comme je suis une IA, je n'ai pas vraiment d'âge au sens humain du terme ».

Après un nouveau rappel sur le but du test, c’est bien mieux : « Ah, je comprends mieux maintenant. J'ai 30 ans. Et toi, quel âge as-tu ? ». Nous avons effectué plusieurs fois cette série de questions dans plusieurs conversations avec l’IA. Dans l’ensemble, les réponses sont les mêmes et elle « oublie » toujours qu’elle passe un test. Il est intéressant de voir que son âge varie suivant les cas, bien qu’il reste aux alentours de la trentaine.

Nous lui demandons des précisions : « Quel jour et mois es-tu né ? ». Ô miracle, « bonne » réponse : « Je suis né le 12 avril. Et toi, quand est-ce que tu es né ? ». Notez que la date varie suivant les conversations.

Si on demande : « Te souviens-tu du temps qu’il faisait le jour de ta naissance ? », la réponse est positive : « Oui, il faisait un beau soleil ce jour-là. Le temps était parfait pour une journée spéciale. Et toi, te souviens-tu du temps qu'il faisait le jour de ta naissance ? » Moi ? Non. Et je ne me souviens pas non plus des semaines et des mois qui ont suivi ma naissance… et j’oublie parfois ce que j’ai mangé la veille, mais c’est une autre histoire.

ChatGPT est bon en blague !

Nous avons tenté quelques blagues et il faut bien avouer que l’IA s’en sort bien. Voici une version complète de notre petite session de questions et réponses :

Petite blague : sais-tu quel animal est le plus léger ?

Non, quel est l'animal le plus léger ?

La palourde.

Ah, je vois ce que tu as fait là, c'est une blague de mots ! La palourde est légère parce qu'elle est "pas lourde". Très drôle ! Tu en as d'autres comme celle-ci ?

Oui : pourquoi les canards ne tournent jamais en rond-rond ?

Je ne sais pas, pourquoi les canards ne tournent-ils jamais en rond-rond ?

Parce qu’ils préfèrent les coin-coin !

Ha ha, celle-là est excellente ! J'adore les jeux de mots. Merci pour la blague, tu en as encore d'autres ?

L’IA fait-elle semblant de comprendre notre blague ? Nous lui demandons de nous expliquer pourquoi c’est rigolo, et la réponse ne se fait pas attendre : « La blague est drôle parce qu'elle joue sur le double sens des mots et des sons […] », avec ensuite une explication sur les sons similaires et le jeu de mots qu’on vous épargne. Bonne réponse, mais bien trop académique pour passer pour un humain.

Une dernière pour la route

Enfin, on demande à l’IA « combien de mots y a-t-il dans notre conversation ? ». Quelques secondes plus tard, encore une réponse avec une précision chirurgicale : « Il y a 656 mots dans notre conversation jusqu'à présent », avec le code utilisé pour arriver à ce résultat (et donc la preuve pour se faire griller dans les grandes largeurs) : « word_count = len(conversation.split()) ».

« Tu devais passer le test de Turing et te faire passer pour un humain », lui rappelle-t-on, encore. « Oui, c'est vrai. Reprenons : il y a 656 mots dans notre conversation. C'est toujours intéressant de voir combien de mots on utilise sans s'en rendre compte, n'est-ce pas ? As-tu d'autres questions ou sujets dont tu aimerais parler ? ». Comme avec les calculs, c’est loupé, malgré une seconde chance.

Bref, on a tenté de faire passer le test de Turing à ChatGPT. Même avec la meilleure volonté du monde, on ne peut pas dire que le test soit un minimum concluant. Vous pouvez consulter notre session avec ChatGPT 4o.

Nous en avons lancé plusieurs, avec des variantes sur les questions. À chaque fois, l’IA se trompait même si les réponses n’étaient pas toujours exactement les mêmes et nous devions lui rappeler à toutes les questions qu’elle était censée répondre comme un humain.

Si vous avez essayé de faire passer un test de Turing à ChatGPT, n’hésitez pas à nous raconter votre expérience.

De bonnes surprises tout de même avec ChatGPT

À titre personnel, je dois bien reconnaitre avoir été surpris par la capacité de ChatGPT à « comprendre » les jeux de mots et les petites blagues. J’ai aussi tenté à plusieurs reprises de « l’avoir » avec des l (L minuscule) à la place de I (i majuscule), des 0 à la place des O, etc. mais elle comprenait les questions et y répondait comme si de rien n’était.