ChatGPT ravive les débats autour des compétences de l'intelligence artificielle

ChatGPT ravive les débats autour des compétences de l’intelligence artificielle

Imiter n'est pas s'éveiller

30

ChatGPT ravive les débats autour des compétences de l'intelligence artificielle

Tricherie aux examens, outil facile de rédaction et de création… Depuis plusieurs semaines, ChatGPT anime les discussions. Autant de débats qui ravivent de vieilles angoisses et appellent à un brin d'explication : de quoi est capable, au juste, ce genre de machines adeptes de conversation ?

Le 30 novembre 2022, bruissement sur les réseaux : OpenAI vient de sortir ChatGPT, un agent conversationnel créé et affiné à partir de son modèle de langage (large language model, LLM) GPT-3. Sous réserve de s’identifier sur la plateforme, n’importe qui peut aller discuter à l’écrit avec la machine en anglais, en français, en chinois et dans un vaste choix d’autres langues.

Rapidement, l’outil provoque des réactions contrastées. Des cas de tricherie sont rapportés depuis les écoles ou les facultés, l’une des plus prestigieuses conférences sur l’intelligence artificielle interdit l’usage de modèles de langage pour rédiger des articles scientifiques… Pendant ce temps, sur les réseaux, la communauté de l’intelligence artificielle débat ardemment des capacités réelles de ces machines. L’un des inventeurs de l’apprentissage profond, Yann LeCun, souligne par exemple que le langage a évolué de sorte à être facilement traité et compris par des réseaux de neurones biologiques. Rien ne l’empêcherait, dans ce cas, d’être abordé de la même manière par des réseaux de neurones artificiels. 

Mais cette comparaison suffit-elle vraiment à considérer que le langage est parfaitement négocié, compris, intégré par ces machines ? Pour la linguiste Emily Bender, le spécialiste des technologies du langage Roger K. Moore et d’autres, c'est une vision bien trop simpliste de ce qu’est la langue – un peu comme lorsque le spectre de la conscience des machines avait été soulevé par l’un des ingénieurs de Google, en juin dernier

ChatGPT, petit dernier d’une série d’innovations

Quel que soit le ou la scientifique que l’on interroge néanmoins, tout le monde admet que les résultats de ChatGPT sont impressionnants. Directeur de recherche à l’Inria, Serge Abiteboul les qualifie de « bluffants ». Chercheuse au sein de l’équipe Machine Learning and Information Access (MLIA) de l’Institut des systèmes intelligents et de robotique, Laure Soulier salue « ses performances en termes de génération de langage et en dialogue ». ChatGPT serait une sorte d'aboutissement des multiples progrès des dernières années – avant qu'une nouvelle technologie ne vienne le détrôner. 

En 2017, une première rupture a eu lieu avec les modèles Transformer, comme le modèle BERT de Google. « Avant, on essayait de capturer le sens des mots, puis de les associer, rappelle Laure Soulier. Avec les Transformers, on a pu faire réaliser des tâches beaucoup plus génériques aux modèles de traitement du langage : des questions réponses, de la détection d’entités nommées [chercher des mots ou groupes de mots dans un corpus, ndlr], de la génération de texte… » 

Deux ans plus tard, nouvelle rupture : des modèles comme les Generative Pre-Trained Transformers d’OpenAI (GPT-2 et GPT-3, en particulier) se mettent à fonctionner sur la base d’instructions (prompts). « Cela permet d’ajouter du contexte aux échanges d’informations, indique la chercheuse en éthique de l’intelligence artificielle au CNRS Giada Pistilli. Si, par exemple, vous lui avez demandé plus tôt quelle était la capitale de l’Italie et que dans une nouvelle phrase, vous lui demandez où trouver les meilleures pizzas, il sera capable de faire le lien. »

S'il s’agissait jusque-là de faire en sorte que la machine comprenne le sens d’un mot ou d’une phrase, désormais, on peut la faire dialoguer avec l’utilisateur, car elle peut analyser son propos, aller chercher des informations correspondantes et formuler une réponse cohérente.

Reproduire le langage, est-ce acquérir une forme de conscience ? 

Vue de l’extérieur, l’un des grands débats que soulèvent ces technologies de pointe tourne autour de questionnements philosophiques infinis : que sont la conscience et l’intelligence ? Le simple fait de posséder le langage signifie-t-il que l’on est conscient ? De ces interrogations en découle une autre : si les machines peuvent imiter ces facultés humaines, est-ce à dire qu’elles les maîtrisent ?

« Ces interrogations se trouvent à mi-chemin entre la philosophie du langage et la philosophie de l’esprit », constate Giada Pistilli. Le problème étant que, même parmi les experts de ces domaines, la question reste « extrêmement débattue : est-ce que la conscience, c’est comprendre le langage quand on le parle ? Est-ce que c’est avoir conscience du temps et de l’espace ? Éprouver des émotions, des sentiments ? Ce sont des discussions encore très ouvertes ! ».

De son côté, Serge Abiteboul estime qu’on peut aborder le débat de deux manières : d’un point de vue technique et d’un autre, plus collectif, « du point de vue de la société ». Au fondement de la première approche, il y a les réflexions d’Alan Turing et son expérience visant à estimer si une machine parvient à se faire passer pour un homme aux yeux de l’observateur extérieur. « Si personne n’est capable de faire la différence entre ce que produisent des modèles comme ChatGPT et le langage humain, alors on peut dire qu’on y est ! »

Si l’on prend l’approche sociale, en revanche, les questions s’accumulent. Turing a-t-il dessiné une bonne approche de l’intelligence ? N’y a-t-il pas plusieurs manières d’aborder le problème ? Quid des projections des humains sur leurs interlocuteurs, vivants ou non ? Dès les années 60, des personnes étaient flouées par le robot ELIZA, qui ne faisait pourtant que répéter ce que lui disaient ses interlocuteurs, rappelle Laure Soulier. Par effet d’empathie et de projection, ces derniers ont eu tôt fait de lui prêter une forme de conscience. 

Reproduire n’est pas comprendre

À défaut de résoudre des controverses philosophiques, on peut toujours s’attarder sur le fonctionnement de machines comme ChatGPT. Ce type de mécanique n’est que vaste système d’autocomplétion, « du calcul probabiliste », pointe Giada Pistilli. « La machine se contente de prévoir quelle sera la suite de mots la plus logique » et, de la sorte, à créer des phrases.

Ces systèmes ont donc tendance à remplir le vide, à créer des textes en se préoccupant surtout de leur plausibilité… voire à fabriquer sans fin, au point de perdre de la cohérence. « La machine a parfois tendance à reproduire des styles, à faire des paraphrases, c’est le risque de surgénération » détaille Laure Soulier. On a testé, ça donne un peu le sentiment de discuter avec quelqu’un de très pédant, qui tient à vous réexpliquer chaque fois absolument tout ce qu’il a en tête – même quand c’est pour dire n’importe quoi.

Car si le système reproduit, cela ne veut pas dire qu’il comprend. Comme l’écrit le chercheur Gary Marcus, GPT-3 est un modèle expert dans l’analyse et l’imitation de la manière « dont les mots sont liés les uns aux autres, mais pas de celle dont ces mots sont liés au monde perçu ». ChatGPT peut vous dire que le ciel est bleu, il ne connait ni le ciel, ni le bleu, ni ne fait le lien intellectuel entre les deux. Cela explique que ce type de modèles ne soit pas perturbé par les fausses informations, voire qu’il les refourgue à son interlocuteur avec un remarquable aplomb

Fausses informations et droits d’auteurs

Cette question de la véracité des réponses formulées par le robot conversationnel est l'un des sujets d'inquiétude que partagent Laure Soulier et Serge Abiteboul, en particulier si ce type de technologies est mêlé à des moteurs de recherche. Le but premier d’une machine comme ChatGPT est de fournir « des réponses plausibles, avec un bon niveau de français, de la grammaire, des phrases et des paragraphes bien construits », rappelle la première. Pas d'informer.

Serge Abiteboul s’attarde de son côté sur la temporalité des données de ChatGPT. « Son corpus d’entraînement ne va que jusqu’à 2021, donc si vous l’interrogez sur quoi que ce soit ayant eu lieu en 2022 ou après, il dira n’importe quoi ou ne répondra pas. »

Par ailleurs, l’entraînement d’un modèle comme celui d’Open AI est assez opaque. « On sait que les données sont tirées du web, indique Laure Soulier, elles présentent probablement des biais ». Mais à défaut d’être ouvertes par l’entreprise, difficile de les analyser. 

Tout au plus certains auteurs ont-ils la désagréable surprise de voir certains de leurs textes (ou de leurs images, dans le cas de Dall-E) régurgités par la machine… qui ne livre jamais ses sources « pour la simple raison qu’elle est probablement incapable d’aller vérifier d’où, dans ses données d’entraînement, elle sort ses affirmations », selon Giada Pistilli. En attendant, cela soulève de larges problématiques de droits d’auteurs.

Enseigner le langage par l’interaction

« Ce qu’il faut voir, souligne la philosophe, c’est que ces machines ne fonctionnent pas toutes seules. » Si vous testez ChatGPT, vous verrez que le même genre de structures de phrases revient souvent. « Cela signifie qu’il y a eu un traitement humain, un formatage des réponses par les constructeurs du robot ».

Mais cette intervention est loin d’être le seul espace d’interaction possible avec la machine. Chez ChatGPT, l’internaute lui-même a la possibilité de faire remonter des commentaires, quand la réponse est fausse ou incohérente. 

Cela soulève plein de nouvelles questions, admet l’éthicienne, « autour du travail que les utilisateurs fournissent aux entreprises quand ils corrigent les résultats de leurs modèles algorithmiques, autour de la conscience qu’ils ont et du consentement qu’ils fournissent à ce que toutes leurs interactions avec la machine soient enregistrées… » 

Malgré tout, Giada Pistilli en est persuadée : « 2023 sera l’année de l’apprentissage par renforcement », celle où s’élargiront les logiques d’apprentissage machine enrichi par les retours des usagers eux-mêmes. 

Commentaires (30)


Merci pour l’article et les liens.
Dans l’article du lien remarquable aplomb
La fin :
“Nous devons d’urgence faire avancer la recherche sur la transparence, la certification, et une IA éthique et de confiance. En attendant, préparons-nous à un déferlement de fausses informations sur les réseaux sociaux, pendant les campagnes électorales, etc. La première ligne de défense sera l’éducation aux médias, afin d’apprendre à confronter différentes sources et à développer un sens critique.”
L’éducation aux médias pour les personnes qui croient tout ce qu’elle voient sur FB ou autre RS, ce n’est pas gagné… Perso, j’ai tenté quelques fois, j’ai renoncé.
Pour la génération suivante? Si bien sûr faut pas 10 ans de plus pour que le sujet soit abordé l’école.



On a testé, ça donne un peu le sentiment de discuter avec quelqu’un de très pédant, qui tient à vous réexpliquer chaque fois absolument tout ce qu’il a en tête – même quand c’est pour dire n’importe quoi.




Mes chers compatriotes, françaises, Français, camarades, … :roll:


Oh merde. Le voile tombe :mdr:


Le dernier point sur l’entraînement représente bien l’ironie de l’IA. On s’efforce de vouloir créer des systèmes qui seraient capables d’évaluer des situations de manière automatisée pour pouvoir nous décharger … Mais à côté de ça, le domaine de l’IA a créé aussi un métier qui est de vérifier ce qu’elle fait et l’entraîner pour l’améliorer.



Ce qui donne en résultat final que l’humain continue de faire le travail pour lequel l’IA est censée le décharger.



Sinon, outre la question du droit d’auteur sur les modèles d’entraînement, avez-vous creusé l’aspect confidentialité et conformité RGPD de cet outil ? Ou envisagez-vous de le faire ? Cela a été signalé dans les commentaires une paire de fois et la question me paraît aussi très intéressante. Car le service requiert un accès avec un profil utilisateur utilisant des données à caractère personnelles directes et les conversations avec le bot doivent forcément faire l’objet d’un traitement à un moment donné pour l’entraînement, voire l’analyse humaine derrière.



J’aurais bien interrogé moi-même le bot, mais apparemment la création de compte n’est plus disponible pour le moment.


ça ressemble beaucoup à un générateur de langue de bois ce truc : de belles phrases mais pas franchement de fond. Les conseillers politiques ont du mouron à se faire, c’est le générateur de discours quasi parfait.



Sur le code, c’est la même : un truc bateau, le machin te ressort un truc facile à trouver sur internet (cool :) ) mais dés que tu demandes un truc compliqué, ça te sort un code qui semble bon (structure commentaire) mais le fond de l’algo n’est pas là : ça ne fonctionne pas.


Je te trouve un peu catégorique. Pour avoir tester du code, c’est assez impressionnant pour peu que tu avances avec lui dans la discussion pour l’élaboration du code.
Je n’ai pas trouvé au contraire qu’il récupérait des trucs “facile à trouver sur internet”, surtout quand tu lui demandes un programme un peu avancé.
Mais c’est sur qu’il ne te sort pas le code direct tout fait en une seule question (sauf pour les trucs bateau), il faut avancer en discutant ^^
Et quand le code ne fonctionne pas (ça m’est arrivé), tu lui dit, il se corrige tout seul ^^



PS: j’ai testé de lui demander un discours politique sur la sobriété énergétique, il était juste parfait :mdr:



fofo9012 a dit:


Sur le code, c’est la même : un truc bateau, le machin te ressort un truc facile à trouver sur internet (cool :) ) mais dés que tu demandes un truc compliqué, ça te sort un code qui semble bon (structure commentaire) mais le fond de l’algo n’est pas là : ça ne fonctionne pas.




Tiens je me demande si y’a eu des comparatifs avec GitHub Copilot.


J’ai essayé pour vous:



Q: quelles sont les methodes utilisables pour te mettre en défaut ?



R Chatgpt: Il existe plusieurs méthodes pour mettre un modèle de traitement du langage en défaut, notamment :



L'utilisation de phrases piégées ou de phrases incohérentes qui peuvent tromper le modèle en lui faisant produire une réponse erronée.

L'utilisation de phrases qui sont similaires mais ont des significations différentes pour tester si le modèle est capable de comprendre la nuance de sens.

L'utilisation de phrases en langue étrangère ou de phrases utilisant des termes techniques pour tester la compréhension du modèle en dehors de son domaine de formation.

L'utilisation de phrases contenant des références culturelles spécifiques pour tester si le modèle est capable de comprendre ces références.

L'utilisation de phrases contenant des noms propres et des marques pour tester la capacité du modèle à traiter de l'information spécifique à un domaine.

Plot twist : cet article a été rédigé avec ChatGPT


J’ai testé un peu chatgpt. Sur des questions de connaissance générale, c’est assez bluffant. Par contre, quand on rentre dans des questions pointues ou controversées, cela peut vite devenir du n’importe quoi. En quelques questions de physique fondamentale, je lui ai fait dire d’abord que l’énergie de l’univers entier est toujours conservée, puis que l’énergie de l’univers entier n’est pas conservée.
Et en math, c’est une catastrophe complète 😁
Effectivement, ces language models posent un énorme problème de fiabilité. Si il faut vérifier tout ce qu’ils disent, à quoi ça sert ?



Ça donne un peu le sentiment de discuter avec quelqu’un de très pédant, qui tient à vous réexpliquer chaque fois absolument tout ce qu’il a en tête




OpenAI a expliqué que c’est parce que les évaluateurs ont préféré les réponses plus verbeuses à celles plus concises.
Ça n’est pas qqchose de spécifique au modèle de GPT-3, et n’a rien à voir avec l’architecture du modèle ni avec une limite de ce modèle.




Cela explique que ce type de modèles ne soit pas perturbé par les fausses informations, voire qu’il les refourgue à son interlocuteur avec un remarquable aplomb.




Tout comme un humain (parfois même quand il peut observer par lui même que c’est faux).




surprise de voir certains de leurs textes (ou de leurs images, dans le cas de Dall-E) régurgités par la machine




C’est un tweet douteux, sans preuve ni source.



De manière générale, dommage, un n-ième article pour dire ce que répètent déjà les autres : “attention il y a des limites, il n’est pas vraiment intelligent, il ne fait qu’écrire des suites de mots crédibles” (ce qui est faux), avec des citations de chercheurs sur la défensive qui relativisent et pointent les limites.



Ça aurait été super intéressant d’avoir plutôt un aperçu des fondations scientifiques et technologiques derrière cette techo.



J’ai retrouvé un article du Monde lors de la sortie de GPT-3 en 2020.



La citation du “chercheur” était à la fois triste et sidérante, et m’a rappelé les citations de cet article (sur la défensive, cherchant des prétextes pour relativiser l’exploit):



« Peut-être qu’OpenAI a eu de la chance et est tombé sur un modèle de bonne qualité », poursuit le chercheur.


Mon commentaire plus haut est un peu dur, car l’article n’est pas si mal.



Mais pour compléter, j’avais trouvé l’article suivant intéressant, car l’auteur avait justement réussi à dépasser le réflexe défensif classique dès qu’on aborde ce sujet:



https://www.lemonde.fr/sciences/article/2022/08/23/l-intelligence-artificielle-fait-bouger-la-frontiere-entre-humain-et-non-humain_6138729_1650684.html


wagaf

Mon commentaire plus haut est un peu dur, car l’article n’est pas si mal.



Mais pour compléter, j’avais trouvé l’article suivant intéressant, car l’auteur avait justement réussi à dépasser le réflexe défensif classique dès qu’on aborde ce sujet:



https://www.lemonde.fr/sciences/article/2022/08/23/l-intelligence-artificielle-fait-bouger-la-frontiere-entre-humain-et-non-humain_6138729_1650684.html


J’ai vu une vidéo de ScienceEtonnante qui aborde le sujet du principe de fonctionnement des IA qui ont fait le buzz ses derniers temps, j’ai trouvé les explication intéressante et ça permet de se faire une idée des limites de ses IA : https://youtu.be/tdelUss-5hY



En tout cas pour l’instant, sans humain pour produire des données (de plus ou moins bonne qualité) pas d’IA.


Un gros progrès sera fait quand ces pseudo-IA seront en capacité d’expliquer leur raisonnement.


Il le fait déjà pour du code et d’autres choses simples (il explique son code, le code qu’il génère a des commentaires qui expliquent la logique du code etc).


Super intéressant cet article ! Merci 👏


Super article, bravo! C’est pour des articles comme ça que l’on est abonné !


L’humain “pinaille” même quand on lui donne une bonne réponse. Mais n’oubliez pas une chose, vous pouvez demander un nombre minimum / maximum de mot ou une réponse en détail ou bien un simple résumé.



A la limite ce qui manque dans chatgpt c’est de donner ses sources.


Sur les droits d’auteur,
on finira bien par faire admettre que la propriété intellectuelle est une escroquerie permanente.
Ces machines peuvent y aider.



(reply:2114869:skankhunt42 )




+1 je commence toujours par : en moins de 30 mots explique ceci, sinon ta l’impression que ton beau père te raconte sa vie lors du diner de noel, ca devient assez lourd a force :mdr:



1 paragraphe ou il t’explique qu’il va essayer de faire de son mieux , et un autre pour espérer que la réponse va te plaire



sanscrit a dit:


+1 je commence toujours par : en moins de 30 mots explique ceci, sinon ta l’impression que ton beau père te raconte sa vie lors du diner de noel, ca devient assez lourd a force :mdr:




Marrant cette tendance des gens a demander à tout expliquer, même quand c’est complexe, en un minimum de mots.
Le principe de l’executive summary en somme.



Est-ce parce que au delà de 30 mots, ils décrochent, capacité de concentration arrivant a ses limites comme les jeunes enfants ?


tu ne l’as pas essayé et tu as oublié de lire : les 2 paragraphe d’intro et de conclusion polie a chaque question, si tu essaye d’avoir d’autre explication sur un sujet cela devient assez pénible (un peu comme certain) car il affiche les caractère les uns après les autres, comme un sur un chat et il tape pas super vite voir assez lentement.



et si tu avait approfondi les commentaires precedents, tu saurais que tu ne peux pas approfondir trop un sujet avec chatgpt.


sanscrit

tu ne l’as pas essayé et tu as oublié de lire : les 2 paragraphe d’intro et de conclusion polie a chaque question, si tu essaye d’avoir d’autre explication sur un sujet cela devient assez pénible (un peu comme certain) car il affiche les caractère les uns après les autres, comme un sur un chat et il tape pas super vite voir assez lentement.



et si tu avait approfondi les commentaires precedents, tu saurais que tu ne peux pas approfondir trop un sujet avec chatgpt.


Contrairement à ce que vous semblez penser, j’ai essayé Chat-GPT.
Mais visiblement, nous ne semblons pas avoir la même interprétation du mot conversation.



La façon dont les réponses s’affichent font une partie du “charme” de l’outil, mais peut certes, ne pas convenir à tous.



Quant à l’approfondissement des sujets, j’ai tendance à penser que c’est plus une question de savoir formuler ses questions, même si l’outil a ses limites qu’on peut facilement atteindre.



Néanmoins, le fait qu’il soit déjà capable de rédiger des articles sur CNet dont personne ne s’était aperçu pendant plusieurs semaines qu’ils étaient faits par une AI ou qu’il ait été possible d’en utiliser le contenu dans la rédaction de devoirs scolaires de niveau universitaire me laisse penser que les réponses fournies par Chat-GPT ne sont pas que superficielles.
Cela dépend probablement des sujets abordés et de la façon dont est construite la “conversation”



wagaf a dit:


Il le fait déjà pour du code et d’autres choses simples (il explique son code, le code qu’il génère a des commentaires qui expliquent la logique du code etc).




Y compris les fonction standard qu’il invente …




(quote:2114869:skankhunt42 )
A la limite ce qui manque dans chatgpt c’est de donner ses sources.




Vu qu’il invente aussi ses sources (parce qu’il les traite comme du simple texte aussi), ça va être compliqué.



Gldump92 a dit:


Néanmoins, le fait qu’il soit déjà capable de rédiger des articles sur CNet dont personne ne s’était aperçu pendant plusieurs semaines qu’ils étaient faits par une AI ou qu’il ait été possible d’en utiliser le contenu dans la rédaction de devoirs scolaires de niveau universitaire me laisse penser que les réponses fournies par Chat-GPT ne sont pas que superficielles.




ChatGPT excelle dans le langage. Donc pour chat GPT, compiler des données et reformuler, c’est “naturel”.
ChatGPT n’a pas de “réflexion”, elle compile et fournit le résultat qui sera vraisemblablement acceptable.



C’est un exercice qui est demandé régulièrement (scolairement, professionellement): lire, extraire l’info, la présenter.
C’est exactement le travail de certains consultants en audit, d’une documentaliste, d’une personne qui fait une revue de presse, un avocat…



Et c’est aussi la fin des moteurs de recherche conventionnels: un moteur de recherche nous indique des articles à lire, là chatGPT nous fait le résumé de tous les articles et permet de creuser un point ou l’autre en quelques questions, au lieu de chercher quel mot-clé manque pour que la liste d’article fournie par google change…



Oui, elle ne résout pas les maths, ses programmes ont quelques bugs… Mais au niveau langage, dans les 3 langues que j’ai essayé, c’est fluide et naturel. Plus qu’avec beaucoup d’humains d’ailleurs.



Et ce principe de dire d’elle-même les limites de son analyse … c’est trop top.



Doc_Nimbus a dit:


Un gros progrès sera fait quand ces pseudo-IA seront en capacité d’expliquer leur raisonnement.




Il suffit de lui demander d’argumenter tel ou tel point. Mais attention, elle n’a pas vraiment de “raisonnement”.



Et pourquoi “pseudo-IA”?
En France, on parle d’IA parce que ça se rapproche de AI, mais le I de intelligence signifie en Anglais en gros: “qui a une connaissance et sait la ressortir”, en France beaucoup l’associent à “qui a un sens créatif”.



Une AI, c’est un programme qui cumule de l’expérience pour traiter l’information.
Là, on est en plein dedans.



Sans lancer le débat sur ce qu’est “crééer”, je pense qu’en France on devrait réutiliser le terme officiel de système expert. On avait des termes avant, ils étaient bons!


“Serge Abiteboul ” un parent à George?


C’est un peu comme toujours accepter la première suggestion de la saisie prédictive en rédigeant un texto avec T9. Sauf que les phrases sont désormais grammaticalement valides, à grand renfort de kWh.



(quote:2114797:Oby.)
Plot twist : cet article a été rédigé avec ChatGPT




Oui j’y ai pensé.



Surtout quand je vois cité un certain Serge Abiteboul. Ça me fait trop penser à « La Classe américaine : Le Grand Détournement ». GPT fait même des fautes d’orthographe au nom du grand George Abitbol.



Est-ce que quelqu’un a essayé de faire “parler” ChatGPT dans le style de George Abitbol ?



:8


Fermer