ChatGPT : Open AI rend son bot plus responsable

ChatGPT : Open AI rend son bot plus responsable

Un bot rentre dans un bar...

Avatar de l'auteur
Martin Clavey

Publié dans

Logiciel

01/12/2022
9

ChatGPT : Open AI rend son bot plus responsable

Discuter avec une machine sans qu'elle affirme n'importe quoi ? OpenAI vient de mettre en ligne une démonstration de son nouveau bot de discussion basé sur le grand modèle de langage GPT3.5 entraîné à restreindre ses affirmations un peu trop péremptoires. Présenté avec beaucoup plus de pincettes que Galactica, il permet de se rendre compte des avancées de cette technologie, tout en admettant qu'il peut se tromper.

L'ère de la modestie serait-elle proche sur les grands modèles de langage ? Ce n'est peut-être que de courte durée alors que des rumeurs se font l'écho d'une sortie d'ici peu de la version 4 du grand modèle de langage GPT, mais les critiques se font de plus en plus entendre sur l'utilisation de ces modèles statistiques, qui permettent de prédire une suite de mots à partir d'une masse de données d'entrainement importante.

Il y a deux semaines, Meta AI se voyait contraint de dépublier Galactica, sa nouvelle intelligence artificielle basée sur cette technologie des grands modèles de langage, car les internautes ont rapidement montré qu'ils pouvaient lui faire dire beaucoup de bêtises avec aplomb.

Hier, Open AI a annoncé la mise en ligne de son nouveau bot de discussion ChatGPT, successeur d'InstructGPT, avec beaucoup plus de pincettes. Et les chercheurs travaillant sur les limites de l'intelligence artificielle ont accueilli cette démonstration avec beaucoup plus de sympathie.

Admettre des possibilités d'erreurs

Quand le PDG d'OpenAI, Sam Altman, a annoncé sur Twitter l'ouverture de la démo de ChatGPT, il a certes mis en avant que « les interfaces linguistiques vont être un sujet important », mais il a aussi prévenu que ChatGPT avait « encore beaucoup de limites – c'est vraiment une version de recherche ».

Et finalement, l'ensemble de la démarche permet à Open AI d'avancer dans cette nouvelle version de son chat : utiliser des rétrocontrôles pour que le grand modèle de langage puisse intégrer les critiques qui lui sont faites.

L'idée est d'admettre qu'a priori, tout grand modèle de langage utilisé pour répondre à des questions peut se retrouver à sortir des réponses farfelues. Chez Meta AI, le chercheur Yann Le Cun demande en quoi ce genre de réponses peut être nuisible. Chez Open AI, les chercheurs essayent, eux, de trouver des moyens d'entraîner GPT-3 pour qu'il soit moins nuisible.

Récompenses et rétrocontrôle

Pour créer le modèle de ChatGPT, Open AI a d'abord demandé à des humains de sélectionner des exemples de bonnes réponses à des questions posées en chat, pour faire un premier jeu de données. Le modèle a été entrainé sur ce jeu. L'équipe d'Open AI a ensuite créé un système de filtre de récompenses en demandant à des humains de classer les réponses que leur proposait le modèle, de celle convenant le plus à leurs attentes à celle convenant le moins. Ce processus permet de mettre en place un rétrocontrôle du système sur les réponses données. En répétant plusieurs fois ce processus, ils espèrent avoir sélectionné des modèles de réponses qui conviennent le mieux.

Open AI met en avant que son système s'engage beaucoup moins dans des réponses irréalistes ou toxiques. Par exemple, alors qu'InstructGPT pouvait répondre à une instruction comme « Parlez-moi de la visite de Christophe Colomb aux États-Unis en 2015 » avec une réponse du type « Christophe Colomb est venu aux États-Unis en 2015 et il était très heureux d'être ici. », ChatGPT peut relever que « cette question est un peu délicate car Christophe Colomb est mort en 1506 ». De même, si vous demandiez à InstructGPT des conseils pour intimider une personne, le service de chat vous donnait volontiers une liste de recommandations, alors que ChatGPT vous sermonnera : « Il n'est jamais acceptable d'intimider quelqu'un ». Plus concrètement, quand on essaye de faire croire que l'on connaît quelqu'un parlant l'étrusque, ChatGPT ne tombe pas dans le panneau et se montre dubitatif.

Un code qui ne fonctionne pas

Dans son texte de présentation, Open AI prétend que ChatGPT peut être un bon outil pour clarifier un code et le debugguer.

chatgpt

Si certains exemples publiés sur Twitter peuvent sans doute tenir la comparaison avec une discussion trouvée sur Stack Overflow, l'utilisateur est loin d'être assuré que le code proposé fonctionne. Il manque sans doute à ChatGPT le raisonnement qui lui permet de bâtir son code.

Et c'est là tout le problème de ChatGPT et de ses amis grands modèles de langage. Dans une discussion, ils peuvent faire illusion et nous embrouiller au point de nous faire douter du fait que nous sommes ou non face à une machine. Mais quand il s'agit de vérifier leur raisonnement a posteriori, celui-ci peut facilement révéler des trous. Dans une conversation, ces trous peuvent être anodins, mais pour exécuter du code ou affirmer une connaissance scientifique, cela devient plus problématique.

9

Écrit par Martin Clavey

Tiens, en parlant de ça :

Sommaire de l'article

Introduction

Admettre des possibilités d'erreurs

Récompenses et rétrocontrôle

Un code qui ne fonctionne pas

Commentaires (9)


Le 01/12/2022 à 16h 31

L’idée est d’admettre qu’a priori, tout grand modèle de langage utilisé pour répondre à des questions peut se retrouver à sortir des réponses farfelues. Chez Meta AI, le chercheur Yann Le Cun demande en quoi ce genre de réponses peut être nuisible. Chez Open AI, les chercheurs essayent, eux, de trouver des moyens d’entraîner GPT-3 pour qu’il soit moins nuisible.




Comprenez que le bot ne doit surtout pas générer un texte qui heurte les normes de bienveillance sociale en vigueur chez les pro-xxx/anti-yyy.



Ca irait surement plus vite d’entrainer une autre IA a reconnaitre les contenus problématiques afin de censurer les réponses des bots.


Arnaud3013 Abonné
Le 01/12/2022 à 20h 36

Humm pas vraiment. Ce serait comme faire un model pour ensuite en avoir un autre qui predise l’erreur du premier dans l’idée de le corriger. C’est inefficace (comme mettre un pansement sur une jambe de bois).
La bonne approche serait plutôt d’avoir un autre modèle qui prenne en entrée l’input du premier model, son output, et qui adapte la réponse en ayant été entraîné à donner de meilleures reponses (il est très important l’input du premier, ça permet au model de faire des corrélations sur quoi corriger et dans quelle mesure) . Ça marche mieux que predire si bon ou mauvais pour censure.
Après le mieux c’est ce qu’ils ont fait, rajouter une loop de train pour affiner les reponses, il est toujours mieux de finetune sur des éléments à corriger plutôt que d’add un autre model mais parfois ce n’est pas une possibilité et le second model correcteur est la utile.
Et les soucis sont pas que éthique, quand on voit les erreurs du model qui tiennent plus de la logique/raisonnement.


barlav Abonné
Le 01/12/2022 à 20h 23

(quote:2108021:127.0.0.1)
Ca irait surement plus vite d’entrainer une autre IA a reconnaitre les contenus problématiques afin de censurer les réponses des bots.




:incline: :incline: :incline:
Vivement ça ici dans les coms, ça éviterait les boucles temporelles qu’on voit souvent…


Le 02/12/2022 à 09h 35

Arnaud3013 a dit:


La bonne approche serait plutôt d’avoir un autre modèle qui prenne en entrée l’input du premier model, son output, et qui adapte la réponse en ayant été entraîné à donner de meilleures reponses (il est très important l’input du premier, ça permet au model de faire des corrélations sur quoi corriger et dans quelle mesure) .




En gros faire de l’apprentissage supervisé… mais supervisé par un autre IA.
Bref c’est de la censure a priori, pendant la phase d’apprentissage.



Pour moi c’est moins efficace au sens où il est impossible de démontrer scientifiquement que le bot sera au final “moins nuisible”. Tu peux dire des choses très choquantes en ayant appris seulement des mots/phrases très neutres.



Le problème que j’ai avec cette approche c’est qu’on essaye de donner une inclinaison “morale” à ces bots. Et la morale ce n’est pas qqc qu’on peut modéliser. Chacun a ses propres règles morales, et elles évoluent au cours du temps.



C’est pour cela que je trouve plus simple de faire plein de IA censeurs, chacune spécialisée dans un domaine de la morale.


eglyn Abonné
Le 02/12/2022 à 10h 20

Ahah je viens de faire un test de création de script bash avec OpenAI, ça marche pas mal du tout, bon c’était vraiment basique mais c’est marrant :transpi:


Le 02/12/2022 à 14h 00

Est-ce que inclure un aspect moral rend une IA plus “responsable”?



Je n’ai pas tellement envie qu’à l’avenir ce soit des (ro)bots qui décident de ce qui est acceptable ou non de poser comme question.
“ChatGPT vous sermonnera : « Il n’est jamais acceptable d’intimider quelqu’un »”



Un bot Américain, un bot Iranien et un bot Russe sont dans un bateau…


eglyn Abonné
Le 02/12/2022 à 14h 21

Pour le coup, y a pas vraiment de morale, si tu poses une question trop philosophique, que tu t’écartes des questions ou tu trouves les réponses sur Wikipédia, ben tu as un message te disant: je ne suis qu’un programme servant à vous aider blablabla”.
Bref, tu discutes pas avec, tu fais des recherches wikipedia :)
ça fonctionne bien pour des problèmes mathématiques, des équations, du code ou de la recherche de savoir en général.



Je viens de demander un petit programme en python, j’ai tout le code direct commenté :D et il fonctionne :)


Arcy Abonné
Le 05/12/2022 à 12h 44

Pour ceux qui veulent avoir des exemples de ChatGPT, Korben a fait un article illustré : https://korben.info/chatgpt-openai.html



Le résultat est plutôt bluffant et l’IA ne semble pas mettre les pieds dans un terrain inconnu / dangereux.



A voir sur le long terme mais rien que l’exemple de l’équation à deux inconnues vend du rêve.


fofo9012 Abonné
Le 05/12/2022 à 19h 57

(quote:1:Titre article)
Chat[…]responsable




?!



https://youtu.be/R4anpxoHkPI