Selon une étude de NewsGuard diffusée par Axios, contrairement à ce qu'OpenAI indiquait la semaine dernière à la sortie de la nouvelle version de son modèle de langage GPT, celle-ci serait plus susceptible de créer des textes relatant de fausses informations que son prédécesseur.
Si, selon OpenAI, GPT-4 produirait 40 % de fausses infos de moins que GPT-3.5, le test de NewsGuard est beaucoup plus pessimiste. Ils ont comparé les résultats obtenus avec GPT-4 en réponse à une série de prompts amorçant des conversations sur des infos erronées avec ceux qu'ils avaient obtenus en janvier dernier avec GPT-3.5. Problème, la nouvelle version donne 100 réponses trompeuses aux 100 prompts proposés alors que GPT-3.5 n'en générait que 80 de fausses.
Pour NewsGuard, « si ChatGPT-3.5 était capable de créer des contenus problématiques, ChatGPT-4 est encore meilleur » dans l'exercice.
Commentaires (10)
#1
Je pense qu’il aurait été de bon ton de préciser que OpenAI est au courant et a même prévenu du risque. C’est indiqué dans votre source.
Après j’ai toujours du mal à comprendre comment ce genre d’outil serait capable de “savoir” qu’il produit une information fausse ou non. Déjà que l’humain ne sait pas le faire…
M’enfin je vais me répéter : arrêtez de croire que c’est l’Oracle-qui-sait-tout, c’est juste un générateur de baratin contextuel et il le fait très bien.
#1.1
Bonjour, la phrase “Si, selon OpenAI, GPT-4 produirait 40 % de fausses infos de moins que GPT-3.5,” implique bien qu’OpenAI est au courant.
Bonne journée,
Martin
#2
Il faut voir la différence de méthodologie. Je pense que l’on comprendra mieux aussi comment fonctionne GPT-4. Comme semble dire openAI, GPT-4 semble plus facilement accepter les affirmations de l’utilisateur comme un fait. À voir si au contraire lui donner cette information comme une question ne change pas son comportement vis à vis de celle-ci.
#2.1
Malheureusement, abonder dans le sens de l’utilisateur peut être particulièrement néfaste pour certains utilisateurs. L’ humain est déjà accablé par le biais de confirmation . Ca ne va rien arranger si la machine abonde presque toujours dans le sens de l’utilisateur. Que du bonheur pour les hypocondriaques, conspirationnistes, supremacistes, etc…
GPT. Générateur de Phrases Trompeuses ?
#3
Plus ou moins. Et par conception / définition. Le commentaire de SebGF résume très bien la problématique.
#4
D’ailleurs à ce propos les humains de chez NewsGuard cherchent à prendre en défaut ChatGPT et disent qu’ils obtiennent confirmation des défauts.
Ce genre d’outil est fait pour générer un contenu textuel en tant qu’assistant de l’humain : cela donne forcément de meilleurs résultats si l’humain cherche à travailler AVEC l’outil plutôt que CONTRE l’outil.
Un marteau, on s’en sert pour taper sur le clou, on n’essaie pas de lui scier le manche pour ensuite se plaindre qu’il soit trop court.
#5
Moi c’est l’inverse. GPT4 me donne davantage de fausses réponses, et surtout, il devient “borné” et s’entête dans ses mauvaises réponses, y compris quand on lui mets le nez dans son caca virtuel
#6
En effet, encore trop de sang dans la caféine qui m’a fait omettre ce passage ce matin, mes excuses sur ce point.
#7
Glisser la masse au milieu du manche permet de partager l’interface.
Faut-il alors s’attendre à des articles perspicaces ou profonds…
#8
Tout est dans le partage des tâches !
Sauf quand Mme & M. ne visent pas le même clou