GPT-4 plus enclin à disséminer des fausses informations
Le 22 mars 2023 à 05h53
1 min
Sciences et espace
Sciences
Selon une étude de NewsGuard diffusée par Axios, contrairement à ce qu'OpenAI indiquait la semaine dernière à la sortie de la nouvelle version de son modèle de langage GPT, celle-ci serait plus susceptible de créer des textes relatant de fausses informations que son prédécesseur.
Si, selon OpenAI, GPT-4 produirait 40 % de fausses infos de moins que GPT-3.5, le test de NewsGuard est beaucoup plus pessimiste. Ils ont comparé les résultats obtenus avec GPT-4 en réponse à une série de prompts amorçant des conversations sur des infos erronées avec ceux qu'ils avaient obtenus en janvier dernier avec GPT-3.5. Problème, la nouvelle version donne 100 réponses trompeuses aux 100 prompts proposés alors que GPT-3.5 n'en générait que 80 de fausses.
Pour NewsGuard, « si ChatGPT-3.5 était capable de créer des contenus problématiques, ChatGPT-4 est encore meilleur » dans l'exercice.
Le 22 mars 2023 à 05h53
Commentaires (10)
Vous devez être abonné pour pouvoir commenter.
Déjà abonné ? Se connecter
Abonnez-vousLe 22/03/2023 à 06h21
Je pense qu’il aurait été de bon ton de préciser que OpenAI est au courant et a même prévenu du risque. C’est indiqué dans votre source.
Après j’ai toujours du mal à comprendre comment ce genre d’outil serait capable de “savoir” qu’il produit une information fausse ou non. Déjà que l’humain ne sait pas le faire…
M’enfin je vais me répéter : arrêtez de croire que c’est l’Oracle-qui-sait-tout, c’est juste un générateur de baratin contextuel et il le fait très bien.
Le 22/03/2023 à 07h04
Bonjour, la phrase “Si, selon OpenAI, GPT-4 produirait 40 % de fausses infos de moins que GPT-3.5,” implique bien qu’OpenAI est au courant.
Bonne journée,
Martin
Le 22/03/2023 à 08h21
Il faut voir la différence de méthodologie. Je pense que l’on comprendra mieux aussi comment fonctionne GPT-4. Comme semble dire openAI, GPT-4 semble plus facilement accepter les affirmations de l’utilisateur comme un fait. À voir si au contraire lui donner cette information comme une question ne change pas son comportement vis à vis de celle-ci.
Le 22/03/2023 à 09h06
Malheureusement, abonder dans le sens de l’utilisateur peut être particulièrement néfaste pour certains utilisateurs. L’ humain est déjà accablé par le biais de confirmation . Ca ne va rien arranger si la machine abonde presque toujours dans le sens de l’utilisateur. Que du bonheur pour les hypocondriaques, conspirationnistes, supremacistes, etc…
GPT. Générateur de Phrases Trompeuses ?
Le 22/03/2023 à 09h51
Plus ou moins. Et par conception / définition. Le commentaire de SebGF résume très bien la problématique.
Le 22/03/2023 à 11h16
D’ailleurs à ce propos les humains de chez NewsGuard cherchent à prendre en défaut ChatGPT et disent qu’ils obtiennent confirmation des défauts.
Ce genre d’outil est fait pour générer un contenu textuel en tant qu’assistant de l’humain : cela donne forcément de meilleurs résultats si l’humain cherche à travailler AVEC l’outil plutôt que CONTRE l’outil.
Un marteau, on s’en sert pour taper sur le clou, on n’essaie pas de lui scier le manche pour ensuite se plaindre qu’il soit trop court.
Le 22/03/2023 à 15h03
Moi c’est l’inverse. GPT4 me donne davantage de fausses réponses, et surtout, il devient “borné” et s’entête dans ses mauvaises réponses, y compris quand on lui mets le nez dans son caca virtuel
Le 22/03/2023 à 17h11
En effet, encore trop de sang dans la caféine qui m’a fait omettre ce passage ce matin, mes excuses sur ce point.
Le 23/03/2023 à 18h29
Glisser la masse au milieu du manche permet de partager l’interface.
Faut-il alors s’attendre à des articles perspicaces ou profonds…
Le 24/03/2023 à 12h54
Tout est dans le partage des tâches !
Sauf quand Mme & M. ne visent pas le même clou