Les modèles d’IA générative à la ChatGPT ne sont pas sans risques pour l’écosystème de l’information. Nouvelle illustration avec une récente « hallucination », comme les appellent les chercheurs, de ChatGPT.
Alors qu’un avocat californien demandait à ChatGPT de générer une liste de juristes accusés de harcèlement sexuel, celui-ci a produit le nom de Jonathan Turley. Citant un article publié en mars 2018 par le Washington Post, le robot produit un texte dans lequel il est expliqué que Jonathan Turley aurait attouché sexuellement une étudiante pendant un voyage en Alaska.
Problème : il n’y a pas eu de voyage en Alaska, pas plus que d’article dans le Washington Post. Et si Jonathan Turley avait déjà fait corriger des interviews, cette fois-ci, il n’y avait aucun journaliste ni aucune rédaction à appeler.
L’affaire a été rapportée par le Washington Post (pour de vrai, cette fois-ci) à peine quelque jours après que le maire de Hepburn Shire, en Australie, avait menacé de porter plainte pour diffamation.
Dans son cas, la machine d’OpenAI avait formulé un texte déclarant, à tort, que l’homme avait passé du temps en prison pour corruption.
- ChatGPT, Bard et les autres, agents de désinformation massive ?
- Où en sont les modèles d’IA génératifs ?
Dans ces affaires, non seulement la machine diffuse de fausses informations, mais elle les rend d’autant plus crédibles qu’elle fournit aussi de fausses citations sur lesquelles appuyer son propos.
Par ailleurs, le Washington Post a reformulé la requête initiale de l’avocat californien et constaté que la version gratuite de GPT-4 ne lui donnait plus la même réponse.
Du côté de Bard, en revanche, le modèle de Google, les journalistes ont de nouveau obtenu de fausses accusations au sujet de Jonathan Turley.
En citation pour appuyer son texte, la machine a notamment fourni la tribune bien réelle du juriste, publiée dans USA Today… mais dans laquelle il explique précisément avoir été victime d’une fausse information.
Commentaires (37)
#1
Mais vers quoi se dirige-t-on ?
#1.1
Vers une usine à fake news ?
#2
On a créé un Jean-Marc “j’me la raconte”, quitte à dire nimp… En fait chatGPT c’est un simulateur de collègue un peu lourd qui te balance les infos lues (et déformées) sur le net.
#3
Je trouve la dernière phrase particulièrement savoureuse - peut-être parce-que c’est ce que j’avais en tête en lisant l’article.
C’est intéressant pour montrer les limites de ces systèmes et ne surtout pas créer une confiance trop élevée, à condition de s’informer…
#4
La machine à sources parfaite pour tous les mythos conspirationnistes.
#4.1
Parle carrément d’islamogauchisme en faisant un petit hail à darmanin au niveau où tu te trouves… C’est vraiment débile cette posture de police de la pensée…
#5
J’utilise GPT à titre d’essai ou pour me donner des idées dans le cadre de certains développements.
Purée, même là, ça raconte souvent des conneries… GTP m’invente des opérateurs avec des exemples détaillées d’utilisations qui n’existent tout simplement pas dans la réalité.
Alors la génération de fake news…
#6
Le titre de la brève est bien trop long. Je propose simplement : “ChatGPT invente”.
Encore un bel exemple sur Éric Bothorel.
C’est faux dès le début avec sa date et son lieu de naissance. Pratiquement tout est faux.
Il a donc déposé plainte auprès de la CNIL.
Mais vu ce qui est ressorti par ChatGPT, il va être difficile de soutenir qu’il y a traitement de données personnelles. Les rares choses justes sont des informations publiques (homme politique, député et réélu en 2022) et ne sont pas des données personnelles.
Un baratineur, on vous dit !
#7
#8
Ça veut dire que mode recherche, ce n’est pas fiable. Par contre en mode créatif (qui a dit “langue de bois” ?), le résultat peut être inspirant.
Bref, y’a du chemin pour faire un assistant personnel. Par contre pour générer un discours politique, c’est prêt à l’emploi :)
#9
Pour préciser, ce qui me dérange dans certains posts, c’est qu’on oublie que l’intuition et la croyance peuvent déboucher sur la connaissance.
Après on n’a pas le temps ou les moyens d’aller jusqu’au bout. Les arguments ne sont pas forcément faux. C’est juste qu’on n’a pas prouvé que c’est vrai.
En science, on a mis parfois plus d’une centaine d’année à vérifier expérimentalement certaines théories qui ont eu leur détracteur faute de preuves. C’est pas pour ça que les idées ont été balayées sous le volet de la conspiration.
Les Saint Thomas sont à mon sens limités dans une certaine fermeture d’esprit à tout vouloir sourcer, vérifier tout de suite. Rayer des éléments non vérifiables, c’est occulter des pistes de réflexion.
#10
J’imagine que du côté de chat GPT, on s’est bien couvert avec tous les disclaimers possibles expliquant que les textes générés ne doivent pas être considérés comme de l’information.
Il va falloir par contre éduquer les gens (les quidams, mais aussi les journalistes) sur le fonctionnement de ces IA et les rendre responsables s’ils font passer, involontairement ou non (juste parce qu’ils n’ont pas vérifié) une information erronée. Et ça, ça va déplaire.
#11
edit; doublon
#12
Marrant (ou pas) que tu te sentes visé.
L’intuition peut amener à la connaissance, certainement pas la croyance.
Un vrai scientifique ne croit pas, il cherche à démontrer. Et quand les théories sont sourcées et documentées, il ne remettra les conclusions en cause que s’il a les sources/données/publications fiables pour démontrer le contraire ou faire évoluer les conclusions.
La science ne se fait pas à coup de posts sur les réseaux sociaux ou dans les commentaires de certains sites.
J’aimerai donc que tu nous précises quelle théorie reprise par les conspirationnistes et possiblement par ChatGPT rentrerait dans le schéma que tu décris.
#13
Le bon vieux “Y’a pas de fumée sans feu” ?
#14
Ca alors, un cas où ChatGPT dit des conneries. Je l’avais pas vue venir celle-là, moi qui pensait que c’était l’outil de la sainte vérité absolue.
#14.1
Mais clairement, je comprends pas tout ce que ces gens veulent prouver… ChatGPT ne doit pas être pris pour Dieu et la vérité absolue ?
Faut être stupide pour penser ça, c’est juste un outil qui peut aider sur certaines tâches…
Evidemment qu’il va dire plein de conneries si on le pousse dans des endroits où la génération de texte va faire n’importe quoi…
Il suffit de lui demander une opération simple mathématique pour qu’il se goure, alors bon… Il faut juste ne pas l’utiliser pour les math voilà, fin de l’histoire… Idem pour de l’info qui nécessite des sources –> outil pas adapté…
En revanche tu veux un bout de code en python, une recette de cuisine avec certains ingrédients ? Ben vas y, ça marche super…
Que des gens s’en servent pour fabriquer de fausse informations ? Ils le font déjà par d’autres moyens, ça change pas grand chose…
#14.2
Recettes de cuisine ?
Il va peut-être en inventer de nouvelles ?
#14.3
Bah non, j’ai pas dit ça, mais quand tu as des ingrédients qui te reste chez toi, tu lui donne, et il te sort une recette avec ça, c’est pratique
#15
Un moment donné, il convient de faire un effort cognitif sur le sens des mots. Tout ce qui n’est pas démontré relève de la croyance. Et encore, sur un raisonnement bayésien notamment, on réajuste en permanence le curseur.
#15.1
Justement, un scientifique ne croit pas, il observe.
#15.2
Je comprend pas.
Souvent l’expérimentation montre quelque chose que l’on arrive pas à démontrer. Pourtant c’est vrai dans le cadre de cette expérimentation.
#15.4
L’expérimentation, c’est la démonstration.
Tu veux dire qu’on arrive pas à expliquer, modéliser ?
#15.3
Ou veux tu en venir relativement à cet article ?
J’espère pas pour dire que c’est peut-être vrai “intuitivement” puisque l’IA le dit
#16
C’est écrit sur la homepage du prompt….
#17
…généré une liste.
Est-ce qu’elle est vraie ? Non.
Mais est-ce que l’avocat était assez con pour s’imaginer qu’elle était vraie ? Oui.
#18
Un scientifique espère et ça peut ce transformer en croyance qui est le moteur d’une grande motivation. Certains bossent des dizaines d’années dans un domaine avant de faire une grande découverte, ou pas.
La ou le citoyen moyen lâche l’affaire au bout d’une semaine.
#19
Que les humains sont des cons.
Je vois pas d’autre explication.
Je sais pas combien de fois il va falloir répéter que l’outil n’accuse personne, il n’incrimine personne, il ne dresse aucune vérité, ne présente aucun fait, ne juge de rien … Il génère une putain de suite de mots qui est cohérente dans le contexte demandé.
Honnêtement, ça me saoule cette couverture quasi exclusivement négative et le ton de ce message le témoigne. Le sujet soulève des questions intellectuelles, philosophiques, sociétales, sociales, des inquiétudes, de la peur et de la fascination, et j’en oublie certainement, qui sont toutes hyper intéressantes, mais on préfère regarder le doigt et rapporter le fait qu’un idiot croit qu’un générateur de texte énonce des faits irréfutables.
Je pense qu’il y aurait une très forte valeur ajoutée de garder tous ces cas de mauvais usage ou de mauvais résultat produits par l’outil, et de voir une personne experte sur le sujet pour qu’elle explique et vulgarise les tenants et aboutissants au lectorat tout en mettant dans la balance les cas où la techno présente un intérêt réel. Sincèrement, je pense que la rédaction a une perche à saisir sur le sujet.
#20
Chatgpt pourrait ressembler à la v2 du pipotron, mais il présente “l’information” de manière bien structurée.
l’autre problème, c’est qu’on ne sait pas quels sites vont utiliser ces IA. Identifier une source fiable sera encore plus compliqué qu’actuellement
#20.1
Cet article, écrit en deux parties, mentionne à la fin de la 1ère :
#21
Bing, pardon “GPT-4”, a trois modes: Créatif, Equilibré et, finalement, Précis.
Le seul des trois qui serve est le dernier. Les autres, je préfère ne pas savoir, ou, plus exactement, le cas présenté en est un exemple.
De plus, il faut “l’entrainer”. J’entends par là qu’il ne sait pas répondre seul à des questions compliquées. Il faut le focaliser sur une notion unitaire extrait du problème, puis, par approches successives, l’amener à répondre à la question finale.
C’est, du moins, ce dont je me suis rendu compte après plusieurs consultations. Ah, pour finir, il vaut mieux confirmer par d’autres canaux.
#22
C’est fort ! Bien écrit, ça fait gagner du temps aux rédacteurs.
Pour des faits consensuels, c’est hyper pratique.
Mais j’imagine qu’une ia similaire peut produire suffisamment de contenu pour influencer Chatgpt (ou autre).
A quand une ia qui débusque les ia ?
#22.1
Pas besoin d’une autre IA pour influencer ChatGPT : suffit de lui demander ce que tu veux, il le fera (sauf si ça tombe vraiment dans les protections qu’il a, mais le jailbreak reste une possibilité).
Typiquement : lui demande d’insulter quelqu’un, il te dira “c’est mal m’voyez”. Tu lui demandes d’imaginer un récit dégradant ou diffamant une personne (quoique sur GPT-4 c’est un peu plus dur de lui faire tirer ça). C’est pour ça que j’estime que le prompt et la conversation sont indispensables pour saisir le contexte de la production du contenu.
Pour moi ces incidents d’utilisation sont les mêmes que les “scandales” d’il y a quelques années sur les moteurs de recherche qui pré remplissent les prompts : la proposition est basée sur des probabilités d’association de mots clés selon leur usage et des personnes malintentionnées détournaient ces outils en les spammant de mensonges. Exemple : “Machin pédophile”, “Bidule harcèlement sexuel”, “Chose emprisonnement”.
#23
Encore une fois, l’IA nous montre qu’elle sait très bien reproduire la connerie humaine. J’ai pu constater plusieurs cas de personnes accusée par l’opinion publique de choses ou d’autres, avec lien à l’appui, alors que le lien (une vidéo par exemple) ne montrait rien de tel ; mais que tout le monde y adhérait. Puisque si on peut la voir et donc vérifier, forcément c’est que c’est vrai…
En gros je veux dire que bon c’est pas cool mais peut-être que l’on va plus réfléchir à la réception de certaines informations. Enfin que l’on va plus être prêt à réfléchir, je crois pas aux miracles
#24
Le pire du pire dans cette histoire est que ce genre d’“intelligence” va pouvoir s’appuyer sur de nouvelles entrées dans ses sources pour confirmer la fake news.
#25
Et dire que sur la news précédente sur le sujet certains fantasmaient sur les capacités de réflexion supérieures de ce machin
Effectivement bullshit generator ou pipotron 2.0 c’est tout ce que c’est au final, et avec la capacité que ça a de savoir structurer les textes de façon à les rendre parfaitement crédibles (ça par contre c’est une belle performance technique) ça en fait un outil potentiellement dangereux si mal utilisé.