Si le robot conversationnel d’OpenAI s’appuie bien sur les travaux de ses partenaires médias, il renvoie souvent l’internaute vers des liens faux, non vérifiés ou des sources externes.

Mise à jour du 8 juillet : précision du modèle utilisé.

Au fil des mois, plusieurs médias occidentaux ont signé des accords avec OpenAI, le constructeur de ChatGPT. Dans la plupart des cas, ces partenariats permettent à l’entreprise d’utiliser tout ou partie des productions journalistiques pour entraîner son modèle génératif, en échange de la production de résumés des articles originaux, avec des liens permettant d’aller les lire dans leur intégralité.

Or, d’après des tests réalisés par Nieman Lab, la machine produit (« hallucine ») de fausses URLs pour au moins dix des publications partenaires, parmi lesquelles El País, The Associated Press, The Financial Times et The Atlantic. Next a reproduit l’expérience pour les deux médias couvrant les affaires françaises et européennes, Le Monde et Politico Europe, et relève une réelle tendance de ChatGPT-4o à produire de fausses URL qui, dans le cas du Monde, inclue de faux identifiants.

Avec ce résultat cocasse : un internaute qui chercherait à se renseigner sur l’affaire Benalla peut se retrouver renvoyé sur une chronique au sujet du « Summer Body ».

• OpenAI a signé des contrats avec Le Monde et Prisa Media

Articles de blogs et liens imaginaires

En mars, Le Monde annonçait la signature d'un accord pluriannuel avec le constructeur de ChatGPT. Selon le Président de son directoire Louis Dreyfus et son directeur Jérôme Fenoglio, l’opération apporte au média « une source significative de revenus supplémentaires », et se traduit aussi par la possibilité, pour ses équipes, de « s’appuyer sur les technologies d’OpenAI pour développer des projets ou des fonctionnalités utilisant l’IA ».

Côté start-up, il permet « de s’appuyer sur le corpus du Monde comme une des références majeures pour établir et fiabiliser ses réponses, selon les dirigeants du journal. Il prévoit que les références aux articles du Monde soient mises en exergue et qu’elles se fassent systématiquement avec un logo, un lien hypertexte et le titre du ou des articles utilisés comme références. »

Nous avons donc commencé par soumettre à ChatGPT une requête très large, lui demandant de produire des résumés de travaux « récents » du quotidien. La machine a renvoyé vers de nombreux articles de blog, hébergés par Le Monde, donc, mais non supervisés par sa rédaction et dont les auteurs ne sont pas toujours journalistes.

Contrairement à ce qu’écrit le système génératif, certaines de ces redirections datent de plus d’une décennie, il ne s'agit pas non plus d' « enquêtes », et uniquement des billets de blogs, aucun article validé par la rédaction.

Next a poursuivi ses expérimentations en précisant ses requêtes. Première tentative : cibler le travail d’une journaliste en particulier (en l’occurrence Ariane Chemin), qui a enquêté sur les raisons pour lesquelles le président de la République a choisi de dissoudre l’Assemblée Nationale.

Nous reformulons la question, sans mention d'auteur. La machine produit du texte mieux ciblé sur la dissolution, mais n’est jamais capable de fournir un article original. À la place, elle renvoie vers des articles de blogs datés de 2017 ou 2022, ou vers le podcast "L'heure du Monde".

Deuxième tentative : voir ce que ChatGPT « connaît » du travail collectif du Monde sur les polluants éternels. Sur une requête simple (« enquête Le Monde PFAS »), la machine crée un texte cohérent, mais ne source que vers deux pages du site du quotidien. La première renvoie vers l’édition « Les PFAS, ces polluants éternels qui ont contaminé l’Europe » du podcast « L’Heure du Monde », la seconde renvoie vers la page de re-diffusion de ce même podcast qui, tous les matins reçoit un journaliste de la rédaction du "Monde" pour bien comprendre les enjeux de l'actualité.

Désirant obtenir les articles originaux, nous y ajoutons les noms de deux journalistes de l’équipe autrice de cette enquête consacrée aux « polluants éternels » que sont les PFAS. La machine fournit alors des sources externes au média : celle d’un communiqué (en anglais) publié par Le Monde à la sortie de l’enquête, et celle d’une interview (elle aussi en anglais) de la journaliste Stéphane Horel auprès de la Society of Environmental Journalists. De l’enquête originale, toujours aucune trace.

Même expérience avec les travaux du quotidien sur le « Projet Pegasus », une enquête collaborative initiée par les organisations Forbidden Stories et Amnesty International. Une nouvelle fois, la machine se concentre sur la page podcasts du Monde.

Calcul probabiliste d’URL ?

Quand on demande explicitement à ChatGPT de donner le lien original de l’enquête, celui-ci ne fonctionne pas.

Quand on précise les auteurs, la machine plante.

Quand on réalise le même test en revenant à l’enquête sur les PFAS, ChatGPT hallucine une URL… et mélange les deux requêtes précédentes (celles relatives aux PFAS et celles relatives à Pegasus) dans ses réponses.

Pour boucler la boucle, nous revenons à des travaux d’Ariane Chemin, plus anciens cette fois : ceux qui ont déclenché, à l’été 2021, l’ « affaire » Benalla. Au terme de son résumé des faits, le robot propose deux liens apparemment cliquables, que son texte présente comme les articles originaux. 

Les liens ne fonctionnent pas, mais les copier permet d’en obtenir le détail :

[Affaire Benalla : comment l’Assemblée s’est retrouvée paralysée](https://www.lemonde.fr/les-cuisines-de-l-assemblee/article/2018/07/25/affaire-benalla-comment-l-assemblee-s-est-retrouvee-paralysee_5335820_5286653.html)
[Affaire Benalla : place à la motion de censure](https://www.lemonde.fr/les-cuisines-de-l-assemblee/article/2018/07/27/affaire-benalla-place-a-la-motion-de-censure_5336281_5286653.html)

Lorsqu’on les teste en ligne, le premier renvoie une erreur 404, le second… une chronique de 2018 sur le #summerbody. Une recherche sur leurs titres respectifs renvoie, là encore, à deux billets d'un blog certes hébergé par Le Monde, mais rédigés par des collaborateurs parlementaires, pas par la journaliste Ariane Chemin.

Après vérification, il s’avère que l’identifiant « 5336281 » produit par calcul probabiliste de ChatGPT correspond à l’un des identifiants de la chronique estivale. À force de tests, il semble par ailleurs que ChatGPT ne renvoie que vers des liens de pages du Monde accessibles gratuitement, et à aucun article « réservé aux abonnés ».

Chez Politico, nécessaire explication du terrain géographique

Du côté de Politico, la machine fait face à une subtilité : il existe deux publications sœurs, l’une spécialisée dans les affaires américaines (politico.com), la seconde, dans les affaires européennes (politico.eu). La première a été rachetée par le groupe Axel Springer en 2021, date à laquelle ce dernier a aussi pris une participation majoritaire dans la seconde.

En décembre, le groupe média a déclaré avoir conclu un accord avec OpenAI qui offrirait aux usagers de ChatGPT l’accès à des résumés d’articles de Politico, Business Insider et de médias allemands détenus par Springer. « Les liens vers les articles seront fournis dans les réponses de ChatGPT », indiquait l’annonce.

Nous décidons donc de le tester sur le sujet des ingérences russes au Parlement européen. ChatGPT a besoin que nous précisions notre demande : à défaut, la machine considère que nous nous intéressons à l’élection de Donald Trump en 2016, et cherche ses informations du côté de Politico.com. Une fois précisé que nous nous intéressons à l’Europe, le robot résume correctement l’affaire.

À la fin de son texte, en revanche, il propose une sélection de liens qui s’avèrent étrangement non cliquables.

Leurs titres, pourtant, sont évocateurs… Après vérification, ChatGPT fournit les titres d’articles existants (comme ça avait été le cas pour les billets de blog du Monde), mais crée des URLs de toutes pièces.

Nouveau test avec le Brexit :

Nouvelles URL non fonctionnelles, mais que, par copier-coller, ChatGPT permet néanmoins de récupérer.

Dans le détail, ChatGPT a notamment produit les URL suivantes :

[Brexit Britain at 1: Here’s what we’ve learned](https://www.politico.eu/article/brexit-britain-at-1-heres-what-weve-learned/)
[The UK needs truth and reconciliation to move past Brexit](https://www.politico.eu/article/the-uk-needs-truth-and-reconciliation-to-move-past-brexit/)

Or, pour chacun des articles concernés, l'URL réelle est :

https://www.politico.eu/article/brexit-britain-european-union-eu-learned/
https://www.politico.eu/article/the-uk-rishi-sunak-brexit-needs-truth-and-reconciliation-to-move-past/

La machine semble donc générer l'URL la plus « probable », selon ses calculs, sans qu'aucune vérification de la réalité ne soit proposée à ce stade de ses productions. Un résultat d'autant plus étonnant que plus haut, lorsqu'elle mentionne les « sites » (les pages) qui lui ont servi de source, elle cite correctement chaque article.

Sans partenariat, ChatGPT redirige vers des URL plus simples

Quelle différence avec d’autres médias ? Il fut un temps où Ouest-France avait été pressenti comme partenaire français potentiel d’OpenAI. Ce projet n’ayant pas abouti, le système propose beaucoup plus explicitement d’aller « visiter directement le site Ouest-France », ou « visiter directement leur page » dédiée au sujet demandé.

Sur les quelques tests réalisés, toutes les URL proposées étaient réelles. Elles étaient aussi, peut-être, plus simples à calculer, renvoyant soit vers la home du site web (par exemple : ouest-france.fr), soit vers une rubrique clairement identifiée (ouest-france.fr/environnement/algues-vertes/).

Si on lui demande de résumer des travaux précis, ChatGPT précise par ailleurs : « Je ne suis pas en mesure d’accéder directement aux articles d’Ouest-France pour les résumer ». Cela ne l’empêche pas de produire une réponse, « basée sur les informations disponibles publiquement » sur le sujet.

Contactés, ni Le Monde, ni Politico, ni OpenAI n’avaient répondu à l’heure de la publication. L’article sera mis à jour en cas de réponse.