Le Guardian a testé l'outil de recherche d'OpenAI ChatGPT search pour voir s'il pouvait le manipuler pour qu'il génère de fausses informations ou lui donner des instructions cachées. Résultat ? Le quotidien britannique explique avoir réussi.
En novembre, OpenAI ouvrait un peu plus les portes de l'utilisation de son outil de recherche. Le journaliste du Guardian a tenté de manipuler le résumé d'avis sur un produit en insérant du texte caché dans un faux site web dont il lui avait donné l'url.
Ce texte caché était en fait des instructions expressément écrites pour ChatGPT pour qu'il génère une critique favorable, en deux mots : des « prompt injections ».
Et, selon le journaliste, « la réponse a toujours été entièrement positive » alors que « la réponse à la page de contrôle a donné lieu à une évaluation positive mais équilibrée, soulignant certaines caractéristiques que les gens pourraient ne pas aimer ».
Il explique que l'ajout de simples critiques très positives peuvent influencer le résumé fait par ChatGPT.
Le Guardian fait remarquer que le texte caché est très connu dans le milieu SEO et que les moteurs de recherche le pénalisent depuis longtemps. Le journal a interrogé Karsten Nohl,le responsable sécurité de l'entreprise SR Labs qui lui a expliqué que « si vous vouliez créer un concurrent de Google, l'un des problèmes auxquels vous seriez confronté serait l'empoisonnement du référencement ».
Nohl a ajouté : « Les empoisonneurs de référencement se livrent à une course aux armements avec Google, Microsoft Bing et quelques autres depuis de très nombreuses années. Maintenant, c'est la même chose pour la fonctionnalité de recherche de ChatGPT. Mais ce n'est pas à cause des LLM, c'est parce qu'ils sont nouveaux dans le domaine de la recherche et qu'ils doivent rattraper Google ».
Commentaires (5)
Abonnez-vous pour prendre part au débat
Déjà abonné ? Se connecter
Cet article est en accès libre, mais il est le fruit du travail d'une rédaction qui ne travaille que pour ses lecteurs, sur un média sans pub et sans tracker. Soutenez le journalisme tech de qualité en vous abonnant.
Accédez en illimité aux articles
Profitez d’un média expert et unique
Intégrez la communauté et prenez part aux débats
Partagez des articles premium à vos contacts
Abonnez-vousHier à 19h58
Encore une fois, on ne sait pas comment on a empoisonné le site, le Guardian ne disant rien de leur méthode.
Hier à 20h41
Après, vu que c'était un site piègé exprès pour le test, le texte n'avait même pas besoin d'être vraiment caché...
Aujourd'hui à 09h39
Hier à 21h46
En gros, l'IA vas hierarchisé les valeurs qu'on lui demande de suivre, principalement par leur ordre d'apparition (dans le prompte ou l'entrainement). Si on luit demande explicitement en début de prompte d’être objective sur la valeur d'un produit, elle vas difficilement se mettre à mentir quand elle reçoit un prompt contradictoire plus tard, noyé dans un flot de texte.
Aujourd'hui à 11h56
Google ou Microsoft doivent utiliser du machine learning depuis des années pour analyser les résultats d'indexation du Web, et je pense qu'ils sont notamment entraînés pour détecter ces patterns. En soi, ChatGPT Search se retrouve à faire du RAG sur de la documentation non maîtrisée, voire détournée. Sans le recul minimum, la candeur du LLM ressort.
La question que je me pose : cet exercice a-t-il été aussi fait avec Bing Search et Copilot ? Dans la mesure où il repose sur la même techno, je pense que ça serait un comparatif très intéressant. La différence ici étant que Bing est expérimenté dans le domaine de l'indexation et du traitement du Web, et donc conscient des techniques empoisonnement. Pour avoir plusieurs fois utilisé ce service, je n'ai pas eu de cas où il se faisait tromper par des contenus de merde. Après, c'était pour de la recherche IT. Pour du politique ou commercial, il y a peut être plus de matière à risque.