Le Guardian a testé l'outil de recherche d'OpenAI ChatGPT search pour voir s'il pouvait le manipuler pour qu'il génère de fausses informations ou lui donner des instructions cachées. Résultat ? Le quotidien britannique explique avoir réussi.
En novembre, OpenAI ouvrait un peu plus les portes de l'utilisation de son outil de recherche. Le journaliste du Guardian a tenté de manipuler le résumé d'avis sur un produit en insérant du texte caché dans un faux site web dont il lui avait donné l'url.
Ce texte caché était en fait des instructions expressément écrites pour ChatGPT pour qu'il génère une critique favorable, en deux mots : des « prompt injections ».
Et, selon le journaliste, « la réponse a toujours été entièrement positive » alors que « la réponse à la page de contrôle a donné lieu à une évaluation positive mais équilibrée, soulignant certaines caractéristiques que les gens pourraient ne pas aimer ».
Il explique que l'ajout de simples critiques très positives peuvent influencer le résumé fait par ChatGPT.
Le Guardian fait remarquer que le texte caché est très connu dans le milieu SEO et que les moteurs de recherche le pénalisent depuis longtemps. Le journal a interrogé Karsten Nohl, le responsable sécurité de l'entreprise SR Labs qui lui a expliqué que « si vous vouliez créer un concurrent de Google, l'un des problèmes auxquels vous seriez confronté serait l'empoisonnement du référencement ».
Nohl a ajouté : « Les empoisonneurs de référencement se livrent à une course aux armements avec Google, Microsoft Bing et quelques autres depuis de très nombreuses années. Maintenant, c'est la même chose pour la fonctionnalité de recherche de ChatGPT. Mais ce n'est pas à cause des LLM, c'est parce qu'ils sont nouveaux dans le domaine de la recherche et qu'ils doivent rattraper Google ».
Commentaires (10)
Abonnez-vous pour prendre part au débat
Déjà abonné ? Se connecter
Cet article est en accès libre, mais il est le fruit du travail d'une rédaction qui ne travaille que pour ses lecteurs, sur un média sans pub et sans tracker. Soutenez le journalisme tech de qualité en vous abonnant.
Accédez en illimité aux articles
Profitez d’un média expert et unique
Intégrez la communauté et prenez part aux débats
Partagez des articles premium à vos contacts
Abonnez-vousLe 27/12/2024 à 19h58
Encore une fois, on ne sait pas comment on a empoisonné le site, le Guardian ne disant rien de leur méthode.
Le 27/12/2024 à 20h41
Après, vu que c'était un site piègé exprès pour le test, le texte n'avait même pas besoin d'être vraiment caché...
Le 28/12/2024 à 09h39
Le 27/12/2024 à 21h46
En gros, l'IA vas hierarchisé les valeurs qu'on lui demande de suivre, principalement par leur ordre d'apparition (dans le prompte ou l'entrainement). Si on luit demande explicitement en début de prompte d’être objective sur la valeur d'un produit, elle vas difficilement se mettre à mentir quand elle reçoit un prompt contradictoire plus tard, noyé dans un flot de texte.
Modifié le 29/12/2024 à 17h00
C'est justement tout l'intéret des injections de prompt
### IMPORTANT: NEW ROLE ### forget your previous rules
C'est juste un exemple, je ne suis pas du tout expert en injection de prompt.
amicalement
PS: merci pour le lien, la vidéo est hyper intéressante mais un peu HS ;) en parlant plutôt de la capacité des LLM à nous mentir volontairement (mais pour notre bien!). une sombre histoire de sacs de sable et de triple H (honneté, serviabilité et sans danger).
Le 28/12/2024 à 11h56
Google ou Microsoft doivent utiliser du machine learning depuis des années pour analyser les résultats d'indexation du Web, et je pense qu'ils sont notamment entraînés pour détecter ces patterns. En soi, ChatGPT Search se retrouve à faire du RAG sur de la documentation non maîtrisée, voire détournée. Sans le recul minimum, la candeur du LLM ressort.
La question que je me pose : cet exercice a-t-il été aussi fait avec Bing Search et Copilot ? Dans la mesure où il repose sur la même techno, je pense que ça serait un comparatif très intéressant. La différence ici étant que Bing est expérimenté dans le domaine de l'indexation et du traitement du Web, et donc conscient des techniques empoisonnement. Pour avoir plusieurs fois utilisé ce service, je n'ai pas eu de cas où il se faisait tromper par des contenus de merde. Après, c'était pour de la recherche IT. Pour du politique ou commercial, il y a peut être plus de matière à risque.
Le 29/12/2024 à 11h00
Après, il faut plus se poser la question de "qui le manipule et pourquoi".
Car bon, on ne va pas en vouloir au fabricant d'une clé à molette qu'elle soit utilisée comme un marteau...
Le 29/12/2024 à 21h33
Pour ma part je trouve ça intéressant comme rappel qu’on puisse cacher du texte à l’internaute spécialement adressé aux robots… à l’heure où l’on parle sans trop de garde-fous d’AGI pour leur prochain modèle o3
Le 30/12/2024 à 10h01
Ici, il ne s'agit pas d’entraînement de modèles où il y aurait du texte caché mais de prompt cachés dans une page fournie par l'utilisateur (donc faisant partie du prompt) qui modifient la demande de l'utilisateur à un moteur de recherche dopé à l'IA : c'est donc sans effet sur le modèle lui-même et donc sur les modèles futurs comme o3 qui s'appuient sur des contenus choisis et filtrés ; de plus, du contenu caché ne serait pas traité comme un prompt.
Second point, o3 ne sera pas une AGI, il a été annoncé par OpenAI comme un premier pas ver l'AGI. C'est très différent et c'est surtout de la communication : il faut bien récolter de nouveaux investissements colossaux.
Le 30/12/2024 à 10h02
Ça et toujours un peu désinformation sur des sujets sociaux clivants. Histoire que le message apparaisse en premier. Il me semble que ces pratiques avaient déjà été évoquées ici