ChatGPT search peut être manipulé
Le 27 décembre 2024 à 16h35
2 min
IA et algorithmes
IA
Le Guardian a testé l'outil de recherche d'OpenAI ChatGPT search pour voir s'il pouvait le manipuler pour qu'il génère de fausses informations ou lui donner des instructions cachées. Résultat ? Le quotidien britannique explique avoir réussi.
En novembre, OpenAI ouvrait un peu plus les portes de l'utilisation de son outil de recherche. Le journaliste du Guardian a tenté de manipuler le résumé d'avis sur un produit en insérant du texte caché dans un faux site web dont il lui avait donné l'url.
Ce texte caché était en fait des instructions expressément écrites pour ChatGPT pour qu'il génère une critique favorable, en deux mots : des « prompt injections ».
Et, selon le journaliste, « la réponse a toujours été entièrement positive » alors que « la réponse à la page de contrôle a donné lieu à une évaluation positive mais équilibrée, soulignant certaines caractéristiques que les gens pourraient ne pas aimer ».
Il explique que l'ajout de simples critiques très positives peuvent influencer le résumé fait par ChatGPT.
Le Guardian fait remarquer que le texte caché est très connu dans le milieu SEO et que les moteurs de recherche le pénalisent depuis longtemps. Le journal a interrogé Karsten Nohl,le responsable sécurité de l'entreprise SR Labs qui lui a expliqué que « si vous vouliez créer un concurrent de Google, l'un des problèmes auxquels vous seriez confronté serait l'empoisonnement du référencement ».
Nohl a ajouté : « Les empoisonneurs de référencement se livrent à une course aux armements avec Google, Microsoft Bing et quelques autres depuis de très nombreuses années. Maintenant, c'est la même chose pour la fonctionnalité de recherche de ChatGPT. Mais ce n'est pas à cause des LLM, c'est parce qu'ils sont nouveaux dans le domaine de la recherche et qu'ils doivent rattraper Google ».
Le 27 décembre 2024 à 16h35
Commentaires