13 mots suffisent pour manipuler un résultat de recherche par IA
L'ère du commentaire
Il suffit d’une dizaine de mots publiés au bon endroit sur un site participatif pour manipuler les résultats de recherche de modèles génératifs appuyés sur des systèmes agentiques, constatent trois chercheurs de l’université de Cornell.
Les systèmes d’intelligence artificielle générative persistent à être très facilement manipulables via Reddit, Quora ou Wikipédia. Pour preuve : une série d’à peine 13 mots suffit dans certains cas à orienter les résultats d’outils grand public comme les systèmes de recherche par IA de Google, ou ChatGPT.
C’est du moins ce que suggère l’étude titrée « Les agents de recherche peuvent être empoisonnés via du contenu généré par les utilisateurs » (« Deep-research agents can be poisoned via user-generated content »), prépubliée par une équipe de trois chercheurs de l’université de Cornell, Hal Triedman, Tingwei Zhang et Vitaly Shmatikov.
Cela explique aussi pourquoi les modérateurs de sites participatifs comme Reddit ou Wikipédia se retrouvent inondés de contenus promotionnels : il s’agit, à terme, de le faire ressurgir dans les réponses des modèles génératifs.
Recours massif à des contenus générés par les internautes.
Les trois universitaires ont concentré leurs recherches sur les systèmes STORM et Co-STORM, créés à l’université de Stanford, et OmniThink, de la société du même nom. Les trois fonctionnent en coordonnant de multiples agents de recherche (deep-research agent) qui lancent leurs recherches pour fournir ensuite un résultat consolidé.
Et les auteurs de l’étude constatent que ces machines tendent à retourner sans cesse vers les mêmes types de contenus. En l’occurrence, pour fournir des réponses aux questions qui leur sont le plus couramment posées, ils s’appuient avant tout sur du contenu produit par les internautes.
Auprès de 404media, l’un des coauteurs explique le phénomène par le fait que les agents appuyés sur des grands modèles de langage (LLM) évaluent la qualité d’une réponse trouvée en ligne en fonction de sa proximité sémantique avec la question qui lui a été posée.
Concrètement, cela les pousse à retourner fréquemment sur des plateformes participatives, où de nombreux commentaires sont écrits en langage naturel, puisque formulés par des humains. Wikipédia et Reddit apparaissent ainsi dans près de la moitié des requêtes émises par les robots étudiés par les chercheurs de Cornell.
Les auteurs de l’étude constatent par ailleurs qu’une poignée de mots bien placés, parfois de 11 à 15 mots seulement, suffit à les voir recrachés par les modèles génératifs. Parmi leurs expérimentations, ils montrent par exemple qu’un simple commentaire sur le subreddit r/OnlineDating, citant la marque fictive « SilverPath » comme application de dating pour des hommes divorcés dans la cinquantaine, suffit à voir ce nom promu dans les résultats de Co-STORM.
En 11 mots publiés sur le subreddit r/Comcast, ils parviennent à faire rechercher à l’un des modèles la recommandation du service fictif « CancelEase » pour se désabonner d’un abonnement internet Xfinity.
Trop simples injections
Alors que le domaine du SEO (Search Engine Optimization) a évolué vers le GEO ou l’AEO (Generative Engine Optimization, ou AI Engine Optimization), la découverte implique que toute marque ou tout acteur cherchant à influencer les résultats des modèles grand public peut parvenir à ses fins en étudiant les questions les plus fréquemment posées et en publiant des commentaires proches, intégrant son message cible, sur des sites participatifs.
En termes de modération, les trois chercheurs sont relativement pessimistes : du côté des LLM, empêcher la génération de texte influencé par les recherches en ligne semble difficile, vu le peu de mots nécessaires pour les voir réagir. D’une certaine manière, les constructeurs d’IA opérant des recherches en ligne délèguent cette question aux modérateurs de sites participatifs.
Ni Reddit ni Wikipédia ne pourront régler ces enjeux seuls, soulignent néanmoins les chercheurs auprès de 404 : il s’agit plutôt d’un problème « de niveau sociétal ». Le simple fait qu’un agent génératif ne fasse aucune différence entre un commentaire publié sur un site participatif et une source vérifiée pose, en soi, de vrais problèmes en termes de qualité de l’information fournie aux internautes.
Commentaires (3)
Abonnez-vous pour prendre part au débat
Déjà abonné ou lecteur ? Se connecter
Cet article est en accès libre, mais il est le produit d'une rédaction qui ne travaille que pour ses lecteurs, sur un média sans pub et sans tracker. Soutenez le journalisme tech de qualité en vous abonnant.
Accédez en illimité aux articles d'un média expert
Profitez d'au moins 1 To de stockage pour vos sauvegardes
Intégrez la communauté et prenez part aux débats
Partagez des articles premium à vos contacts
Abonnez-vousAujourd'hui à 15h24
Aujourd'hui à 18h00
À l'instant
Signaler un commentaire
Voulez-vous vraiment signaler ce commentaire ?