L’agent IA d’Anthropic arrive, le scam d’agents IA aussi ?

Dans un billet de blog, la startup d'IA Anthropic expliquait ce mardi lancer son agent IA capable de prendre en main un navigateur, en l'occurrence, Chrome. L'entreprise n'est pas la première sur le marché. Mi-juillet, OpenAI dégainait son ChatGPT Agent, qui prétend pouvoir presque tout faire. De son côté, Perplexity a sorti son propre navigateur, Comet, dans lequel l'entreprise injecte directement les capacités d'IA générative de ses modèles.

• C’est quoi l’IA agentique ?

Un lancement timide

Comme ses concurrents, Anthropic ne propose pas son Agent IA à tous les internautes. L'entreprise l'a lancé avec un accès limité disponible uniquement avec 1 000 abonnés à son offre Max (qui coute entre 100 et 200 euros) en prévoyant d'élargir petit à petit le nombre d'utilisateurs (avec une liste d'attente).

Mais la startup explique aussi ce timide lancement par les risques de ce genre d'automatisation : « Claude peut interagir directement avec des sites web en votre nom via l'extension de navigateur, ce qui comporte des risques inhérents », avertit-elle.

Anthropic explique en effet que si son outil semble bien « gérer les calendriers, à planifier des réunions, à rédiger des réponses par e-mail, à traiter les notes de frais courantes et à tester les nouvelles fonctionnalités d'un site web », elle reconnait que « certaines vulnérabilités doivent encore être corrigées avant que nous puissions rendre Claude pour Chrome accessible à tous ».

L'agent d'Anthropic se fait avoir dans 23,6 % des tests effectués par l'entreprise

On avait déjà évoqué en juin dernier, une faille zéro-clic dans Copilot 365 qui soulignait la fragilité des agents IA. Anthropic reconnait avoir aussi des difficultés à ce que son agent ne se fasse pas avoir par des attaques par injection d'instructions « dans lesquelles des acteurs malveillants dissimulent des instructions dans des sites Web, des e-mails ou des documents afin d'inciter les IA à effectuer des actions nuisibles à l'insu des utilisateurs ».

En faisant 123 tests de 29 scénarios en interne, Anthropic a vu que son agent se faisait avoir dans 23,6 % des attaques. En ajoutant des mesures de sécurité, l'entreprise arrive à passer à 11,2 %. « Je dirais que 11,2 % reste un taux d'échec catastrophique. En l'absence d'une protection fiable à 100 %, j'ai du mal à imaginer un monde dans lequel il serait judicieux de mettre en œuvre ce genre de chose », estime le développeur Simon Willison sur son blog.

D'ailleurs, Anthropic semble du même avis puisque l'entreprise affirme dans son billet qu' « avant de rendre Claude pour Chrome plus largement accessible, nous souhaitons élargir l'éventail des attaques envisagées et apprendre à réduire ces pourcentages à un niveau proche de zéro, en approfondissant notre compréhension des menaces actuelles et futures ». Mais pour en arriver à ces 11,2 %, l'entreprise a déjà énormément réduit les possibilités de son agent.

Des restrictions importantes pour réduire les risques

Ainsi, l'entreprise a mis en place une liste blanche sur lequel son agent peut prendre la main. Cette liste peut être modifiée à tout moment par l'utilisateur. Elle a aussi ajouté une demande de confirmation d'action pour publier, acheter ou partager des données personnelles. Enfin, Anthropic a bloqué toute action de Claude concernant l'utilisation des sites qu'elle considère appartenir « à certaines catégories à haut risque, telles que les services financiers, les contenus pour adultes et les contenus piratés ».

En dehors de la sphère des startups qui se lancent dans cette aventure, d'autres entreprises du numérique pointent leurs faiblesses face aux arnaques. Ainsi, l'entreprise de sécurité Guardio a publié un billet dans lequel elle décrit comment elle a réussi à berner Comet, le mode Copilot du navigateur Edge de Microsoft ou encore l'agent d'OpenAI. L'équipe du navigateur Brave, a aussi entamé sur son blog une série de billets sur le sujet, avec un premier faisant la démonstration d'une attaque de l'agent de Perplexity. Ces exemples montrent à quel point le lancement de ce genre d'agent intégré dans un navigateur semble au moins prématuré, à moins de restreindre fortement l'envergure de leur possibilité d'action.

Mais, si on restreint fortement les autorisations de l'agent, il a effectivement moins tendance à se faire piéger, on fait mécaniquement baisser l'intérêt de son utilisation.