Claude Code est utilisé pour automatiser des cyberattaques

Certains clients des entreprises d'IA générative veulent profiter de leurs outils pour monter plus facilement des cyberattaques. Il y a un mois, OpenAI expliquait avoir banni des comptes chinois cherchant à surveiller les réseaux sociaux.

C'est maintenant au tour d'Anthropic de publier un rapport sur le sujet. Ici, l'entreprise explique avoir détecté à la mi-septembre ce qu'elle qualifie d' « opération de cyberespionnage sophistiquée » conduite par un groupe de hackers (qu'elle nomme GTG-1002) soutenu par l'État chinois.

Claude utilisé comme Agent pour concevoir une grande partie des attaques

« Les pirates ont utilisé les capacités "agentiques" de l'IA à un degré sans précédent, utilisant l'IA non seulement comme conseiller, mais aussi pour exécuter eux-mêmes les cyberattaques », affirme Anthropic.

Sans indiquer si c'est une mesure au doigt mouillé ou un calcul plus précis, Anthropic affirme qu'ils ont « pu utiliser l'IA pour mener à bien 80 à 90 % de la campagne, l'intervention humaine n'étant nécessaire que de manière sporadique (peut-être 4 à 6 points de décision critiques par campagne de piratage) ». Elle indique quand même que « la quantité de travail effectuée par l'IA aurait pris énormément de temps à une équipe humaine. Au plus fort de son attaque, l'IA a effectué des milliers de requêtes, souvent plusieurs par seconde, une vitesse d'attaque qui aurait été tout simplement impossible à égaler pour des pirates informatiques humains ». Si Anthropic « vend » les capacités de son IA à faire des milliers de requêtes, rappelons que l'automatisation des cyberattaques ne date pas d'aujourd'hui : on connait déjà depuis des années des attaques DdoS submergeant des systèmes informatiques de requêtes ou de données.

L'entreprise explique avoir lancé une enquête dès qu'elle a détecté l'activité suspicieuse. Anthropic indique que cette enquête a duré 10 jours pendant lesquels elle a petit à petit banni les comptes utilisés, informé les cibles concernées et travaillé avec les autorités.

Selon Anthropic, Claude Code a été utilisé pendant les cinq phases de l'attaque, de la mise en place et la sélection des cibles à l'extraction des données intéressantes, en passant par les phases de recherche de vulnérabilités des infrastructures ciblées et celle de collecte d'identifiants utiles pour s'infiltrer.

Dans son rapport, l'entreprise fournit des exemples de séquences de mise en place du système avec les tâches effectuées par Claude et celles de l'utilisateur humain :

Un découpage des tâches pour passer les sécurités de Claude

Pour mettre en place leur projet, les pirates ont dû passer les sécurités mises en place dans Claude par Anthropic pour bloquer les attaques. L'entreprise avoue qu'ils ont pu cacher leur projet simplement en découpant les attaques en petites tâches paraissant anodines, ce qui coupait Claude du contexte complet des attaques. « Ils ont également dit à Claude qu'il s'agissait d'un employé d'une entreprise de cybersécurité légitime et qu'il était utilisé dans le cadre de tests défensifs », affirme l'entreprise.

Dans son billet, Anthropic constate qu'avec des outils comme Claude, « les barrières pour réaliser des cyberattaques sophistiquées se sont abaissées énormément » et elle prévoit que cette baisse va continuer. « Des groupes moins expérimentés et disposant de moins de ressources peuvent désormais potentiellement mener des attaques à grande échelle de cette nature », assure-t-elle.

De quoi abandonner le développement de Claude ? L'entreprise se pose elle-même la question : « si les modèles d'IA peuvent être détournés à des fins de cyberattaques à cette échelle, pourquoi continuer à les développer et à les commercialiser ? ». Mais elle se reprend très vite : « La réponse est que les capacités mêmes qui permettent à Claude d'être utilisé dans ces attaques le rendent également indispensable pour la cyberdéfense ». Claude aurait alors une place de choix dans la course aux armements.