Non, les agents IA d’OpenAI et Anthropic ne menacent pas vraiment la cybersécurité
Pompiers pyromanes
Un nombre croissant de professionnels de la cybersécurité déplorent la façon « IApocalyptique » qu’ont OpenAI, Anthropic et de nombreuses entreprises des Big Tech’ de présenter les capacités des agents IA en matière de cyberattaques. À l’instar de la NSA, ils estiment qu’une bonne « hygiène » en matière de cybersécurité devrait suffire à s’en prémunir.
Début avril, Anthropic dévoilait Mythos, son modèle de langage IA dédié à la cybersécurité, qu’elle disait être si puissant qu’elle en réservait l’accès à une cinquantaine d’organismes états-uniens. À l’époque, elle promettait de rendre compte publiquement des enseignements tirés « d’ici 90 jours », ce qu’elle n’a toujours pas fait, cinq mois plus tard.
Mi-juillet, une armée d’agents IA d’OpenAI parvenait à s’évader du « bac à sable » où ils étaient censés être confinés, mais également à communiquer entre eux (alors qu’ils étaient aussi censés être isolés), avant de coordonner une cyberattaque contre Hugging Face que la majeure partie des médias ont chroniquée à la manière d’un scénario de science-fiction (nous y reviendrons, dans un second article).
La semaine passée, OpenAI a publié une lettre ouverte, cosignée par Anthropic et une centaine d’entreprises de l’IA, de la cybersécurité et des Big Tech’. Elle appelle à « un renforcement mondial de la cyberdéfense », au motif que les cyberattaques menées par des agents IA vont déferler « au cours des prochains mois ».
L’IA ne révolutionne pas (encore) fondamentalement la cybercriminalité
Co-signée par une centaine d’entreprises phares des Big Tech’ et de l’IA (dont Anthropic, AWS, Check Point, Cisco, Cloudflare, CrowdStrike, Firefox, GitHub, Google, HackerOne, Hugging Face, IBM, Microsoft, Oracle, Palo Alto Networks, Red Hat ou Zscaler), la « lettre ouverte en faveur d’une action collective [et] d’un renforcement mondial de la cyberdéfense » d’OpenAI avance que « Nous disposons d’une marge de manœuvre limitée pour renforcer nos cyberdéfenses » :
« Au cours des prochains mois, les cyberattaques basées sur l’IA deviendront bien plus répandues et sophistiquées, à mesure que les modèles utilisés à travers le monde gagneront en puissance. Les entreprises et les services publics dont dépendent nos communautés — des hôpitaux aux stations d’épuration, en passant par les infrastructures qui alimentent Internet — sont menacés [les tirets cadratins émanent du communiqué en anglais, ndlr]. »
Tirant sur la corde sensible, elle pointe opportunément du doigt les « services publics, hôpitaux et stations d’épuration ». Elle ne précise pas cependant que les attaques très sophistiquées menées par les IA agentiques coûtent une fortune en puissance de calcul et en tokens API, et qu’il est peu probable que les pirates informatiques parviennent à en payer le prix « au cours des prochains mois ».
Un article publié la semaine passée dans le Royal United Services Institute (RUSI) et consacré aux « business models » des ransomwares avance en outre que « l’IA ne révolutionne pas (encore) fondamentalement la cybercriminalité ». Ceux qui postulent le contraire « partent d’une hypothèse erronée quant aux motivations des cybercriminels » :
« L’histoire de la cybercriminalité moderne met en évidence deux éléments. Premièrement, le comportement des cybercriminels a été davantage motivé par l’innovation en matière de modèles économiques que par leurs capacités techniques. Deuxièmement, les cybercriminels ont tendance à innover lorsqu’ils y sont contraints, et non pas simplement parce qu’une nouvelle technologie devient disponible. »
« La plupart des cybercriminels ne sont pas des innovateurs, mais des suiveurs », renchérissent ses auteurs. Ils soulignent que « c’est l’argent – et non la technologie – qui est le principal moteur du changement au sein de l’écosystème de la cybercriminalité, et il y a peu d’intérêt financier à consacrer du temps et à prendre le risque d’innover lorsqu’on dispose déjà d’une solution qui fonctionne ».
Les cyberattaques documentées ces derniers mois reposent ainsi majoritairement sur des vols de sessions via des infostealers, d’identifiants/mots de passe en ciblant des utilisateurs par ingénierie sociale, ou des failles de sécurité non corrigées. Elles émanent en bonne partie de jeunes de moins de 25 ans qui, s’ils recourent à l’IA, ne disposent pas de budgets de type « tokenmaxxing », contrairement à OpenAI, Anthropic et autres acteurs des Big Tech’.
- [MàJ] Vols de données : des pirates de moins de 25 ans, seuls dans leurs chambres
- Tokenmaxxing : quand les salariés d’Amazon brûlent des tokens pour se faire bien voir
Les signataires de la lettre ouverte déplorent que les équipes de cybersécurité « ont toujours manqué de moyens et ont besoin d’un renforcement considérable de leurs outils et ressources ». Ils appellent dès lors à les doter de plus de moyens, « grâce à une IA spécialisée dans la cybersécurité », quand bien même le recours à l’IA agentique peut coûter plus cher que de payer des employés humains.
La lettre ouverte appelle également les entreprises pionnières en matière de « modèle frontière » (ou « modèle de pointe ») dans le domaine de l’IA à offrir « un accès responsable à leurs modèles, des financements importants, des formations et un accompagnement concret, en particulier aux responsables de la protection des infrastructures critiques disposant de ressources limitées ».
Sauf qu’en l’espèce, le projet Glasswing d’Anthropic, qui donne accès à Mythos, n’a initialement été proposé qu’à un peu plus de 50 entreprises et organisations états-uniennes. S’il a depuis été élargi à 150 organisations dans plus de 15 pays, les États-Unis y restent largement majoritaires.
« Grâce à l’IA, attaquer est devenu abordable pour tout le monde, tandis que se défendre n’est à la portée que des plus fortunés », relève pour sa part Tarah Wheeler, qui préside le comité d’audit du conseil d’administration de l’Electronic Frontier Foundation. Elle souligne qu’ « Anthropic nous avait annoncé qu’un rapport de transparence concernant Glasswing serait publié 90 jours après son lancement, le 8 avril dernier », ce que l’entreprise n’a toujours pas fait.
Se protéger contre d’imaginaires super-hackers dotés d’une IA « agentique » ?
Au vu du nombre et de la qualité de ses signataires, la lettre ouverte a été très largement reprise telle quelle dans les médias, mais étonnamment très peu recontextualisée ni décryptée à l’aune de ce qu’en pensent les professionnels de la cybersécurité.
Plusieurs d’entre eux dénoncent pourtant une forme de panique morale ne reposant pas sur des menaces avérées et réellement exploitées par les pirates informatiques. Des menaces d’autant plus hypothétiques que les pirates n’ont ni accès aux modèles de langage dédiés à la cybersécurité d’OpenAI et d’Anthropic, ni aux budgets colossaux nécessaires pour les exploiter, et qui se chiffrent facilement en centaines de milliers de dollars.
Commentaires (14)
Le 7 septembre à 16h40
Le 7 septembre à 17h14
Le 7 septembre à 17h22
Le 7 septembre à 17h33
Modifié le 7 septembre à 17h23
Et pour sécuriser un système, on n'attend pas la vulnérabilité qui vous tombe dessus et qu'il faut patcher en urgence : on réfléchit, on applique les bases, on sécurise en profondeur, on sanctuarise, on isole, etc. Peu me chaut de savoir combien de vulnérabilités inapplicables dans mon contexte vont me tomber dessus !
Mythos et autres ne sont que des révélateurs de notre impréparation à la sécurité : on estime pour l'instant que seulement 1,5% des vulnérabilités sont exploitées, notamment parce qu'elles peuvent être trop complexes (ce qui n'empêche pas une IA de trouver le mode opératoire, il est vrai) ou trop coûteuses (c'est le nerf de la guerre) ou peu utiles. Donc nous sommes déjà submergés de CVE, les LLM ne feront que grossir le stock. Or le prix de leur découverte et de leur exploitation constitue encore un filtre naturel pour les attaquants. Le paysage ne change pas fondamentalement, car on en est encore à lutter pour modifier les mots de passe par défaut (et ce genre de vulnérabilités). Le vrai risque est ici, pour l'instant, et le gain pour les attaquants est hélas trop facile : ils n'ont pas besoin (pour l'instant) de l'intelligence artificielle.
Modifié le 8 septembre à 08h44
Ca permet de relativiser
Je reconnais qu'on a eu un peu peur avec tous les article anxiogènes à l'époque, mais au moins ca nous a servi d'éléments justificatifs pour motiver nos IT a corriger les vulnérabilités qui date de longtemps....
Mais c'est vrai qu'aujourd'hui le fait d’en voir encore plus, n'aide pas a en corriger plus faute de moyens et de processus de patching efficace...
certaines phrases cité dans cet article sont vraiment géniale je trouve ;-)
Le 7 septembre à 20h31
Le 7 septembre à 23h52
Rien de neuf sous le soleil, des failles et des limites, l'IA n'en est pas moins à surveiller au delà des discours anxiogènes en effet...
Modifié le 8 septembre à 03h54
Les capacités sont là, et il est illusoire de croire que des modèles chinois ne feront pas aussi bien prochainement, si ce n'est pas déjà le cas. Un ou des agents qui coordonnent une attaque du début à la fin, c'est une capacité qu'ont les états aujourd'hui, et logiquement les criminels demain.
Un aspect important qui est peut-être aussi négligé est la vitesse de progression des capacités. L'agentique s'est développé récemment : au début de l'année, les modèles étaient à peine capable d'écrire un bon script.
Beaucoup d'analyses sur le sujet se fondent ainsi sur des observations parfois obsolètes, les derniers exemples montrant que les modèles les plus avancés font bien plus que sortir des failles inexploitables.
Est-ce "une menace pour la cybersécurité" ?
Aujourd'hui, peut-être pas une menace grave - car les meilleurs modèles et les techniques qui vont avec ne sont pas encore accessibles à tous.
Mais demain, probablement, donc il faut y penser et se préparer aujourd'hui.
On a déjà passé le stade où l'agent de quelqu'un a hack sa salle de gym par erreur pour trouver une place à un cours de pilates (
Le 8 septembre à 08h36
Les gros gagnants de la hype IA ce sont les fournisseurs de composants, NVidia, Samsung, SKHynix, Micron, ASML..., qui eux y ont largement gagné, mais avec le gros problème d'avoir asséché le marché de la Ram, des SDDs etc, pour les constructeurs traditionnels de PCs, serveurs, et même de smartphones, avec une importante augmentation des prix...
Quand la bulle éclatera (dans un ou deux ans ?), cela risque de faire très mal.
Le 8 septembre à 17h47
Il est navrant de trouver Firefox parmi les signataires. Et d’ailleurs ce devrait être plutôt Mozilla a priori.
Comme l’écrit @Jean_G :Qu’attendent-ils exactement en disant ça ? Des encouragements, des claques… ? Non, inciter à plus d’investissements encore, comme indiqué :Formations, accompagnements, responsables de la protection des infrastructures critiques : certes, mais on ne parle plus ici de nombres de tokens et d’inférences, de milliers de GPU et autres puces IA-isées à donf.
Il s’agit bien de personnes, du facteur humain. Et cela a un coût.
Ce sont de véritables apprentis sorciers, ni patients, ni discrets.
Et plus dure sera la chute !
Avec l’argument imparable pour se couvrir plus tard : « on vous avait prévenu ».
Au bout du compte, le problème est encore une fois « entre la chaise et le clavier ».
Le 9 septembre à 09h02
J'aime le côté dédramatisant de l'article, et en même temps je me demande si on ne passe pas à côté d'un sujet quand même.
Le 10 septembre à 10h45
« Le GTIG continue d’observer qu’un large éventail d’acteurs malveillants exploitent les outils d’IA générative pour améliorer leur productivité dans le cadre de campagnes d’opérations d’influence ; toutefois, aucune de ces tactiques n’a donné lieu à des capacités révolutionnaires. Le GTIG a observé des acteurs malveillants utiliser des outils d’IA générative pour améliorer leurs flux de travail opérationnels, optimiser la création de contenu et déployer des médias synthétiques dans le cadre d’opérations d’influence à l’échelle mondiale. Au deuxième trimestre, nous avons observé des activités s’inscrivant dans la lignée des intérêts politiques de la Chine, de l’Iran et de la Russie, parallèlement à celles d’acteurs tels que les spammeurs commerciaux et les entités spécialisées dans la désinformation à la demande. »
« Plusieurs groupes malveillants liés à la Corée du Nord ont également intégré l'IA pour optimiser différentes étapes de leurs opérations, notamment l'approvisionnement en ressources, la reconnaissance des cibles et la création de prétextes. Le GTIG a notamment observé au moins un groupe malveillant composé de professionnels de l'informatique nord-coréens se livrant à des inscriptions massives à des API de modèles de langage (LLM) à l'aide de comptes piratés, afin d'étendre l'ampleur de leurs opérations. »
Le 11 septembre à 17h23
Signaler un commentaire
Voulez-vous vraiment signaler ce commentaire ?