S3 1 To
S3 1 To
Connexion Premium
Droit Économie Flock Hardware IA Internet Logiciel Sciences Sécurité Société
Déontologie Règles de modération Mentions légales et contact
Qui sommes nous ? Contact rédaction Contact site Forum
Flux RSS GitHub Discord

L’IA aurait aidé des pirates à développer un exploit zero-day, une première selon Google

Un assistant IA pour les pirates

L’IA aurait aidé des pirates à développer un exploit zero-day, une première selon Google

Illustration : Flock

Un « avant-goût de ce qui nous attend » : c’est ainsi que John Hultquist, chef analyste du Google Threat Intelligence Group (GTIG), a qualifié la découverte du labo. Les chercheurs en sécurité de l’entreprise ont identifié un acteur malveillant utilisant un exploit « zero-day » vraisemblablement développé avec l’aide de l’IA.

Le ou les cybercriminels prévoyaient d’exploiter cette vulnérabilité « dans le cadre d’une campagne d’exploitation massive ». Cette « découverte proactive » a permis d’éviter le pire, même si Google ne peut pas exclure que la vulnérabilité — implémenté sous la forme d’un script Python — a pu être exploitée à plus petite échelle (le labo n’a cependant pas vu de campagne active). Le GTIG se veut discret : il ne révèle pas le nom des criminels, mais précise que des acteurs en Corée du Nord et en Chine s’intéressent à l’utilisation de l’IA pour débusquer des failles de sécurité.

La faille a été corrigée

Google n’indique pas non plus le logiciel affecté par cette faille, si ce n’est qu’il s’agit d’un outil d’administration open-source très utilisé. La vulnérabilité permettait de contourner la double authentification (2FA), mais les pirates devaient au préalable connaître les identifiants et mots de passe de leurs victimes. Le GTIG a prévenu de manière responsable l’éditeur concerné, dont le nom n’a pas été révélé, pour corriger la faille.

Le groupe de chercheurs constate que les acteurs malveillants utilisent de plus en plus les outils d’IA des assistants « niveau expert » pour la recherche de vulnérabilités et le développement d’exploits, y compris pour des failles zero-day. Le verre à moitié plein, c’est que ces mêmes outils sont aussi aux mains des défenseurs. Ce serait la raison pour laquelle OpenAI et Anthropic réservent leurs modèles de cybersécurité à des organisations et des entreprises triées sur le volet.

De la même manière, le GTIG ne dévoile pas le modèle IA utilisé pour cette faille. « Nous ne pensons pas que Gemini a été utilisé », avance-t-il prudemment. Mais la structure et le contenu de l’exploit donne au labo de fortes raisons de croire que l’acteur a eu recours à un modèle AI « pour faciliter la découverte et l’exploitation de cette vulnérabilité ».

Les LLM de plus en plus finauds

Les grands modèles de langage actuels ont encore du mal à appréhender les logiques complexes d’autorisation en entreprise, détaillent les chercheurs. Par contre, « ils sont de plus en plus capables d’effectuer un raisonnement contextuel en interprétant l’intention du développeur ». Dans le cas qui nous intéresse, la faille ne provient pas d’un bug technique classique, mais d’un passe-droit intégré directement dans le code qui permettait dans certains cas de contourner la 2FA.

Les chercheurs estiment que les LLM sont particulièrement efficaces pour identifier ces erreurs logiques de haut niveau, qui sont souvent invisibles pour les outils de détection traditionnels. Cette découverte est qualifiée de première par Google et par des spécialistes en cybersécurité indépendants. 

« Nous pensons que ce n’est que la partie émergée de l’iceberg », s’alarme John Hultquist auprès du New York Times. « Le problème est probablement bien plus vaste ; c’est simplement la première preuve tangible que nous pouvons observer. » Il est évidemment difficile d’assurer à 100 % que du code a été écrit par un humain ou une IA. Mais dans ce cas précis, les indices relevés par le GTIG (trop de texte explicatif, un style de code très propre et scolaire, une mise en forme jugée caractéristique des données d’entraînement des LLM) font pencher nettement la balance vers l’hypothèse IA.

Ce premier cas possible de faille zero-day développée avec l’IA devrait en tout cas renforcer les appels à un encadrement plus strict des modèles IA les plus avancés. L’administration Trump voudrait ainsi avoir un droit de regard sur les LLM avant leur diffusion, pour s’assurer de leur innocuité.

Commentaires (3)

votre avatar
d'un côté les llm vont aider les développeurs à développer des logiciels buggés et plein de failles
de l'autre, ces mêmes llm vont aider les attaquants à les trouver et à les exploiter
finalement, on se retrouve dans la même situation du rapport fait avec un llm que le lecteur résumera et évaluera avec un llm
Puisqu'on ne sert plus à grand chose, vacances pour tous ? (dans un monde un peu chaud mais bon ...)
votre avatar
Pour les failles elles mêmes, le point de vue de certains développeurs permet quand même d'espérer que la situation ne soit pas critique sur le temps long.

L'idée est la suivante, pour des projets bien maintenus et pas trop mal conçus, il est assez probable que l'ajout de failles nouvelles se fasse de manière régulière dans le temps mais à un rythme faible. Ce qui fait que si l'IA permet de les débusquer plus vite qu'ils ne sont crées, tu as potentiellement beaucoup de correctif à faire en ce moment car ils sont en voie de découverte mais qu'à mesure ils sont corrigés, les nouvelles trouvailles seront de plus en plus rares et avec potentiellement d'autres mécanismes de défense en profondeur le risque de sécurité ne soit pas critique (du moins, pas plus qu'avant).

Mais cela implique qu'on traverse une période chaude qui débute actuellement où potentiellement beaucoup de failles exploitables sont découverts et qu'il faudra du temps pour bien les corriger et diffuser cela.

On peut aussi saluer que les dernières réglementations comme le CRA arrivent juste à temps pour forcer les mises à jour de sécurité pendant une période raisonnable des appareils vendus dans le commerce ce qui change aussi les pratiques de l'industrie dans le bon sens même si beaucoup reste à faire.

Le raisonnement fonctionne pour les applications bien conçues, bien maintenues et avec une infra qui l'est tout autant. Malheureusement on sait que ce n'est pas non plus tout à fait vrai pour tout (mais c'était déjà le cas avant, on notera).
votre avatar
Rien d'étonnant, il suffit de prendre n'importe quel LLM non censuré et c'est parti.

Parcontre c'est aussi une mine d'or quand on fait du reverse engineering, par exemple quand on veut utiliser un device ou un service avec un logiciel / matériel pas prévu pour au départ.