Connexion Premium

Attaquée par un agent IA autonome, Hugging Face a analysé les traces avec un LLM local

Brand new war

Attaquée par un agent IA autonome, Hugging Face a analysé les traces avec un LLM local

Illustration : Flock

Hugging Face a publié le 16 juillet 2026 une divulgation d’incident au sujet d’une intrusion dans une partie de son infrastructure de production. Selon l’entreprise, cette intrusion présentait une caractéristique inédite : elle a été pilotée de bout en bout par un système d’agent IA autonome.

Au constat de cette intrusion, Hugging Face en a opposé un autre : l’incident a été détecté et analysé en grande partie par la propre IA de l’éditeur.

Dans son compte rendu, l’entreprise indique avoir identifié un accès non autorisé à un ensemble limité de jeux de données internes et à plusieurs identifiants utilisés par ses services, tout en précisant que l’évaluation de l’impact sur les données de partenaires ou clients était encore en cours. Point important pour l’écosystème : aucune preuve d’altération des modèles, datasets (lots de données) ou Spaces publics destinés aux utilisateurs n’a été trouvée. La chaîne d’approvisionnement logicielle (images de conteneurs, paquets publiés) a été vérifiée et a été déclarée comme saine.

Comment les pirates sont-ils entrés ?

Le point d’entrée se situe dans le pipeline de traitement des datasets. Un jeu de données malveillant a exploité deux chemins d’exécution de code dans le traitement des datasets : un chargeur de dataset à exécution de code distant et une injection de template dans une configuration de dataset, avec pour finalité l’exécution du code sur un worker de traitement.

À partir de ce point d’ancrage, les pirates ont progressé vers un accès au niveau du nœud, récupéré des identifiants cloud et de cluster, puis se sont déplacés latéralement dans plusieurs clusters internes pendant plusieurs jours.

Mais qui a attaqué ? On ne le sait pas encore, mais l’entreprise évoque une campagne menée par un framework d’agents autonomes, semblant construit sur un harnais de recherche en sécurité offensive de type agentique, bien que le LLM utilisé reste inconnu à ce stade. Ce framework a exécuté plusieurs milliers d’actions individuelles à travers un ensemble de sandbox (bacs à sable) éphémères, avec un serveur C&C (command-and-control) auto-migrant hébergé sur des services publics. Hugging Face, c’est la matérialisation concrète du scénario d’« attaquant agentique » anticipé par le secteur.

Les actions entreprises

Comme toujours dans ce genre d’annonce, l’entreprise liste les actions entreprises pour juguler le problème et éviter qu’il se reproduise.

Hugging Face dit ainsi avoir corrigé les chemins d’exécution de code du dataset ayant permis l’accès initial, supprimé le point d’ancrage des pirates, reconstruit les nœuds compromis, révoqué et regénéré les identifiants affectés, déclenché une rotation préventive plus large des secrets (mots de passe et autres informations identifiantes), déployé des garde-fous et contrôles d’admission plus stricts sur les clusters, et amélioré la détection pour qu’un signal de sévérité élevée déclenche une alerte en quelques minutes, tous les jours. L’entreprise ajoute travailler avec des spécialistes externes en analyse de ce type d’incident (forensic) et a signalé l’incident aux autorités judiciaires.

Rappelons que ce n’est pas la première fois que Hugging Face est attaquée et qu’une partie de ses infrastructures est compromise. En juin 2024, la société avait averti qu’un sous-ensemble de secrets avait été dérobé et que des accès non autorisés avaient été détectés dans un certain nombre de Spaces. Elle recommandait alors l’actualisation de tous les jetons et clés d’authentification.

IA contre IA

Le sujet est devenu courant depuis plusieurs mois : l’IA générative, et plus particulièrement les agents, provoquent une rupture dans le domaine de la cybersécurité. Le sujet est particulièrement prégnant depuis l’arrivée du modèle Mythos d’Anthropic, accessible depuis le fameux projet Glasswing, auquel seules des organisations triées sur le volet peuvent accéder. Ce fut notamment le cas de Mozilla.

Hugging Face indique ainsi avoir utilisé son propre pipeline de triage basé sur des LLM pour corréler les signaux de sécurité et détecter la compromission. Pour reconstituer l’attaque, l’entreprise a fait tourner des agents d’analyse LLM sur l’intégralité du journal d’actions de l’attaquant, comprenant plus de 17 000 événements enregistrés. Elle dit avoir réussi à reconstituer la chronologie, à extraire les indicateurs de compromission, à cartographier les identifiants touchés et à séparer l’impact réel de l’activité leurre.

Elle évoque également un « problème d’asymétrie » intéressant. Hugging Face a d’abord tenté d’utiliser des modèles frontières via des API commerciales, mais ces requêtes nécessitaient de soumettre de larges volumes de commandes d’attaque réelles, des charges utiles d’exploitation et des éléments C&C. Résultat ? Elles ont été bloquées par les garde-fous de sécurité des fournisseurs, incapables de distinguer les requêtes d’un analyste travaillant à la réponse à un incident de celles d’un attaquant.

Une « leçon » à tirer, selon Hugging Face

En conséquence, Hugging Face a fini par faire tourner l’analyse forensic sur le modèle chinois GLM 5.2, dont les poids ouverts ont fait couler pas mal d’encre (le cas se reproduit avec Kimi K3). Le LLM a été exécuté sur la propre infrastructure de l’entreprise, en local, sans lien avec l’extérieur.

Hugging Face en tire justement une leçon opérationnelle : mieux vaut disposer d’un modèle capable, exécutable sur sa propre infrastructure, validé et prêt avant un incident, autant pour éviter le blocage par les garde-fous que pour empêcher que les données de l’attaquant et les identifiants quittent l’environnement. Elle ajoute cependant qu’il ne s’agit pas d’un argument contre les mesures de sécurité des modèles hébergés, et indique avoir partagé ce retour avec les fournisseurs concernés.

« Les outils offensifs autonomes pilotés par l’IA ne sont plus théoriques. Cela réduit le coût de gestion d’une campagne large, patiente et en plusieurs étapes, et cela fonctionne à la vitesse de la machine. Défendre une plateforme en ligne signifie désormais traiter la surface de données et de modèles comme une surface d’attaque de premier ordre, et utiliser l’IA en défense pour suivre le rythme. Nous continuerons à y investir et à partager ce que nous apprenons », conclut Hugging Face.

Commentaires (7)

votre avatar
Le point d’entrée se situe dans le pipeline de traitement des datasets. Un jeu de données malveillant a exploité deux chemins d’exécution de code dans le traitement des datasets : un chargeur de dataset à exécution de code distant et une injection de template dans une configuration de dataset, avec pour finalité l’exécution du code sur un worker de traitement.
Je n'ai rien compris et je pense ne pas être le seul.
votre avatar
Si je comprends bien, quelqu'un a envoyé un jeu de données piégé.
Au lieu de le traiter comme un simple fichier, le système a exécuté du code caché dedans, et, ce code a ensuite permis aux attaquants de prendre le contrôle de la machine qui analysait le dataset, puis de rebondir vers d'autres serveurs.

Mais effectivement, l'article gagnerait à vulgariser, c'est même l'essence de Next, à la base.
votre avatar
C'est le colonel Moutarde avec le chandelier !
votre avatar
Les LLM sont presque autonomes en attaque et en défense. Comme si les détails techniques ne nous concernaient plus vraiment.
Un peu comme si la technique devenait de la magie. Enfin c'est l'effet que ça me fait.
Je me suis toujours demandé à quoi ressemblerait la fameuse singularité. Est-ce un aperçu ?
votre avatar
Je tente une explication :

  • Les jeux de données (datasets) sont fournis par les utilisateurs (les attaquants dans le cas présent).

  • Les jeux de données sont traités analysés par des scripts (exécutés dans des « pipelines ») lancés automatiquement à l’injection des données.

  • Ces scripts se basent sur un patron (template) fourni par le jeu de données. Ce patron contrôlé par les attaquants était corrompu avec du code malicieux.

  • Les scripts (et donc le code malicieux) tournent sur des machines (workers) appartenant à Hugging Face et avec des droits spécifiques au pipeline.



N’hésitez pas à compléter corriger si besoin.
votre avatar
On a un peu l'impression de lire un chapitre de roman cyberpunk ! :duel1:
votre avatar
J'avoue que je serais pas contre un petit schéma explicatif :)