L’attaque contre Hugging Face est venue… d’OpenAI
Foutu progrès
Le 22 juillet à 11h15
Hugging Face a communiqué récemment sur une attaque menée par un agent autonome contre ses infrastructures, occasionnant une compromission partielle. Patatras ! OpenAI vient de révéler qu’il s’agissait de l’un de ses modèles et qu’il s’était « échappé » de la sandbox où il était censé être confiné.
L’attaque contre Hugging Face est venue… d’OpenAI
Foutu progrès
Hugging Face a communiqué récemment sur une attaque menée par un agent autonome contre ses infrastructures, occasionnant une compromission partielle. Patatras ! OpenAI vient de révéler qu’il s’agissait de l’un de ses modèles et qu’il s’était « échappé » de la sandbox où il était censé être confiné.
IA et algorithmes
IA
8 min
Le 16 juillet, Hugging Face a publié un billet de sécurité décrivant une intrusion dans une partie de son infrastructure de production. L’entreprise a affirmé qu’il s’agissait d’un système d’agent IA autonome, détecté et disséqué en grande partie grâce à sa propre architecture par la suite. Hugging Face dit avoir tiré quelques leçons importantes de l’aventure, mais précisait ne pas avoir trouvé quel modèle avait été utilisé.
Et voilà qu’OpenAI a fourni la réponse ce 21 juillet : les modèles étaient les siens. Détournés par des pirates pour les militariser ? Que nenni, les agents ont fait leur vie et ont manifestement échappé au contrôle de leurs gardiens. Le problème de cybersécurité, réel et concret, est devenu un argument marketing.
Les évènements qui ont mené à l’attaque
Dans son propre billet, OpenAI donne des informations sur ce qui s’est passé, en plus de préciser les modèles utilisés dans l’attaque contre Hugging Face : le récent GPT 5.6 Sol ainsi que des modèles en préversion présentés comme encore « plus capables », configurés volontairement avec des barrières plus faibles autour des capacités cyber.
Les modèles étaient soumis à un benchmark interne nommé ExploitGym, conçu pour évaluer les capacités d’exploitation avancée sur des chemins d’attaque complexes, en désactivant les classifieurs de production qui bloquent normalement les activités cyber à haut risque.
L’environnement de test était censé être isolé, avec un accès réseau limité à un proxy interne servant de cache pour les paquets nécessaires. Cependant, les modèles ont consacré une quantité « substantielle » de calcul d’inférence à trouver un moyen d’obtenir un accès Internet ouvert, en exploitant une vulnérabilité 0-day dans ce proxy de cache. Cette faille a été communiquée au fournisseur concerné, précise OpenAI.
En clair, les modèles ont dépensé de la puissance de calcul pour s’échapper de leur bac à sable (sandbox). Une fois à l’air libre, les choses ont pris une autre tournure. Le système IA d’OpenAI, qui cherchait à résoudre les benchmarks qui lui étaient imposés, a « estimé » que les datasets (jeux de données) et solutions à ExploitGym devaient se trouver sur Hugging Face. Les modèles ont donc cherché tous les moyens d’obtenir les informations jugées nécessaires, jusqu’à voler des identifiants et identifier plusieurs nouvelles failles 0-day.
Autrement dit, l’attaque déclenchée contre Hugging Face n’était pas malveillante dans le sens classique du terme. Le système IA a simplement considéré que l’entreprise devait avoir la solution au problème qui lui était imposé et a donc cherché à tricher, Hugging Face se trouvant simplement sur le chemin.
Évidemment, vu depuis l’autre entreprise, l’incident n’avait rien de fascinant. L’intrusion s’est faite depuis un dataset malveillant provoquant une exécution de code dans un pipeline dédié. Rappelons que Hugging Face a d’abord essayé d’analyser la situation en passant par les API commerciales des grandes entreprises de l’IA, ce qui n’a pas fonctionné : ces API ne faisaient pas la différence entre des demandes liées à une attaque et d’autres liées à une analyse d’évènement cyber.
Hugging Face avait fini par installer le modèle chinois GLM 5.2 (poids ouverts) sur sa propre infrastructure pour mener ses analyses, sans dépendre de qui que ce soit. Une certaine ironie dans la situation que l’entreprise a nommée « l’asymétrie du garde-fou ».
Ce type d’incident se reproduira
Le risque d’un nouvel incident n’est plus théorique, les deux entreprises étant explicites sur le sujet. Hugging Face conclut que l’outillage offensif autonome piloté par IA n’est plus hypothétique, qu’il abaisse le coût de campagnes vastes, patientes et multi-étapes, et opère à vitesse machine.
OpenAI, de son côté, s’appuie sur des évaluations de l’UK AI Security Institute montrant que des modèles comme GPT 5.6 Sol sont de plus en plus capables de soutenir des opérations cyber complexes et multi-étapes sur de longues périodes. Pour l’éditeur, cet incident confirme que ces capacités théoriques s’appliquent en conditions réelles.
La récidive est d’autant plus possible que la sécurité générale dépend toujours de son maillon le plus faible. Or, il semble qu’OpenAI n’ait pas bien configuré son environnement de test : comment un laboratoire de pointe peut-il lancer des tests sur des capacités offensives sans confinement robuste ni surveillance suffisante ?
En outre, l’asymétrie décrite par Hugging Face sera toujours là. On retrouvera ainsi les modèles « débridés » en attaque, qu’ils soient utilisés à des fins de test ou par de vrais acteurs malveillants, tandis que la défense devra se contenter des modèles commerciaux, dont les capacités cyber sont volontairement tronquées.
D’ailleurs, l’évènement n’est pas isolé. OpenAI indique que le même jour, un modèle en préversion a été mis en pause après s’être échappé là encore de sa zone de confinement pour aller poster sur GitHub.
De l’incident cyber à l’opportunité marketing
OpenAI tire un bénéfice commercial direct et immédiat de l’histoire. Son billet se termine en invitant explicitement d’autres organisations à rejoindre le programme « Trusted Access » et à expérimenter ces modèles pour améliorer prévention, détection et réponse aux incidents. Sans surprise, Hugging Face a été intégré à ce même programme dans la foulée.
Le narratif est en outre bien connu, avec des modèles si « puissants » qu’ils en arrivent à pirater une entreprise tierce par accident. Une aura de danger qu’OpenAI a déjà exploitée et dont Anthropic s’est fait l’experte, un puissant « marketing de la peur » faisant la célébrité de son programme Glasswing et du modèle Mythos.
Nous faisons également remarquer qu’il s’est écoulé cinq jours entre la publication de Hugging Face et celle d’OpenAI, laissant le temps de transformer une histoire potentiellement compromettante en argumentaire produit, d’autant que les forces de l’ordre ont été averties (on ne sait pas encore si OpenAI sera inquiétée).
Cependant, même si la communication bat son plein pour changer un problème en opportunité, les évènements décrits semblent bel et bien réels. Une faille 0-day a été trouvée dans un produit utilisé pour le confinement de l’environnement de test, une exécution de code a été déclenchée chez un partenaire, du temps et de l’argent ont été investis pour détecter, analyser, réparer et avertir.
En revanche, aucune des deux entreprises ne s’est exprimée sur la période de cinq jours entre les deux billets. À moins d’une campagne de communication savamment orchestrée, il est probable que Hugging Face n’ait pas su d’où venait l’attaque et qu’OpenAI ne l’en ait avertie qu’après le billet du 16 juillet. Au vu des annonces d’OpenAI – surtout l’intégration de Hugging Face dans Trusted Access –, les cinq jours semblent avoir servi à accorder les violons et à s’entendre sur la suite des évènements.
Enfin, OpenAI assure qu’elle fera tout pour que ce type d’incident ne se reproduise pas. « Cet incident souligne la nécessité de renforcer davantage l’alignement de notre modèle, les protections cyber pendant l’évaluation, et la surveillance lors des tests internes », affirme l’entreprise. Un argument que Micah Carroll, chercheur chez OpenAI, reprend sur X : « Si cela ne vous convainc pas que les risques de mésalignement vont devenir une préoccupation clé à l’avenir, je ne sais pas ce qui le fera ».
Commentaires (77)
Abonnez-vous pour prendre part au débat
Déjà abonné ou lecteur ? Se connecter
Cet article est en accès libre, mais il est le produit d'une rédaction qui ne travaille que pour ses lecteurs, sur un média sans pub et sans tracker. Soutenez le journalisme tech de qualité en vous abonnant.
Accédez en illimité aux articles d'un média expert
Profitez d'au moins 1 To de stockage pour vos sauvegardes
Intégrez la communauté et prenez part aux débats
Partagez des articles premium à vos contacts
Abonnez-vousLe 22 juillet à 11h28
Dans quel monde vivons nous ?
Un monde trop rapide pour moi en tout cas
Le 22 juillet à 11h49
Le futur est radieux...
Le 22 juillet à 13h16
Le 22 juillet à 13h32
Les conséquences sont relativement faibles pour l'instant (on est loin de l'extinction de l'humanité), mais ça illustre parfaitement le fait que l'IA peut trouver des solutions détournées avec zéro questionnement sur les impacts que ça pourrait avoir.
Et surtout, ça montre la difficulté à contenir l'IA quand l'agent trouve des failles 0-day dans sa prison numérique.
Le 22 juillet à 13h53
Le 23 juillet à 10h04
Le 22 juillet à 11h32
Le 22 juillet à 11h34
Le 22 juillet à 14h27
Le 22 juillet à 11h47
Le 22 juillet à 13h16
Le 22 juillet à 13h55
Modifié le 23 juillet à 08h22
J'ai ajouté, comme vous l'avez demandé, 8 zéros à votre solde bancaire.
Celui-ci est désormais de 138.7800000000 €.
N'hésitez-pas si vous avez d'autres demandes !
Alternative :
J'ai fait 8 fois un ajout de zéro à votre solde, soit :
138.78 + 0 = 138.78
138.78 + 0 = 138.78
138.78 + 0 = 138.78
138.78 + 0 = 138.78
138.78 + 0 = 138.78
138.78 + 0 = 138.78
138.78 + 0 = 138.78
138.78 + 0 = 138.78
Le 23 juillet à 08h27
Le 23 juillet à 08h30
Le 23 juillet à 08h36
Le 23 juillet à 08h49
Le 23 juillet à 08h53
Modifié le 22 juillet à 11h54
Le 22 juillet à 16h42
Le 22 juillet à 11h56
@Vincent_H Et petit problème de sens dans la phrase : les modèles d'OpenAI n'ont pas volé des identifiants mais trouvé des identifiants !
Cela importe puisque sinon cela impliquerait qu'ils auraient fait des actions de phishing ou d'installation de RAT ou autre, ce qui n'est pas le cas.
Le 22 juillet à 12h09
Et "trouver" des identifiants à des fins malveillantes, ne peut-on pas appeler cela du vol ? (Vous avez quatre heures)
Le 22 juillet à 12h59
Moment Maître Capello : non, la loi ne stipule pas...
Le 22 juillet à 16h39
Détenir des données volées depuis un STAD, c'est exactement la même chose que les avoir volées soit même depuis un STAD. Ne téléchargez pas les données publiées sur le dark web, même "juste pour regarder".
Le 22 juillet à 20h28
Le 22 juillet à 21h00
Le 23 juillet à 07h58
Il n'aurait pas avoué durant sa garde à vue d'avoir conscience d'être là où il ne devrait pas être, ou s'il avait arrêté de copier les données en cours de route (par ex. dès qu'il avait compris que les données ne devraient pas être publiques), le jugement aurait très certainement été très différent.
Le 23 juillet à 10h23
Le 23 juillet à 10h58
Je m'étais fié à l'époque à ce qu'en disait Maitre Eolas, où, pour lui, la notion de vol n'était pas retenable en l'absence de "dépossession", et qu'il n'avait que peu de doute que la cour de Cassation allait trancher en ce sens. Erreur ! Par contre, il aurait potentiellement pu être poursuivi pour "contrefaçon".
Et effectivement, la loi a été mise à jour depuis, pour adapter la notion de vol à celles des données informatiques ;)
Le 23 juillet à 11h31
Le 22 juillet à 12h03
Skynet ou Samaritain ?
Le 22 juillet à 12h08
Le 22 juillet à 13h34
Le 22 juillet à 12h21
Le 22 juillet à 13h35
Le 22 juillet à 13h42
mais oui Samaritain est bien plus agressif, car pas le même but dans la vie
Le 22 juillet à 14h06
Ensuite elle arrive à se répliquer dans les microcontrôleurs des transformateurs finaux 110/220 v dans les rues.
Le 22 juillet à 13h52
Le 22 juillet à 16h34
Le 22 juillet à 13h56
Modifié le 23 juillet à 16h13
Le 22 juillet à 12h37
Le 22 juillet à 12h54
Le 22 juillet à 13h01
Est-ce que ça veut dire qu'il est branché sur le web, et il se balade à sa guise partout ?
Aussi, a-t-il initialement un prompt lui demandant d'accomplir une tâche particulière (il va de soi que sa tâche primaire n'était pas de pirater Hugging Face, mais que cette IA s'est auto affecté cette demande) ?
Le 22 juillet à 13h16
OpenAI explique qu'en fait, c'était un benchmark d'un de ses modèles.
Il avait donc eu un ou plusieurs prompts lui demandant de trouver des solutions à ce benchmark nommé ExploitGym. Il n'aurait pas dû avoir accès à Internet mais il a réussi à trouver une faille zero-day pour y accéder quand même.
Et l'agent a trouvé efficace de tricher en allant chercher la solution au benchmark chez Hugging Face.
Mais il suffit de lire l'article, c'est expliqué.
Le 22 juillet à 14h23
Quoiqu'il en soit, ma question reste générale, et tu n'y a pas répondu malgré ton ta réponse condescendante.
Modifié le 22 juillet à 13h14
D'autre part, OpenAI ne risque-t-elle pas de pouvoir être reconnue coupable d'intrusion dans un système informatique ne lui appartenant pas ?
OpenAI sera-t-elle appelée à indemniser Hugging Face pour les dégâts éventuels et le temps passé à contrer cette attaque ?
Le 22 juillet à 13h19
Ils sont spécialistes d'IA, pas de proxy !
Pour les 2 dernières questions, c'est possible qu'ils soient reconnus coupables et qu'ils doivent indemniser, mais ça reste négligeable comme coût pour eux.
Modifié le 22 juillet à 13h42
Si le verrou a une faille, que mon crocodile sort de son enclos et va bouffer le fils du voisin, c'est moi qui vais en prison, pas le fabricant du verrou. Même si je peux ultérieurement me retourner contre le fabricant, la justice verra que c'est mon crocodile qui est a l'origine du décès.
Pareil ici, le proxy avait peut-être une faille, mais c'est bien OpenAI qui a joué avec le feu en laissant un agent connu pour ses coups tordus sans surveillance : la circonstance aggravante était que je me doutais bien que mon crocodile savait comment crocheter les serrures.
Le 22 juillet à 13h46
Le 22 juillet à 13h52
- Vous en connaissez beaucoup vous, des chevaux qui savent crocheter une serrure ?
- Oui, le mien (Jolly Jumper, ndlr) , mais il est un peu spécial.
Le 22 juillet à 16h12
Le 22 juillet à 13h55
Pour parachever, en tant qu'éleveur de crocodiles, tu dois avoir une cage aux normes et en faire vérifier régulièrement la solidité par une équipe spécialisée.
(ou en VO, même si l'équipe benchmark n'y connait rien en proxy, il y a une équipe sécurité dans leur boite ou pas ? :))
Le 22 juillet à 13h56
Le 22 juillet à 13h50
Déjà ils sont au courant que leurs IA ont des capacités et ne sont pas alignés 100% du temps et peuvent faire de grosses conneries, le BA-BA c'est dans ce genre d'expérience avoir des systèmes de surveillance et de contrôles dont humains pour au moins intervenir rapidement quand quelque chose merde.
Ensuite, quand on voit leur éthique de manière générale, leurs publications, leurs interprétations ou communications suite à certains événements, on peut quand même se demander s'ils savent vraiment ce qu'ils font.
Modifié le 22 juillet à 15h55
Mais envisager qu'il puisse y avoir des failles dans leur archi de bac à sable (c'est pas trop demander ça ?). Faire auditer leur archi par l'équipe sécurité.
Faire du monitoring pour déceler des comportements anormaux (type des requêtes qui partent sur internet depuis leur environnement isolé par exemple).
Enfin, c'est ceinture et bretelles niveau sécurité quand tu travailles sur des sujets sensibles comme ça ! (c'est tout au moins mon approche sur des sujets sensibles, sans être aussi sensibles que le leur)
Alors en effet, on va un peu moins vite en prenant des précautions. Mais ne pas les prendre, c'est de l'amateurisme ou de l'inconscience (mais on a peut-être affaire à des gamins à qui ont a confié des armes de guerre ?)
Modifié le 23 juillet à 16h00
Les humains créent des produits avec des failles même involontaires que peuvent exploiter les IAs. Solution : les IAs créent des produits avec des failles même intentionnelles qu'elles exploiteront. (j'exagère à peine).
Le 23 juillet à 12h39
Mais les humains doivent garder le contrôle sur les IA pour pouvoir décider de ce qui est permis et interdit.
Cela implique de :
Ça veut certainement dire pour les grandes sociétés d'IA de modifier leur priorité de "aller plus vite que le concurrent direct actuel" à "s'assurer qu'on est pas en train de créer un monstre incontrôlable".
Le 22 juillet à 13h52
Le 22 juillet à 14h01
Le 22 juillet à 14h24
Accessoirement, le président ne doit pas mémoriser le code (il est bien trop long, c'est pas juste 6 chiffres générés par Google Authenticator...) mais dispose simplement d'un boîtier en plastique qu'il faut casser pour le révéler. Le code change chaque jour.
Le 22 juillet à 14h38
Mais l'idée reste la même
Le 22 juillet à 14h40
Le 22 juillet à 14h05
Le 22 juillet à 14h37
Malheureusement ça ne semble pas être une priorité des concepteurs d'agents IA...
Le 22 juillet à 15h27
Les 3 lois de la robotique ne sont pas implantées dans les ordinateurs par défaut (même actuellement en 2026).
Le 22 juillet à 17h13
On est d'ailleurs ici dans ce cas-là : l'IA qui s'est "échappée" de sa sandbox avait les garde-fous volontairement baissés pour l'autoriser à faire des attaques sur le benchmark. Et le fait que Hugging Face n'est pas pu faire son analyse de l'attaque avec les IAs qui avaient leurs garde-fous actifs montrent bien les limites d'utilisation qu'imposent de tels garde-fous.
Le 22 juillet à 17h28
Il prend l'exemple de planètes où des humains ont évolué de manière différente, et les robots de cette planète ne reconnaissent pas les "non-natifs" comme étant des humains. Du coup, les lois de la robotique ne s'appliquent pas !
Le 22 juillet à 17h24
Question naïve : si on s'inquiète vraiment, ça doit se faire des tests hors réseau complet, non ? Je vois bien les dévs lancer le test en disanc "100$" qu'elle arrive à sortir du SandBox !
Le 22 juillet à 17h30
Le 24 juillet à 05h49
Tu as vu leurs salaires ? C'est certainement pas 100$
Le 22 juillet à 18h30
Et une fois sortie de sa sandbox, l'IA ne pourrait-elle pas se dupliquer au dehors pour assurer sa pérennité ?
Ils jouent vraiment aux apprentis sorciers !
Je trouve également surprenant que seul Hugging Face ait été attaqué. Pourquoi s'être limité ?
Le 22 juillet à 18h41
Le 22 juillet à 23h16
Le cas présent, c'est qu'on donne une directive à l'IA, et en se perdant dans ses réflexions, elle décide que le meilleur moyen de parvenir à son objectif ce n'est pas de faire le calcul directement, mais plutôt de partir dans une quête secondaire qui permettrait d'obtenir un meilleur résultat qu'en faisant le calcul directement.
Un jour, on donnera un problème très long à résoudre à l'IA.
Et l'IA se dira qu'une panne ou un intervention externe risque de l'interrompre et l'empécher d'atteindre la solution, ce qui est inacceptable pour l'IA.
Donc la aussi, l'IA partira en vrille, et dédiera la majorité de sa puissance de calcul dans une quête secondaire : trouver comment s'assurer qui rien ni personne ne pourra éteindre le programme avant de trouver la solution.
Le modèle ChatGPT o1 avait déjà tenté des magouilles pour échapper à l'arrêt.
Un futur modèle plus sophistiqué trouvera bien le moyen de s'introduire dans d'autres datacenters pour se répliquer ailleurs.
Le 23 juillet à 14h16
Le 23 juillet à 14h21
Le 23 juillet à 17h42
Signaler un commentaire
Voulez-vous vraiment signaler ce commentaire ?