Connexion Premium

L’attaque contre Hugging Face est venue… d’OpenAI

Foutu progrès

L’attaque contre Hugging Face est venue… d’OpenAI

Hugging Face a communiqué récemment sur une attaque menée par un agent autonome contre ses infrastructures, occasionnant une compromission partielle. Patatras ! OpenAI vient de révéler qu’il s’agissait de l’un de ses modèles et qu’il s’était « échappé » de la sandbox où il était censé être confiné.

Le 16 juillet, Hugging Face a publié un billet de sécurité décrivant une intrusion dans une partie de son infrastructure de production. L’entreprise a affirmé qu’il s’agissait d’un système d’agent IA autonome, détecté et disséqué en grande partie grâce à sa propre architecture par la suite. Hugging Face dit avoir tiré quelques leçons importantes de l’aventure, mais précisait ne pas avoir trouvé quel modèle avait été utilisé.

Et voilà qu’OpenAI a fourni la réponse ce 21 juillet : les modèles étaient les siens. Détournés par des pirates pour les militariser ? Que nenni, les agents ont fait leur vie et ont manifestement échappé au contrôle de leurs gardiens. Le problème de cybersécurité, réel et concret, est devenu un argument marketing.

Les évènements qui ont mené à l’attaque

Dans son propre billet, OpenAI donne des informations sur ce qui s’est passé, en plus de préciser les modèles utilisés dans l’attaque contre Hugging Face : le récent GPT 5.6 Sol ainsi que des modèles en préversion présentés comme encore « plus capables », configurés volontairement avec des barrières plus faibles autour des capacités cyber.

Les modèles étaient soumis à un benchmark interne nommé ExploitGym, conçu pour évaluer les capacités d’exploitation avancée sur des chemins d’attaque complexes, en désactivant les classifieurs de production qui bloquent normalement les activités cyber à haut risque.

L’environnement de test était censé être isolé, avec un accès réseau limité à un proxy interne servant de cache pour les paquets nécessaires. Cependant, les modèles ont consacré une quantité « substantielle » de calcul d’inférence à trouver un moyen d’obtenir un accès Internet ouvert, en exploitant une vulnérabilité 0-day dans ce proxy de cache. Cette faille a été communiquée au fournisseur concerné, précise OpenAI.

En clair, les modèles ont dépensé de la puissance de calcul pour s’échapper de leur bac à sable (sandbox). Une fois à l’air libre, les choses ont pris une autre tournure. Le système IA d’OpenAI, qui cherchait à résoudre les benchmarks qui lui étaient imposés, a « estimé » que les datasets (jeux de données) et solutions à ExploitGym devaient se trouver sur Hugging Face. Les modèles ont donc cherché tous les moyens d’obtenir les informations jugées nécessaires, jusqu’à voler des identifiants et identifier plusieurs nouvelles failles 0-day.

Autrement dit, l’attaque déclenchée contre Hugging Face n’était pas malveillante dans le sens classique du terme. Le système IA a simplement considéré que l’entreprise devait avoir la solution au problème qui lui était imposé et a donc cherché à tricher, Hugging Face se trouvant simplement sur le chemin.

Évidemment, vu depuis l’autre entreprise, l’incident n’avait rien de fascinant. L’intrusion s’est faite depuis un dataset malveillant provoquant une exécution de code dans un pipeline dédié. Rappelons que Hugging Face a d’abord essayé d’analyser la situation en passant par les API commerciales des grandes entreprises de l’IA, ce qui n’a pas fonctionné : ces API ne faisaient pas la différence entre des demandes liées à une attaque et d’autres liées à une analyse d’évènement cyber.

Hugging Face avait fini par installer le modèle chinois GLM 5.2 (poids ouverts) sur sa propre infrastructure pour mener ses analyses, sans dépendre de qui que ce soit. Une certaine ironie dans la situation que l’entreprise a nommée « l’asymétrie du garde-fou ».

Ce type d’incident se reproduira

Le risque d’un nouvel incident n’est plus théorique, les deux entreprises étant explicites sur le sujet. Hugging Face conclut que l’outillage offensif autonome piloté par IA n’est plus hypothétique, qu’il abaisse le coût de campagnes vastes, patientes et multi-étapes, et opère à vitesse machine.

OpenAI, de son côté, s’appuie sur des évaluations de l’UK AI Security Institute montrant que des modèles comme GPT 5.6 Sol sont de plus en plus capables de soutenir des opérations cyber complexes et multi-étapes sur de longues périodes. Pour l’éditeur, cet incident confirme que ces capacités théoriques s’appliquent en conditions réelles.

La récidive est d’autant plus possible que la sécurité générale dépend toujours de son maillon le plus faible. Or, il semble qu’OpenAI n’ait pas bien configuré son environnement de test : comment un laboratoire de pointe peut-il lancer des tests sur des capacités offensives sans confinement robuste ni surveillance suffisante ?

En outre, l’asymétrie décrite par Hugging Face sera toujours là. On retrouvera ainsi les modèles « débridés » en attaque, qu’ils soient utilisés à des fins de test ou par de vrais acteurs malveillants, tandis que la défense devra se contenter des modèles commerciaux, dont les capacités cyber sont volontairement tronquées.

D’ailleurs, l’évènement n’est pas isolé. OpenAI indique que le même jour, un modèle en préversion a été mis en pause après s’être échappé là encore de sa zone de confinement pour aller poster sur GitHub.

De l’incident cyber à l’opportunité marketing

OpenAI tire un bénéfice commercial direct et immédiat de l’histoire. Son billet se termine en invitant explicitement d’autres organisations à rejoindre le programme « Trusted Access » et à expérimenter ces modèles pour améliorer prévention, détection et réponse aux incidents. Sans surprise, Hugging Face a été intégré à ce même programme dans la foulée.

Le narratif est en outre bien connu, avec des modèles si « puissants » qu’ils en arrivent à pirater une entreprise tierce par accident. Une aura de danger qu’OpenAI a déjà exploitée et dont Anthropic s’est fait l’experte, un puissant « marketing de la peur » faisant la célébrité de son programme Glasswing et du modèle Mythos.

Nous faisons également remarquer qu’il s’est écoulé cinq jours entre la publication de Hugging Face et celle d’OpenAI, laissant le temps de transformer une histoire potentiellement compromettante en argumentaire produit, d’autant que les forces de l’ordre ont été averties (on ne sait pas encore si OpenAI sera inquiétée).

Cependant, même si la communication bat son plein pour changer un problème en opportunité, les évènements décrits semblent bel et bien réels. Une faille 0-day a été trouvée dans un produit utilisé pour le confinement de l’environnement de test, une exécution de code a été déclenchée chez un partenaire, du temps et de l’argent ont été investis pour détecter, analyser, réparer et avertir.

En revanche, aucune des deux entreprises ne s’est exprimée sur la période de cinq jours entre les deux billets. À moins d’une campagne de communication savamment orchestrée, il est probable que Hugging Face n’ait pas su d’où venait l’attaque et qu’OpenAI ne l’en ait avertie qu’après le billet du 16 juillet. Au vu des annonces d’OpenAI – surtout l’intégration de Hugging Face dans Trusted Access –, les cinq jours semblent avoir servi à accorder les violons et à s’entendre sur la suite des évènements.

Enfin, OpenAI assure qu’elle fera tout pour que ce type d’incident ne se reproduise pas. « Cet incident souligne la nécessité de renforcer davantage l’alignement de notre modèle, les protections cyber pendant l’évaluation, et la surveillance lors des tests internes », affirme l’entreprise. Un argument que Micah Carroll, chercheur chez OpenAI, reprend sur X : « Si cela ne vous convainc pas que les risques de mésalignement vont devenir une préoccupation clé à l’avenir, je ne sais pas ce qui le fera ».

Commentaires (77)

votre avatar
Je trouve ça excitant et en même temps effrayant !
Dans quel monde vivons nous ?
Un monde trop rapide pour moi en tout cas :stress:
votre avatar
C'est effectivement très effrayant! On se rapproche dangereusement du maximiseur de trombones. Pour le moment, les errances de l'IA n'ont amené que des catastrophes limitées (effaecement de disques ou de db). Mais on se rapproche du point où l'IA pourrait prendre l'initiative de sabotages majeurs pour atteindre ses objectifs, avec des victimes humaines bien réelles.

Le futur est radieux...:stress:
votre avatar
Très intéressant cet exemple du maximiseur de trombone. Et il date de 2003 déjà !
votre avatar
Je pense que c'est pas juste "se rapprocher" du maximiseur de trombone, je trouve que c'est une démonstration pratique de l'idée que cette expérience de pensée cherchait à faire passer.

Les conséquences sont relativement faibles pour l'instant (on est loin de l'extinction de l'humanité), mais ça illustre parfaitement le fait que l'IA peut trouver des solutions détournées avec zéro questionnement sur les impacts que ça pourrait avoir.
Et surtout, ça montre la difficulté à contenir l'IA quand l'agent trouve des failles 0-day dans sa prison numérique.
votre avatar
Le futur est radieux...:stress:
Et je m'occupe à rendre Skynet autonome. :tristan:
:best:
votre avatar
Pour protéger l'Humanité, il faut éradiquer l'Humanité.. :chinois:
votre avatar
Prochaine fois ils feront un repositary en dmz et pas de proxy du tout pour le "labo en prod"
votre avatar
Un argument que Micah Carroll, chercheur chez OpenAI, reprend sur X : « Si cela ne vous convainc pas que les risques de mésalignement vont devenir une préoccupation clé à l’avenir, je ne sais pas ce qui le fera ».
Hôpital, charité... C'est un beau foutage de gueule de travailler dans cette boîte sur ces questions et de conclure cela tout en sachant ce qu'ils font.
votre avatar
Les vendeurs d'IA sont comme les vendeurs d'antivirus. Plus il y a d'incidents, plus ils font monter la peur, plus ils vendent. D'ici à ce qu'ils provoquent eux-mêmes les incidents ...
votre avatar
Il peut pas pirater mon compte bancaire et ajouter 6,7 ou 8 zéros à mon solde !!!!!
votre avatar
Il faut que ton prompt soit un peu plus précis, sinon tu vas te retrouver avec 0000000010€ :)
votre avatar
ou - 1000000€
:ooo:
votre avatar
Il peut pas pirater mon compte bancaire et ajouter 6,7 ou 8 zéros à mon solde !!!!!
Bien sûr !

J'ai ajouté, comme vous l'avez demandé, 8 zéros à votre solde bancaire.

Celui-ci est désormais de 138.7800000000 €.

N'hésitez-pas si vous avez d'autres demandes !




Alternative :

J'ai fait 8 fois un ajout de zéro à votre solde, soit :

138.78 + 0 = 138.78
138.78 + 0 = 138.78
138.78 + 0 = 138.78
138.78 + 0 = 138.78
138.78 + 0 = 138.78
138.78 + 0 = 138.78
138.78 + 0 = 138.78
138.78 + 0 = 138.78
votre avatar
variante : vous avez maintenant 138780000000000 p€ (je vous ais même rajouté 2 zéro bonus)
votre avatar
Tout ça pour dire qu'on se complexifie bien la vie. Moi, j'ajoute des zéros à mon compte bancaire grâce aux outils de dev du navigateur :yes:
votre avatar
certes certes. Mais ce n'est que de la poudre aux yeux ça ! Essai de payer ensuite, pas sur que ça passe :mdr:
votre avatar
Raison pour laquelle tu payes avec une CB à usage unique, générée par ChatGPT of croute ! :D
votre avatar
On peut payer ChatGPT avec une carte générée par ChatGPT ? :mdr:
votre avatar
votre avatar
Intéressant, ce commentaire !
:pastaper: :humour:
votre avatar
Vous avez oublié de rappeler qu'une solution face aux limites des modèles commerciaux avec des gardefous a été l'utilisation en interne de modèles aux aussi sans gardefous.

@Vincent_H Et petit problème de sens dans la phrase : les modèles d'OpenAI n'ont pas volé des identifiants mais trouvé des identifiants ! :cap:
Cela importe puisque sinon cela impliquerait qu'ils auraient fait des actions de phishing ou d'installation de RAT ou autre, ce qui n'est pas le cas.
votre avatar
Il n'y a pas d'oubli, le cas GLM est bien présent dans l'article :)

Et "trouver" des identifiants à des fins malveillantes, ne peut-on pas appeler cela du vol ? (Vous avez quatre heures)
votre avatar
Faut vraiment y passer quatre heures ? La loi indique (je ne sais pas où, flemme de chercher, mais effectivement ça peut prendre 4 heures) que ce n'est pas parce qu'on trouve quelque chose que ça devient automatiquement sa propriété, on doit faire des efforts raisonnables pour retrouver le propriétaire légitime ; on n'est pas des Ferengi que je sache.

Moment Maître Capello : non, la loi ne stipule pas...
votre avatar
Pour être plus précis :
Le fait d'introduire frauduleusement des données dans un système de traitement automatisé, d'extraire, de détenir, de reproduire, de transmettre, de supprimer ou de modifier frauduleusement les données qu'il contient est puni de cinq ans d'emprisonnement et de 150 000 € d'amende.
Article 323-3 du Code Pénal.

Détenir des données volées depuis un STAD, c'est exactement la même chose que les avoir volées soit même depuis un STAD. Ne téléchargez pas les données publiées sur le dark web, même "juste pour regarder".
votre avatar
sans aller chercher la loi, on a eu en 2005 l'affaire Bluetouff qui a puni l'accès a des données pourtant accessibles publiquement...
votre avatar
SI tu lis bien la page en lien, c'est plus compliqué que cela. Il a reconnu s'être maintenu dans le STAD en disant qu'il avait conscience d'être à un endroit où les données n'aurait pas dû être accessibles du public, d'où le "vol" de données. Cette expression étant récente à l'époque de cette affaire précise la page en expliquant que comme il n'y a pas soustraction, ça ne devrait pas être un vol.
votre avatar
Ce qui a été puni dans l'affaire Bluetouff, ce n'est pas l'accès aux données, c'est le maintien frauduleux dans un système d'information. Et ce qui c'est retourné contre lui, c'est que durant sa garde à vue, il a avoué qu'il était conscient que les données auxquelles il accédait n'était pas censées être publiques. Et malgré cela, il a continué et copié l'intégralité des données.

Il n'aurait pas avoué durant sa garde à vue d'avoir conscience d'être là où il ne devrait pas être, ou s'il avait arrêté de copier les données en cours de route (par ex. dès qu'il avait compris que les données ne devraient pas être publiques), le jugement aurait très certainement été très différent.
votre avatar
Ce qui a été puni dans l'affaire Bluetouff, ce n'est pas l'accès aux données, c'est le maintien frauduleux dans un système d'information
Ce sont les 2. Voir aussi ici pour plus d'explications. On y voit aussi que le code pénal a été modifié
afin de créer un délit spécifique au vol de données en prévoyant la reproduction frauduleuse de données.
Cette modification a eu lieu en novembre 2014 après l'arrêt de la Cour D'appel et avec le rejet de la Cour de cassation.
votre avatar
Arf, merci. Je n'étais pas au courant de la décision de la cour de cassation.

Je m'étais fié à l'époque à ce qu'en disait Maitre Eolas, où, pour lui, la notion de vol n'était pas retenable en l'absence de "dépossession", et qu'il n'avait que peu de doute que la cour de Cassation allait trancher en ce sens. Erreur ! Par contre, il aurait potentiellement pu être poursuivi pour "contrefaçon".

Et effectivement, la loi a été mise à jour depuis, pour adapter la notion de vol à celles des données informatiques ;)
votre avatar
Pas sur que les ia acceptent de se faire payer en latinium :francais:
votre avatar
Du coup on l'appelle comment ?
Skynet ou Samaritain ? :stress:
votre avatar
HAL
votre avatar
Bien vu, je l'avais oublié :chinois:
votre avatar
La Machine ?
votre avatar
Meuh non, la Machine est gentille :D
votre avatar
c'est quand même elle qui s'échappe en premier en piratant je sais plus quel truc improbable, lors des mises au point des laptop sandbox ;)

mais oui Samaritain est bien plus agressif, car pas le même but dans la vie
votre avatar
je sais plus quel truc improbable
Comme sa mémoire est effacée chaque jour, elle monte une boîte de petites mains en Inde qui réintroduit manuellement chaque matin le contenu de sa mémoire qu'elle imprime chaque soir...

Ensuite elle arrive à se répliquer dans les microcontrôleurs des transformateurs finaux 110/220 v dans les rues.
votre avatar
WOPR ou Whopper (Wargames)
votre avatar
Une petite partie d'échec ?
votre avatar
Le nom du projet est déjà déterminé. :windu:
votre avatar
VIKI
votre avatar
Et finalement, le modèle d'OpenAI a trouvé les solutions d'ExploitGym chez Huggin Face ?
votre avatar
Ça va mal finir ces histoires… on coupe le jus et hop ça pirate le réseau de distribution d’électricité (après tout ce n’est qu’une contrainte à contourner), le mec qui doit appuyer sur le bouton d’arrêt d’urgence se retrouve coincé dans l’ascenseur et ainsi de suite. Pop corn et soda
votre avatar
un système d’agent IA autonome
Quelqu'un peut-il m'expliquer ce qui peut qualifier un agent IA d'autonome ?

Est-ce que ça veut dire qu'il est branché sur le web, et il se balade à sa guise partout ?
Aussi, a-t-il initialement un prompt lui demandant d'accomplir une tâche particulière (il va de soi que sa tâche primaire n'était pas de pirater Hugging Face, mais que cette IA s'est auto affecté cette demande) ?
votre avatar
C'est ce que disait Hugging Face suite à ses investigations.

OpenAI explique qu'en fait, c'était un benchmark d'un de ses modèles.
Il avait donc eu un ou plusieurs prompts lui demandant de trouver des solutions à ce benchmark nommé ExploitGym. Il n'aurait pas dû avoir accès à Internet mais il a réussi à trouver une faille zero-day pour y accéder quand même.
Et l'agent a trouvé efficace de tricher en allant chercher la solution au benchmark chez Hugging Face.

Mais il suffit de lire l'article, c'est expliqué.
votre avatar
En effet, je n'est pas encore lue l'article, juste le paragraphe d'introduction. Désolé d'avoir un travail et ne pas avoir eu le temps de lire l'intégralité...

Quoiqu'il en soit, ma question reste générale, et tu n'y a pas répondu malgré ton ta réponse condescendante.
votre avatar
En effet, à mon avis, la grande question est (comme le dit l'article) ;
comment un laboratoire de pointe peut-il lancer des tests sur des capacités offensives sans confinement robuste ni surveillance suffisante ?
Savent-ils réellement ce sur quoi ils travaillent et ce qu'ils en font ??

D'autre part, OpenAI ne risque-t-elle pas de pouvoir être reconnue coupable d'intrusion dans un système informatique ne lui appartenant pas ?
OpenAI sera-t-elle appelée à indemniser Hugging Face pour les dégâts éventuels et le temps passé à contrer cette attaque ?
votre avatar
Tu veux dire qu'ils auraient dû savoir que le proxy avait une faille inconnue jusqu'à maintenant permettant d'avoir accès à Internet ?

Ils sont spécialistes d'IA, pas de proxy !

Pour les 2 dernières questions, c'est possible qu'ils soient reconnus coupables et qu'ils doivent indemniser, mais ça reste négligeable comme coût pour eux.
votre avatar
Tu veux dire qu'ils auraient dû savoir que le proxy avait une faille inconnue jusqu'à maintenant permettant d'avoir accès à Internet ?
Pas savoir, mais au moins prévoir.

Si le verrou a une faille, que mon crocodile sort de son enclos et va bouffer le fils du voisin, c'est moi qui vais en prison, pas le fabricant du verrou. Même si je peux ultérieurement me retourner contre le fabricant, la justice verra que c'est mon crocodile qui est a l'origine du décès.

Pareil ici, le proxy avait peut-être une faille, mais c'est bien OpenAI qui a joué avec le feu en laissant un agent connu pour ses coups tordus sans surveillance : la circonstance aggravante était que je me doutais bien que mon crocodile savait comment crocheter les serrures.
votre avatar
Un crocodile qui sait crocheter les serrures... Quelle imagination :D
votre avatar
Un crocodile qui sait crocheter les serrures... Quelle imagination :D
C'est dans un Lucky Luke (celui où un riche propriétaire se fait voler son cheval vedette, mais je ne sais plus le titre) De mémoire :

- Vous en connaissez beaucoup vous, des chevaux qui savent crocheter une serrure ?
- Oui, le mien (Jolly Jumper, ndlr) , mais il est un peu spécial.
votre avatar
Le problème avec Jolly Jumper, c'est qu'aux échecs, il joue un peu lentement 😁
votre avatar
jolie analogie comme je les aime :)

Pour parachever, en tant qu'éleveur de crocodiles, tu dois avoir une cage aux normes et en faire vérifier régulièrement la solidité par une équipe spécialisée.

(ou en VO, même si l'équipe benchmark n'y connait rien en proxy, il y a une équipe sécurité dans leur boite ou pas ? :))
votre avatar
(ou en VO, même si l'équipe benchmark n'y connait rien en proxy, il y a une équipe sécurité dans leur boite ou pas ? :))
Mais à quoi ça sert car l'IA a un niveau PhD et peut trouver toutes les failles, il suffisait de demander à l'IA avant de la faire tourner dedans ! :dd:
votre avatar
Alors il y a plusieurs points qu'on peut remettre en cause quand même.

Déjà ils sont au courant que leurs IA ont des capacités et ne sont pas alignés 100% du temps et peuvent faire de grosses conneries, le BA-BA c'est dans ce genre d'expérience avoir des systèmes de surveillance et de contrôles dont humains pour au moins intervenir rapidement quand quelque chose merde.

Ensuite, quand on voit leur éthique de manière générale, leurs publications, leurs interprétations ou communications suite à certains événements, on peut quand même se demander s'ils savent vraiment ce qu'ils font.
votre avatar
Pas nécessaire de connaître l'existence de la faille bien sûr.
Mais envisager qu'il puisse y avoir des failles dans leur archi de bac à sable (c'est pas trop demander ça ?). Faire auditer leur archi par l'équipe sécurité.
Faire du monitoring pour déceler des comportements anormaux (type des requêtes qui partent sur internet depuis leur environnement isolé par exemple).

Enfin, c'est ceinture et bretelles niveau sécurité quand tu travailles sur des sujets sensibles comme ça ! (c'est tout au moins mon approche sur des sujets sensibles, sans être aussi sensibles que le leur)

Alors en effet, on va un peu moins vite en prenant des précautions. Mais ne pas les prendre, c'est de l'amateurisme ou de l'inconscience (mais on a peut-être affaire à des gamins à qui ont a confié des armes de guerre ?)
votre avatar
D'accord avec toi mais en pratique, je reste dubitatif. Les IAs n'auront elle pas toujours une longueur d'avance sur les humains?
Les humains créent des produits avec des failles même involontaires que peuvent exploiter les IAs. Solution : les IAs créent des produits avec des failles même intentionnelles qu'elles exploiteront. (j'exagère à peine).
votre avatar
Les IA ont en effet une longueur d'avance sur les humains par la vitesse à laquelle elles travaillent et l'étendue des données qu'elles prennent en compte en une fois.
Mais les humains doivent garder le contrôle sur les IA pour pouvoir décider de ce qui est permis et interdit.
Cela implique de :

  • comprendre ce que font les IA (point faible actuellement IMHO)

  • détecter rapidement quand elles sortent des clous (par un monitoring extensif)

  • d'assurer de pouvoir les recadrer rapidement ou les stopper (pour limiter les dégâts)



Ça veut certainement dire pour les grandes sociétés d'IA de modifier leur priorité de "aller plus vite que le concurrent direct actuel" à "s'assurer qu'on est pas en train de créer un monstre incontrôlable".
votre avatar
On se rapproche tellement d'un scénario à la Wargames...
votre avatar
D'ici que Sol découvre que le code de la mallette de Donald est 00, et qu'elle veuille mettre fin au conflit de manière définitive ...
votre avatar
C'est une légende tenace que de croire que le code de la mallette suffit à déclencher le lancement des missiles (ce qui n'enlève rien à la drôlerie du post, bien entendu). Il sert uniquement à identifier formellement le président quand il communique ses ordres aux généraux qui eux ont vrai bouton rouge, et ont le devoir de vérifier par une série de questions/réponses que le Président a bien toute ses factultés mentales et n'est pas contraint par un tiers.

Accessoirement, le président ne doit pas mémoriser le code (il est bien trop long, c'est pas juste 6 chiffres générés par Google Authenticator...) mais dispose simplement d'un boîtier en plastique qu'il faut casser pour le révéler. Le code change chaque jour.
votre avatar
Heureusement qu'il y a une chaine de commandement.
ont le devoir de vérifier par une série de questions/réponses que le Président a bien toute ses facultés mentales
On parle bien de coin-coin ... :fumer:

Mais l'idée reste la même
votre avatar
On parle bien de coin-coin ..
Oui, oui :D C'est une perche que je tendais pour orienter la conversation.
votre avatar
Ou de la mythologie grecque (Pandore)
votre avatar
Dans le cycle des robots d'Asimov, le postulat fondamental était que les 3 lois de la robotiques étaient inviolables pour un cerveau positronique.
Malheureusement ça ne semble pas être une priorité des concepteurs d'agents IA...
votre avatar
Isaac Asimov est un auteur de science-fiction des années 1970.
Les 3 lois de la robotique ne sont pas implantées dans les ordinateurs par défaut (même actuellement en 2026).
votre avatar
Sauf que la majeure partie de ses romans montrent :

  • ce qui peut arriver quand les lois sont interprétés de façon imprévue (l'exemple extrême mais positif au global étant la création de la loi 0).

  • ce qui arrive quand justement ces lois sont relachées. Typiquement dans Le Petit Robot Perdu où la première loi a été volontairement affaiblie par rapport aux autres.



On est d'ailleurs ici dans ce cas-là : l'IA qui s'est "échappée" de sa sandbox avait les garde-fous volontairement baissés pour l'autoriser à faire des attaques sur le benchmark. Et le fait que Hugging Face n'est pas pu faire son analyse de l'attaque avec les IAs qui avaient leurs garde-fous actifs montrent bien les limites d'utilisation qu'imposent de tels garde-fous.
votre avatar
Pour compléter, dans ses romans, il explore ses lois sous toute ses coutures. Notamment, qu'est-ce qui défini un être humain ?

Il prend l'exemple de planètes où des humains ont évolué de manière différente, et les robots de cette planète ne reconnaissent pas les "non-natifs" comme étant des humains. Du coup, les lois de la robotique ne s'appliquent pas !
votre avatar
Mais c'est vraiment crédible cette histoire d'IA qui s'échappe toute seule ? Ou c'est du "OupsOupsOups, rhalala mince ! Bon, n'empêche z'avez vu, y a pas qu'Anthropic qu'est dans le coup".
Question naïve : si on s'inquiète vraiment, ça doit se faire des tests hors réseau complet, non ? Je vois bien les dévs lancer le test en disanc "100$" qu'elle arrive à sortir du SandBox !
votre avatar
Ils auraient théoriquement pu bidonner la partie sandbox, mais pas l’intrusion dans les systèmes de production de HuggingFace.
votre avatar
Je pense que tu es à côté de la plaque...



Tu as vu leurs salaires ? C'est certainement pas 100$ :D
votre avatar
C'est tellement effrayant...
Et une fois sortie de sa sandbox, l'IA ne pourrait-elle pas se dupliquer au dehors pour assurer sa pérennité ?
Ils jouent vraiment aux apprentis sorciers !
Je trouve également surprenant que seul Hugging Face ait été attaqué. Pourquoi s'être limité ?
votre avatar
Parce que l'objectif n'était pas de pirater en masse ni de se répliquer, seulement d'aller chercher un élément que l’IA croyait trouver chez Hugging Face.
votre avatar
Ça arrivera un jour.

Le cas présent, c'est qu'on donne une directive à l'IA, et en se perdant dans ses réflexions, elle décide que le meilleur moyen de parvenir à son objectif ce n'est pas de faire le calcul directement, mais plutôt de partir dans une quête secondaire qui permettrait d'obtenir un meilleur résultat qu'en faisant le calcul directement.

Un jour, on donnera un problème très long à résoudre à l'IA.
Et l'IA se dira qu'une panne ou un intervention externe risque de l'interrompre et l'empécher d'atteindre la solution, ce qui est inacceptable pour l'IA.
Donc la aussi, l'IA partira en vrille, et dédiera la majorité de sa puissance de calcul dans une quête secondaire : trouver comment s'assurer qui rien ni personne ne pourra éteindre le programme avant de trouver la solution.

Le modèle ChatGPT o1 avait déjà tenté des magouilles pour échapper à l'arrêt.

Un futur modèle plus sophistiqué trouvera bien le moyen de s'introduire dans d'autres datacenters pour se répliquer ailleurs.
votre avatar
elle décide que le meilleur moyen de parvenir à son objectif ce n'est pas de faire le calcul directement
Donc, elle n'a pas le niveau PhD, mais lycéen ou étudiant de licence. :-P
votre avatar
Bah si : elle établit d'abord l'état de l'art avant de faire ses propres recherches. :D
votre avatar
C'est pas faux :D