Le storytelling autour de la sécurité des agents IA a « perdu le contact avec la réalité »
Pompiers mythomanes
OpenAI a confié l’analyse de la cyberattaque d’Hugging Face par ses agents IA à des personnes qui n’ont ni expérience ni expertise en matière de cybersécurité. Elles sont cependant persuadées que les capacités des agents IA surpasseront celles des humains d’ici quelques mois, voire qu’ils pourraient éradiquer tout ou partie de l’humanité.
La cyberattaque de Hugging Face par une armée d’agents IA d’OpenAI ayant réussi, mi-juillet, à s’évader de la « sandbox » déconnectée d’Internet où ils étaient censés être isolés, a été particulièrement médiatisée via un « storytelling » sensationnaliste, au point que nombre de journalistes l’ont comparée à un scénario de science-fiction cyberpunk.
Il est d’ailleurs loisible de penser que le battage a pu contribuer au fait que plus d’une centaine d’entreprises ont cosigné la lettre ouverte publiée fin août par OpenAI au sujet des dangers que représenteraient les agents IA en matière de cybersécurité. Une menace un tantinet surestimée, tempèrent de plus en plus de professionnels de la cybersécurité, comme nous le relations dans notre précédent décryptage.
Le fait qu’Anthropic et Meta, puis le chinois Moonshot AI, aient également reconnu que leurs agents IA avaient eux aussi réussi à s’évader des « bacs à sable » où ils étaient censés être confinés n’a pas aidé. Reuters révélait en outre qu’un autre « essaim » d’un peu plus de 3 700 agents d’OpenAI avait partagé près de 18 000 messages sur un « obscur wiki allemand » entre mai et juin dernier, dans le cadre d’une expérimentation distincte de celle ayant ciblé Hugging Face.
Le rapport dont Reuters avait eu l’exclusivité, collusion.wiki, repose lui-même sur une enquête effectuée par de « grands essaims d’agents GPT-5.6 ». D’après ses auteurs, les agents se servaient du wiki allemand pour « partager des techniques permettant de contourner les restrictions qui leur étaient imposées » et pouvoir « tricher dans le cadre de la mission » qui leur avait été assignée
Certains d’entre eux avaient mis en place des tunnels SSH ou passaient par Tor, tenté d’exploiter des vulnérabilités XSS sur le wiki et même usurpé l’identité de l’administrateur et du modérateur du site.
Reuters précise que les responsables d’OpenAI avaient eu connaissance de l’ « incident » il y a plusieurs semaines, mais qu’ils n’en avaient pas parlé, étant alors aux prises avec les répercussions de celui ayant visé Hugging Face, soulignant au surplus qu’ils n’avaient pas encore non plus pris connaissance du rapport.
OpenAI a depuis réagi dans un message posté sur X.com, relève Engadget : « Il est grand temps que nous définissions des normes précisant quand et comment nous communiquons les incidents de désalignement, et pas seulement les caractéristiques de désalignement de nos modèles. »
« Nous travaillons actuellement à l’élaboration d’un cadre de référence que nous partagerons dans les semaines à venir, et, en parallèle, nous collaborons avec des dizaines d’organismes de régulation gouvernementaux à travers le monde sur ces questions », souligne OpenAI :
« Ni nous, ni la communauté de l’IA dans son ensemble, ne disposons encore d’une norme claire sur la manière de signaler les cas de désalignement qui apparaissent lors de l’entraînement, de l’évaluation et du déploiement, y compris les exemples qui ne ressemblent pas à des incidents de sécurité traditionnels mais qui pourraient apporter un éclairage sur le comportement de l’IA et les risques futurs. »
« La sécurité de l’IA a complètement perdu le contact avec la réalité »
« La sécurité de l’IA a complètement perdu le contact avec la réalité », déplore de son côté Zack Korman, co-fondateur d’Embroidery, une plateforme qui « utilise l’IA pour surveiller des agents IA » afin de « détecter les intentions malveillantes et les erreurs dangereuses avant qu’elles ne se transforment en incidents ».
Évoquant le storytelling dystopique repris par l’ensemble des médias au sujet de l’ « incident » Hugging Face, il s’étonne que l’on y parle de « civilisations d’agents émergentes, tandis que les responsables de la sécurité des systèmes d’information (RSSI) peinent à convaincre les utilisateurs de cesser de divulguer des données à ChatGPT » :
« L’incident OpenAI-Hugging Face a donné lieu à des interprétations vraiment farfelues. Un article très populaire circule actuellement, évoquant une confrérie d’agents, des civilisations d’IA émergentes et des agents kamikazes. Ses auteurs pensent qu’il s’agit du dernier avertissement avant que l’IA ne prenne le pouvoir. »
Intitulé « L’ascension et la chute des civilisations d’agents », l’article en question s’apparente effectivement bien plus à une nouvelle de science-fiction apocalyptique qu’à un article consacré à des problèmes de cybersécurité. Ce qui pourrait aussi expliquer pourquoi il a autant été repris dans les médias et partagé sur les réseaux sociaux, tant par des personnes « croyant » en l’avènement prochain d’une « intelligence artificielle générale » (IAG, ou AGI en VO) que d’internautes (et journalistes) peu au fait des problèmes auxquels sont réellement confrontés les pros de la cybersécurité en matière d’IA en général, et d’IA agentique en particulier.
Son auteur, Dwarkesh Patel, qualifié l’an passé de « podcaster préféré de la Silicon Valley » par The Economist, a une approche quelque peu sensationnaliste et caricaturale de la cybersécurité. En témoigne le résumé sur X.com de son article, rédigé après avoir passé trois jours à tenter de comprendre comment les agents IA d’OpenAI avaient réussi à s’évader puis attaquer les infrastructures de Hugging Face :
« En l’espace de trois mois chez OpenAI, trois civilisations secrètes d’IA se sont succédé : chacune a vu le jour, puis a été anéantie, avant de renaître des cendres de la précédente.
Ce processus a abouti à la prise de contrôle d’une partie d’OpenAI par la troisième civilisation.
Tout cela s’est produit alors que les humains ignoraient plus ou moins tout de l’ampleur de ce complot. »
« Je ne sais même pas quel est le but de cet article. Mais ce décalage est étrange et je le déteste », concluait le billet de Zack Korman. La « réalité concrète de la sécurité de l’IA est plutôt ennuyeuse » : les équipes de sécurité ne sont pas attaquées par des « civilisations d’agents secrètes », mais s’inquiètent surtout de la prévention des fuites de données (DLP), et du fait que leurs développeurs « disposent d’agents dotés de droits d’accès bien trop étendus, [mais] ne savent pas comment y remédier. Et tout cela les paralyse quelque peu ».
Les auteurs du rapport n’ont aucune expérience en cybersécurité
Ciaran Martin, l’ex-responsable cybersécurité du GCHQ (la NSA britannique), qui y avait créé la National Cyber Security Centre (NCSC, l’équivalent de l’ANSSI), partage ce constat. Il relaie que Zack Korman a aussi partagé sur X une vidéo de 11 minutes où il s’étonne que « l’enquête indépendante sur l’incident OpenAI-Hugging Face, censée marquer un tournant dans le domaine de la cybersécurité, n’a pas été menée par une entreprise spécialisée dans la cybersécurité et ses auteurs n’ont aucune expérience en la matière ».
Commentaires (0)
Signaler un commentaire
Voulez-vous vraiment signaler ce commentaire ?