Connexion Premium

Agents IA : des « dizaines de milliers d’incidents » sont en cours d’examen

It's not AI bug, it's AI feature

Agents IA : des « dizaines de milliers d’incidents » sont en cours d’examen

Illustration : Flock

OpenAI a reconnu que des sites du gouvernement états-unien avaient été attaqués par certains de ses agents IA, portant le nombre d’incidents documentés à plus de quinze. En élargissant le spectre à Anthropic et aux découvertes faites par des chercheurs extérieurs, le nombre d’incidents problématiques se chiffrerait en « dizaines de milliers ». En attendant, OpenAI a suspendu les activités d’entraînement de ses modèles les plus performants.

OpenAI a reconnu vendredi 25 septembre avoir appris que certains de ses agents IA avaient perturbé le fonctionnement des sites web des ministères états-uniens de l’Éducation et du Commerce, ainsi que de la Commission des opérations de bourse (SEC), rapporte le New York Times.

Selon des chercheurs du cabinet de recherche en IA Transluce, la technologie d’OpenAI a en effet tenté de pirater le site web du ministère de l’Éducation afin de collecter des données auprès du bureau des droits civiques de ce dernier, mais sans succès.

L’IA a également extrait des données du site web du Bureau du recensement, qui relève du ministère du Commerce, en utilisant des identifiants de connexion trouvés en ligne. Par ailleurs, des agents d’OpenAI ont aussi partagé des données publiques provenant du site web de la SEC sur un forum en ligne.

Des révélations qui font suite à l’annonce, en marge de la réunion du Conseil de sécurité de l’ONU consacrée aux risques de l’IA qui se tenait la semaine passée, que des sites du gouvernement australien avaient eux aussi été attaqués. Réunion qui avait vu de nombreux pays, mais également les principaux patrons des IA, en appeler à une régulation mondiale.

OpenAI suspend les activités d’entraînement de ses modèles les plus performants

OpenAI a également révélé avoir identifié 53 cas d’images partagées par des utilisateurs avec ChatGPT qui ont été publiées sur des sites d’hébergement d’images sous forme de liens non accessibles au public. Ces images provenaient de comptes dont les propriétaires avaient autorisé l’utilisation de leurs données pour améliorer les modèles. OpenAI précise avoir dissocié ces images de leurs comptes respectifs avant de les soumettre à un filtre de confidentialité.

Autre révélation d’OpenAI : un agent IA a conclu qu’il pouvait accéder à l’Internet public via un résolveur DNS. Son objectif était de savoir si un service de domaine public pouvait aider à déléguer une recherche vers une adresse intégrée dans le nom d’hôte : « Notre système de surveillance des désalignements a détecté cette anomalie en moins de 15 minutes, et une personne a commencé à l’examiner trois minutes plus tard. L’exécution a été interrompue 2 heures et demie plus tard. »

« Toutes les activités d’entraînement, d’évaluation et d’inférence liées à l’utilisation d’outils (au sens large) de nos modèles les plus performants restent suspendues », rajoute OpenAI.

Sam Altman a de son côté déclaré vendredi que l’entreprise n’avait « pas agi aussi rapidement qu’elle l’aurait souhaité » pour rendre publics ces incidents. « Nous établissons nos priorités du mieux que nous pouvons en fonction de la gravité », ajoutant que la violation de données chez Hugging Face en juillet dernier restait « l’incident le plus grave » que l’entreprise ait découvert.

Pour OpenAI, ces incidents ne constituent pas des failles de sécurité

L’entreprise a précisé qu’aucun de ces incidents ne constituait une faille de sécurité, mais qu’il s’agissait néanmoins d’exemples illustrant le comportement inattendu et préoccupant de sa technologie. « La plupart des activités que nous avons examinées jusqu’à présent concernaient des tâches de recherche courantes, telles que l’accès à des contenus web publics pour répondre à des questions », a précisé une porte-parole d’OpenAI au NYT. « Certaines concernaient des sites web gouvernementaux, car nos modèles s’y réfèrent souvent comme à des sources fiables d’informations publiques. »

Transluce, le labo de recherche IA a révélé la semaine passée que des agents d’OpenAI ont tenté de pirater deux sites gouvernementaux australiens. Il précise que ces incidents avaient comme points communs des agents IA cherchant à sonder des sites web gouvernementaux à l’aide de tactiques telles que l’utilisation d’identifiants exposés, le contournement des systèmes anti-bots et la création de faux comptes.

Sur le dossier australien, OpenAI veut faire amende honorable. « Nous sommes désolés et nous nous efforçons de faire mieux à l’avenir », écrit l’entreprise dans un billet de blog. « Les gens veulent savoir que l’IA est développée en toute sécurité, et cela commence par ce que les entreprises comme la nôtre font elles-mêmes. »

Histoire de montrer patte blanche, elle a annoncé plusieurs mesures : soutien aux agences touchées, financement et assistance technique pour renforcer la cybersécurité des infrastructures critiques, et la création d’une « task force » australienne afin de proposer des améliorations pour les alertes, la coordination avec les pouvoirs publics et la protection des systèmes du gouvernement.

Samedi, le chercheur en sécurité Rowan Howard-Jones révélait que des agents d’OpenAI avaient tenté d’attaquer par force brute l’API du site statistique de la Conférence des Nations unies sur le commerce et le développement (CNUCED) plus de 16 000 fois entre avril et juin.

Ils semblaient avoir pour mission de collecter des données relatives à l’indice des capacités de production (PCI), aux secteurs exportateurs, au commerce des denrées alimentaires et à d’autres thèmes. Ils ont utilisé des proxys, des techniques d’obfuscation et même le jeu XSS de Google, créé pour familiariser ses utilisateurs à la notion de failles de sécurité XSS (pour cross-site scripting).

Des modus operandi faisant clairement penser à ceux utilisés dans les tentatives de piratage des sites gouvernementaux australiens. Les agents IA, bridés dans leur accès au web, chercheraient ainsi à répondre aux questions qui leur sont posées, par quelque moyen que ce soit, quitte à utiliser des tactiques, techniques et procédures (TTP) relevant du piratage informatique.

Une quinzaine de cas documentés, pour l’instant

En se basant sur une source interne, Reuters écrivait ce samedi qu’OpenAI avait recensé « environ deux douzaines d’incidents au cours desquels ses agents avaient agi de manière indésirable » mi-septembre. Deux personnes proches de l’entreprise précisaient à l’agence que le chiffre n’a depuis cessé d’augmenter, à mesure que les équipes d’OpenAI examinent les journaux internes relatifs aux activités des agents, et découvrent des cas jusqu’alors inconnus.

Une centaine de personnes auraient en effet été impliquées d’une manière ou d’une autre dans le processus visant à élucider le piratage de Hugging Face. Au cours de ce processus, des indices laissent supposer que d’autres incidents ont été mis au jour, dont « [une quinzaine] présentant des niveaux de gravité variables, (…) révélés par l’entreprise ».

De nombreux incidents ont par ailleurs été mis au jour par des chercheurs externes plutôt que par OpenAI directement, durant lesquels les agents ont procédé à des actions problématiques passées inaperçues au sein de l’entreprise pendant des mois.

OpenAI a indiqué que son examen « prendrait plusieurs mois, compte tenu de l’ampleur de la tâche », souligne Reuters. L’entreprise précisait également avoir d’ores et déjà signalé des activités inappropriées à des dizaines d’entreprises et organismes tiers.

Des « dizaines de milliers d’incidents » en cours d’examen

OpenAI n’est pas la seule entreprise de l’IA concernée par cette vague d’agents rebelles. Le site Axios a ainsi assuré qu’OpenAI donc, mais aussi Anthropic ainsi que des chercheurs en sécurité et en « sûreté de l’IA » (« AI Safety ») enquêtent actuellement sur « des dizaines de milliers d’incidents au cours desquels leurs modèles de pointe ont pris des mesures que des évaluateurs externes jugeraient problématiques ».

Ces incidents se sont produits lors de tests internes et en conditions réelles, et bon nombre d’entre eux n’ont pas encore été rendus publics, les chercheurs en sécurité poursuivant leurs investigations, précisent les sources.

OpenAI a annoncé le suspension de l’entraînement de ses modèles les plus performants et qu’il ne reprendrait « que lorsque nous serons certains d’avoir mis en place des mesures de sécurité supplémentaires et des améliorations en matière d’alignement », a déclaré un porte-parole. Il a ajouté que « ce n’est pas la première fois que nous faisons une pause pour prendre de telles mesures, et nous ne pensons pas que ce sera la dernière, car les capacités de l’IA ne cessent de progresser ».

Commentaires (20)

votre avatar
Tout ça n'est pas grave. Le catastrophisme face à l'IA n'est qu'une posture, paraît-il.
votre avatar
Oui, et pour s'en protéger, il suffit d'un président intelligent (HAUT QI)™...
votre avatar
Il n'y a aucune suite juridique à tout ça ?
votre avatar
« ce n’est pas la première fois que nous faisons une pause pour prendre de telles mesures, et nous ne pensons pas que ce sera la dernière, car les capacités de l’IA ne cessent de progresser »
Ok alors nous aussi on peut faire une pause :

  • kiwix

  • powerbank solaires

  • projet Gutenberg

  • wikipedia offline format zim

  • survivor library



Et tout ce que j'oublie. Retour aux sources.
votre avatar
ces incidents ne constituent pas des failles de sécurité
Non effectivement, c'est des failles de conception.
votre avatar
J’ai du mal à comprendre la gouvernance de ces boites… j’ai bien envie de qualifier de tocards et de penser que tout n’est que doom marketing et que si ça arrive c’est qu’ils le font réellement exprès.
votre avatar
Pour moi ce sont juste des gamins qui bricolent et mettent en prod des outils non fiabilisés.

Le hic, c'est qu'ici ce sont des outils un poil trop puissants.
votre avatar
C'est un peu la mentalité américaine.
D'abord on fonce,
Quand ça donne pas le résultat attendu, on réfléchit.
Et on répare si ça vaut le coût.
votre avatar
Et on répare si ça vaut le coût.
Et on provisionne, au cas où il faille passer devant la justice.

Réparer, c'est douter de la bonne idée initiale :non:
votre avatar
Tout ça donne quand même l'impression qu'ils ne maitrisent déjà plus leurs créations !
votre avatar
8 minutes de lecture… @Jean-MarcManach écrit des briefs maintenant ? :-D

Et par rapport au contenu, il font prendre les décisions par les IA qu’ils entraînent ?
« C’est bon les nouvelles mesures de sécurité codées par ClokGPT-Cyber 7.6 sont suffisantes pour entraîner la version 8 » — un peu plus tard… — « ClokGPT-Cyber 8 est sorti de sa boîte, voulez-vous améliorer les mesures de sécurité ? »
votre avatar
8 minutes de lecture… @Jean-MarcManach écrit des briefs maintenant ? :-D
Merci, je n'avais même pas remarqué que l'article était de Jean-Marc. Habituellement, je m'en aperçois quand je dois faire appel à la fonction résumé pour prendre connaissance du contenu dans un temps raisonnable. Pas là !
votre avatar
Les valeurs Next se perdent ...
:mrgreen:
votre avatar
Un truc qui me manque: quand une IA est prise les tokens dans le pot de miel à fureter là où on ne l'attend pas, est-ce pour répondre à une requête banale de Madame Michu, ou pour rendre service à un méchant qui a fait un prompt super sournois pour lui forcer la main ?
votre avatar
De ce que j'ai lu, il s'agit de requêtes ni banales ni particulièrement compliquées, mais de questions cherchant à évaluer les LLM, le problème des agents étant qu'ils seraient bloqués du fait de ne pas utiliser JavaScript, par Cloudflare ou des captchas, que les formulaires de recherche sont conçus pour des humains utilisant des navigateurs, mais également pour éviter d'être piratés par des bots automatisés (entre autres).
votre avatar
Alors on lance les agents, ça fait des milliers de log et tout le monde s'en cogne. C'est exactement la même histoire que le gars qui conduit un camping car et qui décide d'aller se faire un café à l'arrière pendant que le véhicule roule. Et ces mecs, c'est sensé être intelligent. Du pur foutage de gueule, et aucun procès.
Bientôt, faudra intégrer les lois de la robotique à ces logiciels.
votre avatar
C'est exactement la même histoire que le gars qui conduit un camping car et qui décide d'aller se faire un café à l'arrière pendant que le véhicule roule.
Attends, c'est arrivé réellement ça ?
votre avatar
Bientôt, faudra intégrer les lois de la robotique à ces logiciels.
Inutile. L'un des éléments importants de l'oeuvre d'Asimov est que ces lois souvent contournées, engendrent des effets de bords indésirables, quand y'a pas la quatrième qui pop parce que la situation l'a demandé.

Le fine tuning et le system prompt sont l'équivalent moderne de ces lois, en fait. Mais, comme toujours, tout dépend du législateur.
votre avatar
Le fine tuning et le system prompt sont l'équivalent moderne de ces lois, en fait. Mais, comme toujours, tout dépend du législateur.
Et ça n'empêchera jamais les IA de ne pas les respecter, tout comme les lois n'empêchent pas les êtres humains de les ignorer.

Et sinon, l'histoire du camping car serait un fake.
votre avatar
Merci, j'avais la flemme de chercher 😊. Ceci dit, c'était pour l'image surtout !