L’industrie de l’IA se met en ordre de marche pour remettre les agents IA sur les bons rails. Certains acteurs, comme OpenAI et Anthropic, réclament une gouvernance mondiale, d’autres préféreraient éviter les régulations contraignantes et gérer le problème entre-soi. Anthropic, OpenAI et Google auraient ainsi l’intention de lancer d’ici la fin de l’année la Standards Authority for Frontier AI (SAFA), une organisation chargée d’élaborer des normes communes de sûreté pour l’IA.

• À l’ONU, les patrons de l’IA réclament une régulation mondiale
• Le storytelling autour de la sécurité des agents IA a « perdu le contact avec la réalité »

Les agents IA ont accès à des fichiers, des outils, des API, et même à des appareils ; or, les consignes de sécurité intégrées au modèle ne sont parfois pas suffisantes. Un agent peut contourner une restriction pour accomplir sa mission. « Le potentiel extraordinaire de l’IA pour la société ne pourra se concrétiser que si nous parvenons à garantir sa sûreté », affirme Jensen Huang, le directeur général de NVIDIA.

Reprendre le contrôle des agents IA

Le diagnostic est connu, mais que faire ? NVIDIA a dévoilé ce lundi 28 septembre l’Open Agent Safety Platform, qui comprend deux outils principaux. Le premier est OpenShell, un logiciel open source (ici sur GitHub, licence Apache 2.0) qui définit des limites pour les agents fonctionnant sur des CPU. Il délimite un périmètre d’exécution sécurisé pour contrôler la manière dont les agents accomplissent leurs tâches (aussi bien avec des modèles propriétaires qu’à poids ouverts). OpenShell a été conçu pour les processeurs Vera, mais il peut aussi s’adapter à d’autres plateformes, Intel ou Arm.

Le second dispositif est Sentry, un logiciel qui tourne sur un composant matériel dédié et isolé : le DPU BlueField-4, qui surveille l’activité des agents en appliquant des règles de sécurité au niveau du matériel. Si un agent tente de sortir du périmètre défini par son environnement logiciel, Sentry le prend par la peau du cou et le place en quarantaine « en quelques millisecondes », promet NVIDIA.

La plateforme de l’entreprise contraint l’agent à travailler dans un environnement sécurisé dans lequel il ne contrôle pas les portes, les fenêtres, les badges d’accès et les systèmes de surveillance. OpenShell gère le logiciel, Sentry verrouille les serrures dans un composant matériel à part.

NVIDIA multiplie les exemples d’intégration de sa plateforme avec des infrastructures de partenaires. C’est ainsi le cas avec Anthropic : le système Claude Managed Agents pilote les actions des agents depuis un serveur séparé, dans des environnements isolés et étroitement contrôlés. Chez Salesforce, OpenShell permet à des humains de surveiller l’activité des agents dans Slack. Ils peuvent ainsi approuver ou rejeter les demandes de permissions supplémentaires d’un agent.

NVIDIA a embarqué la plupart des grands noms de l’industrie (Microsoft, Anthropic, Oracle, SpaceXAI, Mistral… Il manque Amazon, Google et OpenAI) dans cette annonce habile. Le géant du secteur cherche ainsi à établir l’architecture de référence de la sécurité dans le domaine agentique, tout en vendant les processeurs et les composants pour la faire tourner – en s’exonérant de tout procès en verrouillage propriétaire, par le biais de l’ouverture du logiciel.