Fantasmes et vrais dangers de l’intelligence artificielle sur la cybersécurité

L’intelligence artificielle et les grands modèles de langage sont-ils les messagers d’une révolution à venir dans le monde de la cybersécurité ou seulement d’une évolution ? La seconde, si l'on en croit plusieurs sociétés spécialisées. L’IA fait tout de même face à plusieurs risques, notamment sur la question des données.

L’intelligence artificielle était omniprésente aux Assises de la cybersécurité, notamment car elle touche de nombreux domaines. Durant la conférence d’ouverture menée par Thales, Éric Brier en a dressé un portrait inquiétant.

« Les grands modèles de langage sont arrivés à maturité et, peut-être à part quelques experts, tout le monde a été pris un petit peu de court ». La question est maintenant de savoir si on va aller au-delà de l’effet « wahoou » qu’ils ont provoqué auprès du grand public.

• Des recherches des années 50 à GPT-4 en passant par BERT, quelles évolutions amènent les grands modèles de langage ?
• Où en sont les modèles d’IA génératifs ?

Le surentrainement, l’embarqué et l’open source

Pour le directeur technique de Cyber Defence Solutions chez Thales, la question est liée à celle du surentrainement des intelligences artificielles afin de « faire des choses très concrètes », comme « générer du code, des fichiers de configuration, des règles et les traduire quand on veut passer d'un système à un autre ».

Autre point important : la capacité pour l’IA de prendre place dans des systèmes embarqués. Contrairement à l’entrainement des IA qui demande de très grosses puissances de calcul, il est possible ensuite de les exploiter sur des configurations bien plus modestes, notamment si on a utilisé « un modèle pas trop gourmand ».

Vient enfin le sujet de l'open source : « Au-delà de la simple question du coût des licences, c'est aussi un vecteur de confiance et de contribution de toute une industrie ».

Si ces trois éléments (surentrainement, embarqué et open source) sont réunis, on peut s’attendre à un déploiement massif des IA « dans tous les systèmes d'informations de toutes les entreprises ». Et ce ne sera pas sans conséquences.

« Le vrai danger » de l’IA

Pour Éric Brier, « le vrai danger, c'est résolument un déploiement massif de l'IA sans avoir pris la peine de déployer les protections adéquates ». Dans le même temps, l'IA pose des problèmes cybers (au sens large), car elle peut faire l'objet d'attaques inédites :

« L'empoisonnement des données d'entraînement, faisant qu'on a un modèle qui ne se comporte pas comme souhaité. L'extraction des données d'entraînement par une forme de reverse engineering. On a pu prouver qu'à partir du modèle, on peut reconstituer partiellement les données qui ont servi à l'entraîner. Ça pose des questions dans le domaine des données personnelles. Ça peut poser des soucis de protection de la propriété intellectuelle […]

On a la corruption des modèles, en particulier les modèles qui restent auto-apprenants sur le terrain. On peut mener des attaques qui vont petit à petit modifier des choses, qui vont amener le modèle à dériver et à la fin avoir un comportement qui n'est pas du tout celui voulu. Et peut-être que le plus spectaculaire, ce sont les données spécialement conçues pour tromper l’IA ».

Durant la conférence, un exemple de panneau Stop était présenté, avec quelques marquages spécialement étudiés pour tromper une intelligence artificielle, alors qu’un être humain ne pourrait pas se laisser berner. On imagine facilement les conséquences pour une voiture autonome.

Le côté boite noire est aussi un problème : il n'est pas toujours simple de savoir si l’intelligence artificielle donne un mauvais résultat ou si elle a été leurrée. La différence est subtile, mais cruciale.

Pour Thales, « c'est l'ensemble du pipeline de données qui amène au résultat de l'intelligence artificielle qu’il va falloir sécuriser », en rappelant à juste titre que l’on juge toujours la sécurité d’un système à son maillon le plus faible.

Chez Carrefour, un « petit changement a tout changé »

Durant les Assises, Guillaume Cécile (RSSI du Groupe Carrefour) proposait un retour d’expérience sur l’utilisation de l’intelligence artificielle dans un chatbot pour répondre à des questions de clients, rien d’exceptionnel en soi.

Dans les fonctions proposées aux utilisateurs, il y a la possibilité de donner la liste des magasins se trouvant à proximité. Supermarchés et hypermarchés sont mélangés, le tri se faisant uniquement de manière alphabétique. Mais, d’un coup, le bot s’est mis à proposer les hypermarchés en premier, puis les supermarchés ensuite.

Après enquête, la raison a été trouvée : « Dans le nouveau fichier, il y avait les hypers au début et les supermarchés qui suivent ». L’intelligence artificielle a reproduit trop fidèlement cette présentation : « Ce petit changement a tout changé pour nous », affirme Guillaume Cécile. Un exemple qui montre à quel point le moindre paramètre peut avoir de l’importance.

Révolution ou évolution dans la cybersécurité ?

Autre question posée durant la conférence d’ouverture : va-t-on vers une révolution ou une évolution dans la cybersécurité ? Éric Brier à sa réponse :

« On a ce mythe de l’IA qui trouve toute seule la cyberattaque qui casse tout. Moi, je serais plutôt dans le domaine de l’évolution. Ce qui génère cette crainte, on peut l'attribuer aux réseaux adversaires génératifs. Et pour simplifier un petit peu, c'est comme si en cyber, on remplaçait l'équipe rouge et l'équipe bleue par deux IA qui se battent ».

Il fait un parallèle avec les jeux vidéos, où l’IA anime des PNJ et/ou des adversaires. On a alors deux types de résultats : « Soit l’IA fait ce que fait l'être humain, mais elle le fait mieux et plus vite. Ou alors l’IA trouve dans les jeux un glitch, ce qu'on appelle en cyber une vulnérabilité. Si je pense qu'on ne va pas assister à quelque chose d'absolument dramatique, c’est que l’IA est entraînée souvent à partir de modèles humains et donc elle va jouer dans le même bac à sable ».

Quand l’IA va chercher ce que personne n'a vu, elle fait le même travail que les « pentesteurs », des experts qui cherchent des vulnérabilités dans des systèmes : « Ils mettent des années d'expérience, leurs connaissances de la cyber et des systèmes qui protègent. Donc le vrai apport de l'IA c'est d'accélérer et d'optimiser les processus utilisés dans les attaques ». Un avis partagé par plusieurs acteurs.

Yogosha, Yes We Hack, NBS : « all-in » sur les pentesteurs (l’IA en support)

Nous avons profité des Assises pour interroger des sociétés menant justement des attaques (à la demande de clients) pour tester la robustesse de leurs systèmes ; ce qu’on appelle généralement les bugs bounty.

Chez Yogosha, on nous explique que les équipes R&D « commencent à intégrer des fonctionnalités d’IA dans les règles d’attaques », mais rien de plus. Chaque pentesteur a sa propre manière de faire – ils peuvent évidemment s’appuyer sur l’IA et ne s’en privent pas – mais le modèle de Yogosha repose uniquement sur l’humain qu’elle met en relation avec ses clients, pas l’intelligence artificielle.

Même position chez Yes We Hack, qui nous confirme que l’IA est utilisée par ses hunters – que ce soit pour les attaques ou les rapports. Là encore, la société ne propose que des mises en relations avec des humains, pas avec des outils d’intelligence artificielle.

NBS System (qui appartient à l’opérateur Celeste) est sur la même ligne : l’humain au centre des propositions. Contrairement à Yogosha et Yes we Hack, ce n’est pas une plateforme de mise en relation, mais une société qui dispose d’une dizaine de pentesteurs en interne.

Si les entreprises disent miser sur les humains pour la recherche de faille, elles confirment toutes les trois que leurs chasseurs de prime utilisent l’intelligence artificielle et que cette dernière prend de l’importante.

Deep fake et quantique s’invitent

Éric Brier termine sa présentation avec quelques craintes pour la suite des événements. Le deep fake pour commencer, « qui je pense va nous poser quelques soucis à l'avenir ». C’est déjà le cas, mais il va devenir de plus en plus difficile de repérer les faux. Bien souvent, un démenti ne permet pas de rétablir la vérité auprès de tout le monde, ce que l'on appelle le principe d'asymétrie des baratins ou loi de Brandolini.

Le mélange avec l’informatique quantique arrive en deuxième position. En effet, des chercheurs ont démontré qu'on pouvait encore améliorer les performances et la vitesse des intelligences artificielles en mélangeant les deux technologies. Voilà qui promet un futur (quand les calculateurs quantiques seront présents)… intéressant et/ou inquiétant. 

• Faut-il avoir peur de l’apocalypse quantique ?