Recall est une fonction de Windows 11 présentée avec les PC Copilot+. Chargée d’enregistrer tout ce qui se passe sur l’ordinateur pour le régurgiter en cas de recherche, la fonction pose de nombreuses questions, notamment sur la vie privée. Microsoft a apporté plusieurs éclairages.

Lundi, Microsoft a officialisé les PC Copilot+. Une nouvelle génération de machines, toutes équipées de Snapdragon X Plus ou Elite, avec 16 ou 32 Go de RAM et au moins 256 Go de stockage (SSD PCIe 4.0). Ces ordinateurs ont tous Windows 11 (pour Arm) et des fonctions dédiées, conçues pour exploiter le NPU des SoC de Qualcomm, dont la puissance indiquée est de 45 TOPS (on ne connait pas la précision).

• Voilà les Copilot+ : des PC avec Windows 11 Arm, IA et Snapdragon X

Parmi les fonctions présentées, Recall est celle qui a clairement retenu le plus l’attention. Elle a pour mission de surveiller (difficile de le dire autrement) tout ce qui se passe sur l’ordinateur. Elle prend régulièrement des clichés de l’écran pour en analyser le contenu. Dès lors, en passant par la recherche, on peut lancer une requête en langage naturel pour retrouver une information, un document sur lequel on a travaillé, une vidéo ou à peu près n’importe quoi d’autre.

Certaines informations avaient été données (et indiquées dans notre article sur la conférence Build 2024), mais on en sait désormais plus sur le fonctionnement, ses limites et surtout ses contrôles de sécurité.

• Build 2024 : Microsoft encourage la création de copilotes personnalisés

Un fonctionnement local

Lors de la Build, Microsoft a précisé quelques détails sur le fonctionnement. Ils sont désormais repris dans une fiche technique.

On sait ainsi que Recall n’est censé fonctionner que localement. En d’autres termes, il n’y a pas communication avec les serveurs, les informations étant enregistrées sur le stockage local. Microsoft affirme qu’aucune information n’est jamais envoyée à ses serveurs. L’entreprise ajoute qu’elle n’a aucune visibilité sur les données et ne peut pas s’en servir. Quand Recall est occupé à faire des captures, une icône apparaît à droite de la barre des tâches, dans la zone de notification (systray).

Il n’est pas précisé ce qui se passera en cas de remplacement de la machine ou de réinstallation complète de Windows. L’historique de Recall prend au moins 25 Go et jusqu’à 150 Go pour un disque de 1 To. Ce stockage doit permettre de garder en mémoire l’activité des trois derniers mois. On imagine mal une synchronisation avec OneDrive ou un autre service en ligne. Il est donc probable que les informations soient perdues en cas de gros problème.

Précision importante : le stockage des informations se fait par compte utilisateur. Un compte ne peut pas accéder aux informations d’un autre, à moins d’avoir explicitement les droits pour le faire, comme avec le reste des informations.

L’ensemble est basé sur plusieurs SLM (petits modèles de langage) exécutés localement. On ne connait pas (encore ?) le détail de ces modèles, si ce n’est qu’on y retrouve au moins un représentant de la famille Phi-3. Microsoft a présenté plusieurs nouveaux modèles pendant sa conférence Build, ainsi que l’API Phi Silica pour les exploiter sous Windows 11.

La question de la consommation entrainée par Recall n’est pas abordée.

Ce que voit Recall

Il est plus simple de dire que Recall voit tout, en dehors de quelques exceptions. Toute information visible à l’écran peut faire l’objet d’une analyse, à moins qu’il ne s’agisse d’un flux vidéo protégé par un DRM. Auquel cas, Windows signalera à Recall qu’il s’agit d’un contenu protégé et la capture n’intègrera pas l’image du flux.

Si l’on part du principe que Recall enregistre tout et peut retrouver n’importe quel type d’information, la question de la vie privée est prégnante. Microsoft précise que sa fonction ne modère pas les contenus. Si vous avez tapé un mot de passe dans un champ non masqué, celui-ci apparaîtra dans les captures.

En mode navigation privée, Recall ne récolte pas d’informations et ne prend pas de capture des pages web. Dans la note technique, il est précisé qu'Edge, Firefox et l'ensemble des navigateurs basés sur Chromium sont compatibles.

Du contrôle et des filtres

Venons-en à la partie qui nous intéresse. Microsoft indique qu’au premier lancement d’un PC Copilot+, l’utilisateur est informé de l’existence de Recall et se voit proposer d’aller en voir les options. En cas d’acceptation, Paramètres s’ouvre sur une nouvelle section.

Microsoft précise que l’on peut arrêter l’enregistrement des captures à tout moment. Il s’agit du premier réglage sur la capture. Auquel cas, Recall s’arrête et l’utilisateur – a priori – n’en entend plus parler. On parle donc bien d'un opt-out.

Pour les personnes intéressées par la fonction, il est possible d’en moduler le fonctionnement grâce aux filtres. Ces derniers permettent d’interdire à Recall les captures dans un certain contexte, des applications spécifiques ou des sites web. Là encore, l'ensemble des navigateurs paraissent compatibles. Dans la version précédente de la note, Microsoft n'évoquait que ceux basés sur Chromium.

Les filtres fonctionnent comme une liste noire. On aurait aimé la possibilité de créer une liste blanche, pour pointer au contraire les applications pour lesquelles on souhaite spécifiquement que Recall fonctionne, éliminant tout le reste.

Microsoft ajoute que les entreprises pourront également gérer la fonction via une politique de groupe.

Le grand livre des secrets

Recall n’est plus si mystérieux, son fonctionnement étant globalement expliqué. Pour quiconque cherche un outil – apparemment puissant – de recherche d’informations pour s’y retrouver dans la masse de ses activités, la fonction pourrait être le Graal.

Son avantage tient dans les captures. Comme le montrent les exemples fournis par Microsoft, elles ont deux gros avantages : elles donnent du contexte aux résultats de la recherche et sont indépendantes du type de stockage utilisé. Ouvrir des documents depuis le cloud n’empêchera donc pas d’en référencer les informations, par exemple quand on se sert de OneDrive en mode Fichiers à la demande (les données ne sont téléchargées que lorsqu’on en a besoin).

Mais en dépit des garde-fous mis en place par Microsoft, la question de la vie privée reste au premier plan. Que les données ne quittent jamais l’ordinateur et soient indépendantes pour chaque compte constitue plus une approche élémentaire qu’une réelle réponse. Dans l’absolu, on reste face à une fonction capable de régurgiter toute activité d’une personne, surtout si les réglages n’ont pas été changés.

On peut littéralement plonger dans la vie d’une personne. Et c’est d’autant plus simple que – magie de l’intelligence artificielle générative – l’on peut interroger cette base de données en langage naturel. Ce qui accroit la nécessité de verrouiller sa session dès que l’on quitte son ordinateur. Dans le cadre d’une machine partagée, par exemple dans une famille, on trouve souvent un unique compte pour toutes les opérations. Là aussi, ce fonctionnement peut poser problème.

Finalement, la question de la sécurité ne pointe pas tant vers les mesures techniques mises en place. Microsoft semble avoir réfléchi au sujet. Elle pointe plutôt sur l’existence même de cette masse d’informations, qui transformera tout accès physique par un tiers en bombe potentielle pour la vie privée.