Depuis sa présentation lors de l’annonce des PC Copilot+, la fonction Recall fait beaucoup parler d’elle. Désormais, on sait non seulement qu’elle ne nécessite pas obligatoirement une puce Snapdragon X pour fonctionner, mais que le potentiel de nuisance est élevé.
Windows Recall est une fonction dont l’objectif est de permettre la récupération d’une information vue au cours des trois derniers mois écoulés au moins. Ponctionnant une partie du stockage, elle prend des captures d’écran à intervalles réguliers. Le mécanisme analyse le contenu de ces images (OCR) pour en extraire des informations.
En utilisant Recall, via une requête en langage naturel, on peut ainsi retrouver des éléments de conversation, une page visitée, un document sur lequel on travaillait et ainsi de suite. La réponse est fournie avec le contexte et la capture correspondante.
Quelques jours après l’annonce, Microsoft a publié une page résumant les attributs de Recall. On y trouvait notamment des éléments de réponse à plusieurs questions évidentes. C’était le cas de la vie privée, l’entreprise précisant que tout était calculé localement et qu’aucune capture n’était transférée à ses serveurs.
Cela ne changeait rien au danger inhérent d'un réservoir aussi important de données sensibles, comme nous l’indiquions alors. Et la situation est loin d’être aussi idyllique que Microsoft la présente, surtout pour une fonction activée par défaut (opt-out). Mais ce point pourrait changer.
Recall n’est pas forcément une spécificité des PC Copilot+
Abonnez-vous pour tout dévorer et ne rien manquer.
Déjà abonné ? Se connecter
Commentaires (41)
#1
Mais c'est vraiment affreux 😱
À chaque fois que je crois qu'on a touché le fond, on arrive à me surprendre en s'enfonçant encore plus… 😭
#1.1
#1.3
De plus, vu que la capture d'écran est faite, et qu'elle est déjà là pour être analysée/traité, l'OCR n'est-il pas plus simple et plus universelle ? de plus ça rajoute une information de "contexte" (est-ce un titre, une note...) pour le texte ainsi capturé.
#1.6
#1.7
Après, il n'a pas forcément le contexte d'affichage. Il sait qu'il y a du texte qui s'affiche quelque part, mais il n'a pas la sémantique derrière, à quoi ça correspond dans le document/affichage. J'imagine que pour un document PDF, ça doit être bien dégueulasse.
Et après, tu le dis : c'est à condition que ça utilise l'API de rendu de texte. Ca doit, j'imagine, être le cas pour un grand nombre de programmes, mais pas tout. Là en tête, j'imagine que les sous-titre ne passe pas souvent par cette API et plein de programmes ont leur propre rendu (tout ce qui est jeux-vidéo).
#1.8
Mais, mais, mais ... Qui voudrait d'un appareil avec un keylogger intégré ?
Déjà que je flippe souvent de savoir ce qu'on peut trouver dans mon .bash_history ...
Historique des modifications :
Posté le 05/06/2024 à 01h11
Sans évoquer le rendu du texte, on peut imaginer que Recall capte toutes les saisies clavier, et les associent au captures d'écran.
Mais, mais, mais ... Qui voudrait d'un appareil avec un keylogger intégré ?
Déjà que je flippe souvent de savoir ce qu'on peut trouver dans mon .bash_history ...
#1.11
Moi je l'ai bloqué en écriture avec uniquement les commandes que je réutilise régulièrement 😅
#1.9
Les PDFs, ça dépend, certains ont l'air assez propre, d'autres c'est pas la même chose ;)
Et bien sûr t'as aussi le PDF qui contient un gros JPEG.
Il faudrait aussi prendre la couleur en compte (un beau texte blanc sur fond blanc ça n'apporte pas beaucoup d'information à l'utilisateur.
Pour les sous-titres, j'ai dans l'idée qu'un certain nombre de formats n'utilisent pas des de texte mais des images, donc oui, ça ça ne passerait pas. Comme tout ce qui est "bitmap" (le JPEG dans le PDF).
En gros, je te donne une réponse sur comment l'OS voit passer plein de trucs.
Dans les contre-exemples, pour des imprimantes à étiquettes, j'ai mes propres polices format bitmap "fait main" (vieille technique de jeu vidéo des années 80?). Si j'affichais une preview à l'écran, pareil, l'OS n'y verrait rien.
Photoshop ou autre outil de dessin serait un bon exemple je pense. Je croyais que Firefox aussi, mais d'après ce que je trouve, non.
#1.10
- dés windows XP (voir Me),le service d'indexation windows search, qui indexait un fichier sur deux à sa guise,
- cortana qui mélangeait tout (recherche internet, spam de msn.com, fichiers locaux, mails... sans pour autant trouver ton fichier local),
- Menu Démarrer, qui trouve toujours pas franchement ni les fichiers ni les mails, mais en plus t'ajoute de la pub dans les résultats.
la dernière fois qu'un truc marchait à peu près, c'était avec < windows 2000 (outlook 2003): pas d'index la recherche moulinait des heures, mais si tu attendais suffisamment longtemps tu trouvais ton fichier. (enfin pas le contenu des PDF / Word non plus)
Cette daube ne va toujours pas répondre à ce besoin élémentaire, va consommer une énergie folle à faire de l'OCR sur des captures d'écrans, et faire mouliner une IA.
Franchement MS devrait abandonner et utiliser des composants qui fonctionnement : sous linux le couple baloo/milou fonctionnement sans problème depuis bien 15 / 20ans (avant c'était nepomuk...), y'a parfois des pics de CPU ou d'IO quand tu viens de mettre à jour le temps d'indexer, mais ensuite tout fonctionne.
#1.2
https://next.ink/138285/windows-recall-un-fonctionnement-local-et-isole-mais/
#1.4
Surtout ceux sur windows…
#1.5
Ces actus me font ma journée en général
Historique des modifications :
Posté le 04/06/2024 à 11h59
Quelle erreur !
Ces actus me font ma journée en général
#2
#2.1
Sur un PC personnel, c'est du traitement local. Reste le PC familial partagé, mais les données personnelles sont déjà assez largement présentes (et partagées).
Sur un PC d'entreprise, ça devient plus problématique, mais les CNIL ne peuvent juger qu'au cas par cas. Une entreprise devra faire attention à son utilisation parce qu'il est admis depuis longtemps qu'il est possible pour un employé d'utiliser le PC du boulot à des fins personnelles et que ça reste de la vie privée. Mais si l'accès aux données personnelles se fait dans les mêmes conditions qu'actuellement pour les mails ou données marquées personnelles sur le PC, c'est gérable, même s'il est plus difficile de distinguer a priori les données personnelles des autres.
Elles pourraient au plus faire des recommandations.
#3
#3.1
#3.2
Tout les ordis de la maison de mes (vieux) parents sont sous linux tellement j'ai moins de noeux au cerveau de ce genre là à gérer.
Reste l'environnement pro qui a déjà été discuté ci-dessous. Les potentiels d'espionnage indus sont juste folles, les risques de dissémination (i.e. contamination de dataset d'entrainement d'IA par des données confidentielles) sont énormes.
Ah et puis le droit d'auteur aussi. Imagine un.e écrivain.e écrit tout son roman sous un traitement de texte quelconque, (sur 1 an ou 2) le draft est pillé par des screenshot, sert à entrainer une IA utilisée par un script kiddie pour écrire des romans à 3 francs-6 sous vendus sur Amazon.
L'enfer est pas seulement dans les détails, l'enfer est carrément dans l'idée générale du machin.
#3.3
#3.4
Malheureusement je ne serai qu'un milliardième de la solution et le risque que tu évoques perdurera. La bonne façon de faire serait de contraindre Microsoft à la rendre opt-in.
Historique des modifications :
Posté le 04/06/2024 à 14h25
Il est clair que le moment où cette fonction devient désactivable, mes scripts servant à configurer Windows sur les ordinateurs des usagers intégreront le nécessaire.
Malheureusement je ne serai qu'un milliardième de la solution. La bonne façon de faire serait de contraindre Microsoft à la rendre opt-in.
#3.5
#3.6
#4
#4.1
C'est eux qui prétendent avoir passé du temps à ça ?
#4.2
#5
Utilisateur: ouh, ça consomme trop de stockage local!
MyCrosoftIsBeautiful: pas de plroblèmes, on va les stocker gratuitement pour vous dans Azure
#5.1
Mais concernant les loustics, là, c'est assez probable.
#5.2
- surveillance généralisé, bien sûr
- mais aussi clonage numérique
- adoption en entreprise pour "suppléer" à la masse salariale puis la remplacer par des clones numériques
On a un potentiel "Black Mirror" absolument fantastique...
Historique des modifications :
Posté le 04/06/2024 à 11h27
Ce n'est pas le pire... il faut attendre un peu que l'adoption de l'entrainement des I.A. en leur donnant accès à nos moindres faits et gestes se fasse. Une fois cet aspect passé dans les meurs, le véritable potentiel dévastateur de la technologie pourra commencer à se réaliser:
- surveillance généralisé, bien sûr
- mais aussi clonage numérique
- adoption en entreprise pour "suppléer" à la masse salariale puis la remplacer par des clones numériques
On a un potentiel "Black Mirror" absolument fantastique...
#5.3
#6
Côté pro, je suis bloqué sur Windows 10, mais pour combien de temps encore ? Ayant comme beaucoup de monde un usage hybride du PC (check des mails perso en journée, maj de mon planning Pro/Perso/Asso/Enfants, podcasts en travaillant, pauses/actus sur Twitter et Mastodon), cette fonctionnalité représente tout simplement une menace vitale.
#7
Je viens de lire l'article Kevin Beaumont et le niveau d'amateurisme de la part de Microsoft est consternant... Par contre, je ne comprends pas deux choses :
1. Il ne parle que d'une base SQLite très légère qui contient le texte OCRisé. Les images sont-elles également stockées quelque part, au cas où ?
2. Il est question d'un chiffrement pour éviter à d'autres utilisateurs d'avoir accès aux données, mais qu'est-ce qui est chiffré exactement ? La base SQLite (avec une clé cachée quelque part dans le profil utilisateur) ? Les images ? Ou le "chiffrement" n'est qu'un ACL configuré pour empêcher un autre utilisateur d'accéder au dossier ?
#8
#9
L'informatique sert à trier, organiser des informations, jouer des algorithmes prédictifs, sortir des résultats précis, etc...
Aujourd'hui, on a tellement d'information, n'importe comment, qu'il faut un "truc" pour organiser à notre place. Sauf que ce "truc" n'est pas prédictif, et est obligé de faire de l'ocr du rendu graphique. C'est informatiquement débile de faire ça. Si on en arrive là, je me dis qu'on a atteint un point de non-maîtrise assez affolant.
#9.1
Donc quand tu lis une actu sur Google Discover qui comporte un bloc d'intégration X qui reprend une vidéo issue de TikTok, faut sortir toute la puissance d'un NPU pour retrouver la vidéo parce que ton cerveau il sait plus trop où il a vu l'info.
Mais en plus y'a pas que ça, même Microsoft dans l'ergonomie sa suite Office permet d'épingler des fichiers sur l'icône de la barre des tâches (clic droit), pratique ! Sauf que sont pas les mêmes fichiers que le "Épinglé" qui apparaît quand tu fais Fichier > Ouvrir dans la même application... Et là oui, ça illustre qu'on a complètement perdu la maîtrise de ce qu'on lance en prod, puis on s'en sert de base pour développer The Next Big Thing, qu'on maîtrise encore moins.
#10
Si quelqu'un passe par là et à de bonnes ressources...
#10.1
https://github.com/ChrisTitusTech/winutil
#11
C'est exactement ça. Vu le déséquilibre entre l'utilité ridicule de la fonctionnalité proposée, et les risques majeurs que cela fait courir à l'utilisateur (c'est quand LE spyware ultime), on peut raisonnement se demander pourquoi Microsoft met en place un tel mécanisme !
De mon coté, j'hésite entre :
● Récolter un MAX de data hyper précises pour de la pub ou pour entraîner des IAs, quitte à introduire ce rapatriement plus tard une fois que la fonctionnalité sera plus largement adoptée et surtout acceptée
● La course à l'échalote avec les autres Big Tech pour avoir une image plus tech que les autres (auprès des des clients et/ou du marché) en incorporant toujours plus d'IA, sans même se demander si les gens en veulent ou s'ils l'utiliseront
Historique des modifications :
Posté le 04/06/2024 à 14h00
C'est exactement ça. Vu le déséquilibre entre l'utilité ridicule de la fonctionnalité proposée, et les risques majeurs que cela fait courir à l'utilisateur (c'est quand LE spyware ultime), on peut raisonnement se demander pourquoi Microsoft met en place un tel mécanisme !
De mon coté, j'hésite entre :
* Récolter un MAX de data hyper précises pour de la pub ou pour entraîner des IAs, quitte à introduire ce rapatriement plus tard une fois que la fonctionnalité sera plus largement adoptée et surtout acceptée
La course à l'échalote avec les autres Big Tech pour avoir une image plus tech* que les autres (auprès des des clients et/ou du marché) en incorporant toujours plus d'IA, sans même se demander si les gens en veulent ou s'ils l'utiliseront
#12
Je vais faire l'anti-Microsoft primaire comme je l'ai déjà montré plus d'une fois, mais il n'y a que deux choix possibles à ce quack :
1) Cette phrase sous-entend que Microsoft devrait encore être composé de personnes compétentes. Ce n'est plus le cas depuis facilement Windows 8 et c'est pourquoi le niveau de sécurité actuel pour Recall a été jugé satisfaisant pour être diffusé.
2) Politique pro-sécurité ou non, la date pour révéler les CoPilot+ PC approchait et il était trop tard pour faire mieux. Il y aura peut-être des updates...
Il faut surfer sur la vague de l'IA, peut-être à n'importe quel prix. Manque de compétence dans un domaine nouveau, ou de temps... Mon choix porte sur 1).
Historique des modifications :
Posté le 04/06/2024 à 14h31
Je vais faire l'anti-Microsoft primaire comme je l'ai déjà montré plus d'une fois, mais il n'y a que deux choix possibles à ce quack :
1) Cette phrase sous-entend que Microsoft devrait encore être composé de personnes compétentes. Ce n'est plus le cas depuis facilement Windows 8 et c'est pourquoi le niveau de sécurité actuel pour Recall a été jugé satisfaisant pour être diffusé.
2) Politique pro-sécurité ou non, la date pour révéler les CoPilot+ PC approchait et il était trop tard pour faire mieux. Il faut surfer sur la vague de l'IA à n'importe quel prix. Il y aura peut-être des updates...
Mon choix porte sur 1).
Posté le 04/06/2024 à 14h32
Je vais faire l'anti-Microsoft primaire comme je l'ai déjà montré plus d'une fois, mais il n'y a que deux choix possibles à ce quack :
1) Cette phrase sous-entend que Microsoft devrait encore être composé de personnes compétentes. Ce n'est plus le cas depuis facilement Windows 8 et c'est pourquoi le niveau de sécurité actuel pour Recall a été jugé satisfaisant pour être diffusé.
2) Politique pro-sécurité ou non, la date pour révéler les CoPilot+ PC approchait et il était trop tard pour faire mieux. Il faut surfer sur la vague de l'IA à n'importe quel prix. Il y aura peut-être des updates...
Mon choix porte sur 1).
#12.1
C'est exactement les mêmes motivations qui ont amené les sociétés emettrices de cartes de crédit à nous sortir des cartes sans contact sans aucune sécurisation de la communication.. Il y avait plein de pognon à se faire et il ne fallait surtout pas se laisser doubler par Samsung qui intégrait des puces de paiement dans ses téléphones asiatiques, ou par Google Pay.
Historique des modifications :
Posté le 04/06/2024 à 15h00
Je penche pour l'attrait du gâteau combinée à la peur de se le faire souffler par quelqu'un de plus rapide.
C'est exactement les mêmes motivations qui ont amené les sociétés emettrices de cartes de crédit à nous sortir des cartes sans contact sans aucune sécurisation de la communication.. Il y avait plein de pognon à se faire et il ne fallait surtout pas se laisser doubler par Samsung qui intégrait des puces de paiement dans ses téléphones asiatiques, ou par Google Pay.
#13
Même si ça devenait désactivable à l'install, ça ne changerait rien. Etre désactivable veut aussi dire que ça pourrait être réactivé à n'importe quel moment sans qu'on s'en rende compte.
Et pour le boulot, je vais déjà sensibiliser l'équipe infra et micro sur ça. Vu la quantité de systèmes différents qu'on administre, onpremise ou cloud, ça va leur faire l'effet d'une douche froide
#14
#15
Historique des modifications :
Posté le 10/06/2024 à 22h44
url text[/url text]
Posté le 10/06/2024 à 22h46
url text[/url text]