Connexion
Abonnez-vous

Microsoft teste un « Hey Copilot » sur Windows, avec un micro activé en permanence

Le 15 mai à 09h34

Microsoft vient de déployer sur le canal Windows Insiders, dédié aux testeurs, une fonctionnalité visant à permettre de « réveiller » son agent IA, Copilot, à l'aide d'une instruction vocale. L'éditeur transpose ainsi, sur les ordinateurs équipés de Windows 11, le « Dis Siri » ou le « OK Google » que connaissent déjà les utilisateurs de smartphones iOS ou Android.

Dans l'environnement Microsoft, la commande à utiliser sera « Hey Copilot », après activation de la fonction idoine dans les paramètres de l'application Copilot et exclusivement sur une machine sortie de veille. Il faudra par ailleurs avoir activé la fonction Copilot Voice.

« Cette fonctionnalité en opt-in [consentement préalable requis, ndr] offre aux utilisateurs un nouveau moyen de démarrer facilement une conversation avec Copilot Voice, dès que la fonctionnalité est activée et que leur ordinateur est déverrouillé. Grâce à cette nouvelle expérience mains libres, vous pouvez rester concentré lorsque vous avez besoin de réponses à une question ou simplement de partager une idée », décrit Microsoft.

Le déclenchement de Copilot Voice se traduit par l'apparition, à l'écran, de l'icône du micro, qui s'animera pour montrer que le logiciel est en phase d'écoute. « Pour mettre fin à une conversation, appuyez sur "X". Copilot mettra fin automatiquement à l'appel après quelques secondes d'inactivité. Un signal sonore confirmera la fin de la conversation ».

Dans son billet d'annonce, Microsoft prend soin d'expliciter le fonctionnement de ce réveil à la voix : la fonctionnalité suppose en effet que l'application soit en permanence capable d'écouter les sons ambiants.

Pour ce faire, Microsoft explique utiliser un « détecteur » de la séquence de réveil, dont l'unique mission serait de réagir au Hey Copilot de l'utilisateur, avec une analyse réalisée sur une boucle tampon de dix secondes des sons ambiants. « Cette mémoire tampon audio n'est jamais enregistrée ni stockée localement », promet l'éditeur. La fonctionnalité d'éveil devrait de ce fait fonctionner sur une machine non connectée à Internet, même si la requête adressée à Copilot ne pourra pas aboutir, faute de connexion.

La fonction Hey Copilot est pour l'instant distribuée sur le canal Windows Insiders, uniquement en langue anglaise, avec l'application Copilot en version 1.25051.10.0 ou supérieure.

Le 15 mai à 09h34

Commentaires (35)

votre avatar
m'en fou, j'ai pas de micro sur mon PC fixe 😇
votre avatar
Pareil. Mais il ne faut pas oublier que tu seras espionné chez d'autres personnes qui auront des machines avec micro intégrés.

Un espion massif de plus \o/
votre avatar
Pareil... Et sur le PC portable, webcam et micro sont directement désactivés dans les paramètres du bios/UEFI 😁
votre avatar
Note que si cela se fait via une variable d'environnement UEFI qui n'est pas lockée à la fin de la phase DXE, c'est une protection très relative car l'OS peut tout à fait reconfigurer cela et ce sera de nouveau actif sur le prochain boot.
Sous Window$, je ne sais pas comment on accède aux variables UEFI (connaissant leur nom et/ou GUID) mais sous Linux c'est assez simple:

Elles sont, à minima, lisibles dans un sysfs sous /sys/firmware/efi/efivars/
Par exemple l'option de boot sur laquelle on a démarré (Format: Nom de la variable, ici BootCurrent, suivi de son GUID) est ici:

hexdump -C /sys/firmware/efi/efivars/BootCurrent-8be4df61-93ca-11d2-aa0d-00e098032b8c
00000000 06 00 00 00 03 00 |......|
00000006

Après le préfixe sur 4 octets, on peut par exemple vérifier si on a bien démarré selon ses préférences en regardant le BootOrder qui indiquerait bien 03 00 en 1er/même position.

Il serait sans doute possible d'identifier celle qui contient l'info micro actif ou pas, en l'activant ou pas du BIOS et regardant les différences (après avoir évacué au préalable ce qui change à chaque boot).

Pour voir si cela peut s'écrire, avant de tenter le coup d'un 'echo -n -e' des valeurs hexa redirigé vers la variable à changer, il faut tester si on peut retirer le flag immutable via "chattr -i ".

Aucune idée de comment faire la même chose sous la boite noire redmondienne, mais je ne doute pas que ce soit possible même si ce sera fatalement pas forcément si simple que sous un OS boite blanche d'une part et bien conçu d'autre part.

A mon sens, le seul truc qui assurerait que micro/webcam intégrées soient inutilisables qqsoit le BIOS/Matériel ce serait un interrupteur physique coupant leur alimentation. Cela devrait juste être obligatoire: Une webcam USB se débranche quand on n'en a pas l'usage, mais sur un laptop on peut au mieux mettre un scotch sur la caméra mais ca laisse le micro utilisable.
votre avatar
Pour avoir fouiné un peu, je peux au moins confirmer qu'un Thinkpad X13 Gen2 avec APU AMD, n'expose pas les variables concernant la webcam et le micro, à l'OS. J'ose espérer que ça fait partie des bonnes pratiques à minima sur toute la gamme pro de chez Lenovo...
Niveau sécurité, c'est déjà ça. 👍
Bon, après, évidemment, si le microcode CPU n'est pas à jour, on commence à voir les premiers exploits qui pourraient mettre la main sur toute la machine, mais ça, c'est une autre histoire... 😅
votre avatar
Je suis sûr que l'on peut trouver un petit haut-parleur sur ta carte mère qui pourrait être utilisé comme micro 😇
votre avatar
Un HP aura un DAC+ampli connecté dessus. Et un DAC n'est pas reconfigurable en ADC.
Il faudrait ici considérer le cas d'une mobo conçue pour l'espionnage discret et avec un "micro" qui sera en pratique d'une sensibilité désastreuse sauf à considérer qqun qui gueule comme un sourd.
votre avatar
Au moins avec Cortana, y avait un keyword qui risquait pas d'arriver à l'improviste dans la conversation.
(on va pas trop la ramener sur les effets dragnet de ce genre de capture de données... tout a déjà été dit :vomi2:)
votre avatar
Il est vrai que nous manquions encore d'espions à domicile, entre les enceintes Alexa/Google Home et les smartphones...
votre avatar
Sauf à être surveillé/ciblé, un smartphone n'aura pas son micro ouvert en permanence (l'évolution de la batterie serait vite suspecte).

Et pour les 2 premières possibilités, on reste encore libre de ne pas faire d'achat totalement stupides... et de se méfier de l'intégration possible dans d'autres objets (TV...).
votre avatar
Micro tout le temps ouvert == espionnage. Hors de question d'avoir ça chez moi. Je n'ai aucun assistant vocal chez moi et n'en veux surtout aucun. Première chose que je désactive sur un smartphone : l'assistant vocal.
votre avatar
1. screenshot permanent
2. microphone permanent
3. webcam permanent
4. ???
5. profits !
votre avatar
C'était pas compliqué de proposer, en alternative, de déclencher l'écoute avec une combinaison de touche ou un bouton dans la barre des tâches :boulet:
votre avatar
ça aurait pu avoir le mérite de justifier la touche Copilot qu'ils ont ajouté sur les PC du même nom...
votre avatar
Pas que sur les Copilot... Sur le Lenovo du boulot (Thinkpad T14 Gen5) elle est là.
Sous gnome elle est vue comme Shift-Super-TouchpadOff
votre avatar
la combinaison de touche c'est de la programmation ça se contourne non il faut un bouton physique qui coupe le micro tout comme la caméra sur le portable il n'y a que la cache physique qui soit une vrai assurance
votre avatar
Ne pas oublier que c'est pour lancer une IA.
Donc, Microsoft considère déjà que les utilisateurs ne savent plus se servir d'un PC, et ont besoin que l'IA fasse tout à la place des utilisateurs.
votre avatar
En même temps, vu le succès d'une boite comme Apple (partie d'un garage et de matériel ouvert) à commercialiser des trucs totalement fermés mais ergonomiquement bien foutus, destinés a une clientèle combinant moyens et incompétence basique à se servir d'un ordinateur! Les progrès de l'IA peuvent donner des idées à Microsoft pour reprendre ces clients, surtout qu'Apple a un peu loupé le sujet pour le moment! Le PC ConPilot quoi...
votre avatar
Opt-in ? Mais pour qui Microsoft se prend-il ? Maintenant il faut que les utilisateurs fassent tout le travail alors que ça aurait pu être activé par défaut !

/s :D
votre avatar
Leur système d'activation, il est open source ? ^^'
votre avatar
???
votre avatar
Actuellement, on doit croire Microsoft sur parole concernant le fonctionnement du "déclencheur" de l'écoute.
Ils peuvent très bien tout écouter H24, et ça ne se verra pas forcément...
votre avatar
Et s'il était open-source, on dirait qu'on n'a pas la garantie que le code rendu public est bien celui embarqué dans l'OS...
A moins de fabriquer ton propre PC (à partir de puces que tu as designé et fabriqué), qui ne fait tourner que du code que tu as compilé toi-même, il y a un moment il faut forcément faire confiance à quelqu'un 🤷‍♂️
votre avatar
Je crois (mais je peux me tromper) qu'il existe des moyens de savoir si un logiciel qui tourne sur ton PC correspond bien à ce qu'il y a sur un dépôt.
Par exemple, un hash du fichier binaire associé.
mais c'est vrai que rien n'empêche MS de faire une écoute continue et silencieuse par un autre moyen.

Par contre, faire de l'Open Source sur quelque chose d'aussi sensible peut montrer un début de bonne volonté.
votre avatar
Alors :
* Oui on peut te filer le hash d'un binaire pour vérifier que tu as récupéré le bon (d'ailleurs il vaut mieux vérifier quand c'est dispo), mais ça te dit juste que tu as le bon binaire, pas quel code a été utilisé pour générer le binaire.
* Certains devs mettent en place des "reproducible builds", des compilations déterministes, qui te permettent de prendre le code, le compiler tout comme eux, et vérifier que tu obtiens exactement le même binaire. A ce niveau là, autant faire tourner le code compilé soi-même.
* Microsoft est juste l'une des entreprises qui contribue le plus à l'open-source (le top deux c'est eux et Google, de mémoire), donc bon...
* Si tu n'as pas confiance en MS, n'utilise pas leurs produits 🤷‍♂️
votre avatar
Justement, en mixant reproductible builds et hashs, tu peux vérifier que le binaire que tu utilises est bien celui issu du build "publié", sans pour autant avoir besoin que tu fasses le build toi-même (en partant du principe que si un gugusse tente de faire le build et qu'il a un hash différent de celui communiqué publiquement, il le signalera à la communauté).

Je sais bien que MS fait de l'Open Source, c'est bien pour ça que ça serait tout à fait possible pour eux de le faire ici. S'ils ne le font pas, on a le droit de se poser la question du "pourquoi" (même si c'est probablement pour des questions de secrets industriels).

Justement, j'évite au maximum d'utiliser les produits des GAFAM... mais c'est extrêmement compliqué !
votre avatar
Effectivement, un tiers peut tout à fait reproduire le build et partager ses résultats, mais quand on en est là, est-ce qu'on va faire confiance à un tiers ? :stress:
votre avatar
Perso, je ferais confiance en Next qui remontera l'information comme quoi quelqu'un a remarqué que MS ne distribuait pas le binaire correspondant à son repo open-source, et que ceci a été reproduit et confirmé par plusieurs autres développeurs reconnus, voire même par un geek de la rédaction-même. ^^'
votre avatar
Personne ne va l'utiliser. Alors que s'ils l'avaient mappé sur "Putain que c'est lent !", ils multiplieraient par 30 le nombre d'utilisateurs.
votre avatar
Ca doit bien faire 15 ans que j'ai pas dit ça devant mon PC ! :glasses:
votre avatar
Car tu utilises ta propre machine et pas la brique fournie par ton employeur. :fumer:
votre avatar
Même le PC pro, tant que tu as un PC de moins de 4 ans, avec suffisamment de RAM pour les logiciels que tu dois faire tourner, c'est pas lent...

Ils me font marrer les petits jeunes qui n'ont pas connu le temps où tu allumais l'ordi, et tu allais te faire couler un café le temps que ça boot, les ordis sont tout sauf lents de nos jours.
votre avatar
Tant que ça reste en opt-in, ça ne me pose pas de problème, j'ai juste à ne jamais activer cette "fonctionnalité"
votre avatar
C'est exactement ce qu'il se fait sur smartphone, ça ne mérite pas une panique morale. Et parler d'espionnage c'est juste de la parano.
votre avatar
Le vieux Hey Cortana devient Hey Copilot....

Microsoft teste un « Hey Copilot » sur Windows, avec un micro activé en permanence

Fermer