Avec Copilot Vision, Edge peut lire votre écran
Le 18 avril à 16h04
2 min
IA et algorithmes
IA
Microsoft a débuté mercredi le déploiement de Copilot Vision au sein de son navigateur Edge, avec la promesse d'une fonctionnalité accessible gratuitement à tous les utilisateurs. La promesse ? Avec Copilot Vision, l'intelligence artificielle générative de Microsoft est capable de voir ce qui est affiché à l'écran, ce qui permet à l'utilisateur d'échanger avec le logiciel, en langage naturel, pour par exemple obtenir un résumé, affiner une sélection de produits, etc. L'accès à Copilot Vision, pour l'instant réservé aux internautes basés aux États-Unis, ne se fait que sur consentement préalable (opt-in).
« Copilot Vision est disponible gratuitement sur Edge. Il peut voir ce que vous voyez à l'écran (si vous l'activez). Incroyable ! Il réfléchit à voix haute avec vous lorsque vous naviguez en ligne », s'enthousiasme Mustafa Suleyman, CEO de Microsoft AI, dans un message d'annonce. « Ajoutez-le à une page de recette pour cuisiner sans écran. Copilot vous guidera pas à pas, vous dépannera ou vous expliquera la signification de "julienne" », illustre-t-il encore.
La fonction avait initialement été déployée en décembre dernier, mais uniquement sur le parc des utilisateurs disposant d'un abonnement payant à Copilot. Cette fois, Microsoft ouvre donc plus largement les vannes, en indiquant tout de même que « pour commencer, Vision n'interagira qu'avec une sélection de sites Web », parmi lesquels Wikipédia, Amazon ou Tripadvisor.
Pour activer la fonction (depuis une IP américaine), il suffit de se rendre, via Edge, sur la page dédiée, et d'entrer dans le programme. Pour activer Vision, il suffit ensuite d'ouvrir la barre dédiée à Copilot, et de lancer une interaction vocale avec le logiciel par le biais du bouton micro. Une paire de lunettes rouge et un effet de couleur sur l'interface du navigateur confirment alors la mise en œuvre de la reconnaissance visuelle.
« Les réponses du modèle Copilot sont enregistrées afin de permettre la surveillance des interactions et des sorties dangereuses », prévient Microsoft, qui se veut cependant rassurant quant aux aspects liés à la vie privée. « Les images, les voix et le contexte des utilisateurs ne seront ni enregistrés ni stockés. Votre conversation avec Vision est retranscrite dans votre historique de conversation. Vous pouvez supprimer l'historique de discussion à tout moment. »
Le 18 avril à 16h04
Commentaires (28)
Abonnez-vous pour prendre part au débat
Déjà abonné ? Se connecter
Cet article est en accès libre, mais il est le fruit du travail d'une rédaction qui ne travaille que pour ses lecteurs, sur un média sans pub et sans tracker. Soutenez le journalisme tech de qualité en vous abonnant.
Accédez en illimité aux articles
Profitez d’un média expert et unique
Intégrez la communauté et prenez part aux débats
Partagez des articles premium à vos contacts
Abonnez-vousLe 18/04/2025 à 16h16
Le 19/04/2025 à 09h24
Valve a fait la moitié du boulot avec le Gaming, Microsoft est en train de faire le reste...
Le 19/04/2025 à 10h15
Je vais en choquer certains ici : Linux n'est pas encore prêt pour le grand public. Et je me demande s'il le sera un jour, tant la philosophie derrière est différente (et je précise que j'apprécie Linux et l'utilise au quotidien).
Pour commencer, le choix de Windows est simple : on prend la version préinstallée sur le PC.
Pour Linux, c'est la jungle .
Ensuite, Linux une des forces, mais qui fait aussi une de ses faiblesses, c'est la tendance au monde Linux à changer certaines choses qui marchent (je ne dis pas que c'est fait sans raison, c'est juste un constat).
Dernièrement, c'est le passage a Wayland qui est plus ou moins douloureux (moins si on n'a pas de Nvidia, plus si c'est le cas). Mais nvidia ou pas, on trouve encore de nombreux rapports de bogues de tel ou tel application qui ne marche pas (ou mal) à cause de ça. Il n'est pas rare d'avoir des bogues, de devoir revenir en arrière, etc.
Sans compter que l'installation de programme hors des dépôts officiels de la distribution peut vite devenir un bordel sans nom.
Tant qu'il faudra un minimum de compétence en informatique pour la gestion de Linux (ou avoir quelqu'un avec ces connaissances dans son entourage proche), je vois très mal linux se répandre sur le Desktop, quelle que soit les décisions prisent par MS pour ses produits.
Modifié le 19/04/2025 à 10h44
Si elle prend du "tout prêt" c'est qu'elle n'a pas les connaissance et surtout qu'elle ne veut pas "perdre son temps" à les acquérir et souvent elle ne peut pas.
Ma mère (85 ans) n'a pas les compétences requises et ne les auras jamais, quand à ma compagne elle utilise l'informatique comme son four et ne veut pas perdre son temps à apprendre plus que nécessaire
D'accord ce n'est qu'un exemple mais nous ne sommes pas exceptionnels.
Pour réponde à le remarque que je sens poindre je n'interviens pas plus d'une fois par an sur leurs machines et souvent pour des détails. Et en gros tous les 4 ans pour les mises à jours LTS mais elles ne seraient pas plus en mesure de changer de version Windows seules.
Le 19/04/2025 à 11h07
Le 20/04/2025 à 10h31
La seule différence c'est que de depuis 10 ans environ j'interviens beaucoup moins Ubuntu n'ayant jamais posé de soucis lors des mises à jours de sécurité et que la LTS se garde bien d'apporter de "nouvelles" fonctionnalités que personne ne lui avait demandé...ou de changer les paramètres par défaut pour "le plus grand bénéfice des utilisateurs".
Modifié le 20/04/2025 à 00h14
Ils n'ont aucune connaissance en informatique, ils font les maj de routine. Je précise que je leur installe des versions LTS.
Mais oui, ils ont besoin de moi pour l'installation initiale. Comme moi j'ai besoin d'un garagiste pour changer la courroie de distribution sur la voiture.
Le 19/04/2025 à 11h53
Par contre, moi je trouve que si l'on parle de "minimum de compétence" requise, le concurrent, c'est MacOS , voire Android.
Car Windows demande aussi des compétences en informatique, pour contourner les choses qui marchaient et qui subitement ne marchent plus. Exemple typique, la mise à jour qui se fait pas (mais qui essaie quand même à chaque démarrage, et où après des recherches on t'explique benoitement qu'il va falloir ouvrir CMD en admin et taper des commandes - et bien souvent il se passe rien de plus.
Également "changer des choses qui marchent" - un bon exemple avec Windows 11 et le menu démarrer (j'vais pas parler de vista ça serait mesquin).
=> A la fin ça se termine quand même par un petit tour chez "la personne qui sait" - que ce soit familial ou commercial.
Dans les sociétés il y a des services info entiers pour gérer des parc Windows , et pourtant on compte plus les fois où "quelque chose" est en carafe.
Moi je crois que la "force de l'habitude" et du conformisme fait bien davantage que la difficulté d'usage de Linux. j'aurais pas dit pareil si MacOS avec 90% du marché.
Le 19/04/2025 à 12h18
Le passage est douloureux ? Oui, refaire tout prend du temps, mais il faut se dire que wayland est dispo depuis 2009. Le passage d'une grande distribution à wayland par défaut fut bénéfique et tant mieux. Au passage, ça fonctionne bien même sous Nvidia qui a enfin vraiment travailler dessus.
Pour la gestion de linux, pas besoins de grandes compétences avec les avancées aujourd'hui : même le passage de version majeur de l'os se fait presque tout seul avec Gnome...
Modifié le 19/04/2025 à 14h07
Je crois tout simplement que non adossé à une société commerciale répandue (Microsoft pour Windows, Apple pour macOS), c'est difficile d'emporter la confiance du grand public. Ca s'arrange avec Ubuntu/Canonical, mais les entreprises sont incomparables, du coup les parts de marché le sont aussi.
Pareil quand tu affiches l'infographie des distros linux. En réalité il en existe 2: Ubuntu et Debian
Le 19/04/2025 à 14h59
Si jamais les conneries de Microsoft finissent par poser problèmes ou la géopolitique de Trump (rêvons un instant que l'UE se sortent les doigts du tréfonds de son incompétence en IT et ose frapper les US où ça fait mal... les services numériques US), il est pas impossible que partiellement commence un processus de migration de Windows -> Linux, et que ce processus finissent pas toucher les Michus. Si ces même Michus (pas de jaloux, Mme & Mr) finissent pas utiliser du Linux, ils finiront éventuellement par l'utiliser dans leur usage quotidien, au profil d'avoir la même chose au travail et à la maison pour ne pas être trop perturbé.
Alors oui, je considère ça comme extrêmement peu probable tant les GAFAM ont parasité les entreprises, les institutions et les centres de formations de nos "élites".
Modifié le 19/04/2025 à 21h08
Cependant c'est clair : ne pas trop changer les habitudes est critique. Pour autant :
Je pense le contraire... et pourtant je suis aussi d'accord avec cette phrase. En fait je vais paraphraser un commentaire que j'ai lu sur Reddit et qui résume assez bien la situation :
Le problème est que Linux ne vise pas le bon public.
L'usager lambda consulte ses e-mails, gère ses photos, fait quelques téléchargements, mate Netflix parfois si c'est un ordinateur portable, et c'est à peu près tout. Installer un logiciel peut être déjà délicat pour lui.
Or à un moment, Mozilla Firefox dominait le marché... uniquement parce que les « personnes qui s'y connaissent » ont fait en sorte de l'installer partout. Hélas après la Chromisation de l'interface et le fait que l'on installait aussi Avast/CCleaner/autre chez ces usagers, on a fourni un boulevard pour que Chrome remplace Firefox sans que l'usager le remarque, au point que personnelement j'ai cessé de l'installer car à quoi bon ?
Linux peut être simple pour l'usager lambda, mais... Linux ne motive pas les « personnes qui s'y connaissent ». Il y a soit des distributions à construire de zéro (Linux-From-Scratch, etc.) soit du tout-en-un (Ubuntu, etc.) avec des logiciels en trop voir parfois en double/triple pour une tâche précise, quand ce n'est pas ce que l'usager attend (genre LibreOffice quand l'usager veut OnlyOffice).
Dans les deux cas il faut de l'énergie/du temps/etc. pour obtenir ce que l'on souhaite fournir à l'usager final... Comme je suis rodé avec Windows après BEAUCOUP d'énervement et de sueur et avoir rassemblé/conçu scripts et autres, je n'ai pas envie de recommencer pour virer le surplus ou autres d'une distribution Linux. Je me suis trop fatigué moralement avec Microsoft. J'ai honte de le dire mais je suis usé, et le principe des « coûts irrécupérables » est en action.
Sans compter que comme tu le dis, « la tendance au monde Linux à changer certaines choses qui marchent » est assez pénible et déjà quand Microsoft le fait j'enrage très vite.
J'ai besoin de stabilité.
Il faudrait donc une distribution (ou une variante à l'installation des plus connues) qui donne après installation une sorte de Windows 10 LTSC, donc un OS limite « bare » ou vide qui installe quand même genre KDE comme interface (ou tout ce qui se rapproche de Windows), les pilotes évidemment, et un « store » d'où nous ferions l'installation de tout le reste.
J'installe maintenant que des Windows 10/11 Pro chez les usagers lambda car assez proche du « bare » que j'aimerai avoir (la LTSC ne serait pas très légal). En une heure le plus gros est fait. Je ne pense pas arriver à ce délai avec une distribution Linux.
Le 19/04/2025 à 10h48
Pour plein de raisons, sans doute.
Mais peut être aussi parce que le desktop lui même, hors contexte pro, est appelé je pense à réduire fortement son empreinte : l’avénement du smartphone, pour autant qu’il ne remplace pas tous les usages d’un personnal computer, en remplace suffisamment pour que la présence d’un ordinateur au sens desktop (laptop ou tour etc) à la maison se fait de plus en plus superfétatoire pour beaucoup de familles.
Le 19/04/2025 à 11h31
S'pas plus compliqué
Le flux migratoire vers Linux n'est qu'un fantasme : les gens en ont rien à foutre de l'OS de leur PC.
Modifié le 19/04/2025 à 14h04
Le 19/04/2025 à 19h15
Pour Apple, c'est plus l'écosystème et la marque qui fidélisent, je pense.
Le marché Windows, c'est Random Fabricant PC qui installe Random Windows OEM. Clairement pas la même aura en matière d'image, ni de visibilité, et donc d'intérêt.
Le 18/04/2025 à 17h31
Le 18/04/2025 à 18h12
Le 18/04/2025 à 19h42
Le 18/04/2025 à 17h38
Le 18/04/2025 à 17h42
Sauf que Microsoft est plutot devenu le Starks industries d'Obadhia que de Tony Stark (après rédemption)
Le 18/04/2025 à 17h49
Comme si leur IA était encore si conne que la réponse n'avait rien à voir avec le contexte, d'ailleurs c'est parce que c'est si peu au point qu'ils la déploient!
Un peu l'impression que sous prétexte d'IA on insulte ici vraiment la NA (Intelligence Naturelle) quand même...
Le 18/04/2025 à 23h37
Bon, en même temps, comme c'est limité à Edge, je vais pouvoir attendre longtemps.
Le 19/04/2025 à 05h54
Je suis encore plié en deux ...
Le 20/04/2025 à 00h59
Vous savez celle ou du haut de ces 14 ans on prend la main sur le pc et on s'en prend plein la vue avec des pop-up de cul dans tout les sens ?!
Modifié le 19/04/2025 à 08h23
"Copilot Vision peut entendre (et vraiment comprendre ?) ce que vous lui dites"
ça l'aurait fait un peu moins, non ?
Le 21/04/2025 à 09h14
Le 21/04/2025 à 11h13