WWDC 2023 : Vision Pro, la réalité mixte aboutie d’Apple au prix fort

Apple tenait hier la conférence d’ouverture de sa WWDC 2023. Les annonces ont été très nombreuses, mais le clou du « spectacle » était bien sûr le Vision Pro, son premier casque de réalité mixte. Annoncé à 3 499 dollars, c’est un concentré de technologies cerné par les interrogations.

Ça y est ! Apple a enfin son casque de réaliste mixte (virtuelle et augmentée). Le produit a manifestement nécessité beaucoup de travail (« des années » ont répété les intervenants à plusieurs reprises) et, sur le plan technique au moins, le résultat est là.

Dans les entrailles du Vision Pro

Le casque semble être une synthèse de tout ce qu’Apple avait produit jusqu’ici. Les informations sont affichées sur deux écrans 4K micro-OLED cumulant presque 24 millions de pixels. Comme on peut s’y attendre, les informations « flottent » devant les yeux, où que l’on regarde. La résolution de l’image permet une lecture fine des textes, un point sur lequel Apple a insisté et qui paraît confirmé par les premiers retours, notamment chez TechCrunch.

S’agissant de réalité mixte, la visière est transparente et bénéficie d’une technologie particulière, nommée EyeSight. Lorsque l’on regarde un contenu et qu’une personne est détectée dans l’environnement immédiat, la surface extérieure du casque laisse apparaître les yeux, avec des couleurs mouvantes pour indiquer que l’on regarde un contenu. Quand on est seul, les yeux ne transparaissent pas. Selon Apple, la fonction est là pour rendre les interactions sociales plus naturelles dans ce genre de situation.

À l’intérieur du casque, on trouve une puce M2, la même que dans les Mac. Elle est là pour la quasi-totalité des traitements, le casque ayant de multiples scénarios d’usage (nous y reviendrons). Elle est épaulée par une nouvelle puce, baptisée R1. Elle est chargée du traitement temps réel des signaux provenant des capteurs, les informations parvenant aux écrans toutes les 12 ms.

Et des capteurs, le Vision Pro en a. Deux caméras haute définition sont chargées de capter le monde d’extérieur, transmettant « plus d’un milliard de pixels par seconde ». On trouve d’autres caméras, notamment pour la profondeur de champ (TrueDepth), ainsi qu’un LiDAR. Le casque capte également les mouvements des mains (avec des capteurs infrarouges en soutien pour les situations de basse luminosité) et est capable de reconstituer l’environnement en 3D, pour positionner plus précisément les éléments virtuels. Plusieurs microphones sont aussi présents.

Du point de vue alimentation, pas de secret ici : il faut que le Vision Pro soit branché. S’il n’est pas raccordé à un Mac ou à une autre source d’alimentation, il pourra l’être sur la batterie fournie. Elle lui permet de fonctionner 2 heures, selon Apple. On ne connait pas le poids exact du casque, mais selon les premiers retours, dont TechCrunch, il est « confortable ».

On retrouve aussi l’inspiration de l’Apple Watch. Une Digital Crown permet d’influer sur les contenus et réglages quand nécessaire. Un bouton – rappelant celui de la tranche sur les montres – permet de déclencher des photos et vidéos. Des traitements peuvent être effectués pour que les éléments dans ces contenus soit en 3D, en vue de leur visionnage plus tard.

Le Vision Pro, pourquoi faire ?

Au-delà de la technique, certes impressionnante, la grande question est de savoir dans quels cas utiliser le Vision Pro. La réponse fournie par Apple est simple : pour tout.

Le casque se positionne comme un produit faisant à la fois les synthèses matérielle et logicielle de ce que la firme a produit. Tout ce qui se trouve sur l’App Store d’iOS peut être utilisé tel quel. Même chose pour les Mac. En utilisation d’ailleurs, il suffit de regarder l’écran de son Mac pour créer automatiquement une vision déportée et élargie, dans laquelle on peut ensuite « s’immerger ». Les fenêtres sont librement déplaçables.

Bien sûr, les applications peuvent aller plus loin en adoptant le nouveau kit de développement pour l’occasion, RealityKit. Xcode, SwiftUI, et ARKit sont supportés tels quels, de même qu’Unity, et une nouvelle application, Reality Composer Pro, est proposée pour la modélisation des environnements virtuels.

Toute la plateforme logicielle fonctionne sur la base d’un nouveau système d’exploitation, visionOS. Les briques sont à peu près les mêmes que dans iOS, macOS ou encore watchOS, avec des composants dédiés bien sûr. C’est le « premier système spatial » d’Apple, selon l’entreprise, qui doit propulser dans la réalité mixte tout ce que l’on faisait déjà.

On peut ainsi naviguer sur le web, utiliser ses applications, collaborer, faire de la visioconférence, jouer, regarder des films, écouter de la musique et ainsi de suite. Attendez… de la visioconférence ? Oui, le Vision Pro est compatible avec FaceTime. Et puisque l’on porte un casque sur la tête, visionOS propose une solution : la première fois, on va porter le casque face à son visage pour créer une version 3D de soi via les multiples capteurs. De ce qu’Apple en a présenté, le résultat est assez impressionnant.

L’entreprise a largement insisté sur l’immersion et la manière dont le casque fait sauter les limites de l’écran traditionnel. Les applications peuvent être ainsi disposées où l’on souhaite. On peut modifier la taille de n’importe quel contenu pour l’agrandir en simulant un écran beaucoup plus grand.

Ce point était en particulier visible pour les films. Le casque peut recréer un environnement de type cinéma, en « éloignant » l’image et en lui donnant de l’ampleur. Le « monde réel » est alors assombri avec une très légère luminosité dorée, toujours pour plonger dans l’ambiance. Les films en 3D peuvent rendre leurs trois dimensions. Le son est décrit comme particulièrement immersif, comme s’il provenait de l’extérieur. Le casque peut également analyser les propriétés acoustiques de la pièce – notamment en analysant ce qu’il perçoit des matériaux – pour rendre le son plus naturel.

L’utilisation générale se fait avec les yeux et les doigts. Les premiers servent de pointeur, les seconds d’actionneurs. La plupart des gestes tactiles popularisés par Apple sont présents. L’ensemble est complété avec la reconnaissance vocale, qui peut d’ailleurs aussi servir pour la rédaction.

Quid de la vie privée ?

Sur ce chapitre, Apple avait aussi des choses à dire. Après Touch ID et Face ID, voici donc Optic ID. Les empreintes digitales et la forme du visage sont remplacées par la reconnaissance de l’iris. Le fonctionnement est ensuite le même : déverrouillage de la session, validation des achats, utilisation des mots de passe, etc. Les données sont chiffrées et stockées dans la puce Secure Enclave. Comme sur les autres appareils, elles restent locales et ne sont jamais transmises à un serveur.

Autre point, les données provenant des caméras et capteurs sont traitées au niveau du système. Les applications n’y ont pas individuellement accès. Le contexte est fourni par visionOS, avec autorisation de l’utilisateur.

Enfin, tout ce qui touche au suivi des yeux reste local, les informations n’étant transmises ni à Apple ni à des tiers. Seuls les éléments déclencheurs tactiles, comme l’activation d’une fonction ou le lancement d’une application, peuvent être envoyés.

La question du prix et de l’utilité

Le tarif de 3 499 dollars a de quoi interroger : qui ira acheter un tel produit pour faire ce que l’on fait déjà avec des ordinateurs, des smartphones, des tablettes et des montres ? Un public assez fortuné pour se lancer, c’est évident. Du moins au début.

Il s’agit d’une première version d’un produit ayant nécessité une décennie de recherche et développement. Apple a pris son temps et cherche probablement à répéter la révolution qu’a été l’iPhone. L’industrie pourrait être transformée par ce premier pas, qui respire bien plus le produit fini et pensé qu’un simple prototype. Le fait que le Vision Pro s’intègre dans l’écosystème Apple est la preuve d’une vision aboutie.

Mais même si le casque peut être rangé dans la catégorie « petit bijou de technologie », la question demeure : le jeu en vaut-il la chandelle ? Les usages seront-ils à ce point plaisants que l’on délaissera d’autres appareils pour s’immerger dans ses applications et contenus ? Le gain de confort vaudra-t-il le tarif qui, pour bien des budgets, représente une vraie barrière ?

Apple veut manifestement avancer avec prudence. Si le casque n’apparaît même pas sur la version française du site officiel, c’est qu’il n’arrivera que début 2024 dans les seuls États-Unis. Aucun plan d’élargissement n’a été annoncé. La firme va se concentrer sur ses terres natales et les ménages aisés dans un premier temps, s’assurant une diffusion très progressive. Il est clair qu’Apple ne compte pas écouler le Vision Pro comme des petits pains. Ce sera peut-être la mission de la version 2.

Enfin, on peut se demander pourquoi le marché professionnel n’a pas été mis en avant. C’est ce qu’a fait Microsoft avec le HoloLens, qui s’est fait une spécialité notamment de l’apprentissage. Dans ce domaine, la réalité augmentée permet de réelles avancées, en fournissant des informations sur ce que l’on regarde, comme le cockpit d’un avion ou une machine industrielle. Là encore, c’est un domaine sur lequel Apple reviendra plus tard, même si le Vision Pro semble pour l’instant surtout taillé pour la maison.