Google I/O 2021 : les nouveautés qu’il ne fallait pas rater

Google a tenu avant hier soir sa grand-messe pour les développeurs, avec à la clé de nombreuses annonces majeures, dont une nouvelle interface pour Android 12. Voici la liste de toutes les principales nouveautés, dont la disponibilité s'étalera tout au long de l'année.

Pour l’édition 2021 de sa conférence I/O, Google a une nouvelle fois tiré tous azimuts : Android, objets connectés, montres, intelligence artificielle et services à gogo. Nous ne reviendrons pas sur les principales nouveautés d’Android 12, qui ont déjà fait l’objet d’un article.

• Android 12 disponible en bêta, avec des changements à tous les étages

Nous allons nous pencher sur tout le reste, à commencer par l’une des plus grosses annonces : la fusion de Wear OS et Tizen, fruit d’un partenariat entre Google et Samsung.

Wear OS et Tizen fusionnent pour donner Wear

C’est sans doute la plus grosse surprise de cette conférence. Google et Samsung vont faire fusionner leurs deux plateformes pour n’en avoir plus qu’une. Wear OS et Tizen vont ainsi disparaître au profit de Wear, dont les avantages sont annoncés comme nombreux.

Parmi ces apports, Google et Samsung ont cité en particulier une amélioration significative de l’autonomie, des applications se lançant jusqu’à 30 % plus vite et des animations plus fluides. Citons également une nouvelle mouture de Google Maps capable de fonctionner seule (donc sans smartphone) et un YouTube Music pouvant télécharger les titres pour une lecture hors ligne. Une capacité que pourront récupérer d’autres applications, dont Spotify qui a confirmé que son service l’utiliserait.

La nouvelle plateforme est également présentée comme un grand avantage pour les développeurs, puisque Wear est poussé comme la destination privilégiée pour l’ensemble des montres fonctionnant sous Android. « Tous les constructeurs d’appareils pourront ajouter une expérience utilisateur personnalisée sur la plateforme, et les développeurs pourront utiliser les outils Android qu’ils connaissent et aiment afin de concevoir pour une plateforme et un écosystème », peut-on lire sur l’un des blogs de Google.

Wear intégrera des éléments de Fitbit, bien qu’on ne sache pas lesquels. On peut simplement supposer qu’il s’agira des plus courants, liés à l’activité physique. Les futurs produits Fitbit seront équipés de Wear, comme on pouvait s’en douter.

Samsung devrait tenir sa promesse des trois ans de mises à jour pour les Galaxy Watch. Traduction, les montres actuelles seraient mises à jour vers Wear lors de sa mise à disposition. Toutes les prochaines montres connectées du Coréen utiliseront également Wear. L’ergonomie spécifique des Galaxy Watch – notamment la rotation – sera maintenue.

Projet Starline, l’impressionnante cabine téléphonique 3D

La démonstration de Starline aura probablement été l’un des temps forts de la conférence d’ouverture. Le projet consiste en une cabine dans laquelle on s’installe face à une paroi transparente, en fait un « light field display ».

Là, un ensemble de caméras et capteurs vont analyser le haut du corps pour en fabriquer un modèle 3D. Ce dernier sera retransmis et affiché à une autre personne, elle aussi dans sa cabine. La restitution du modèle 3D est bluffante de précision. On n’a d’ailleurs l’impression initiale qu’il s’agit d’une personne en chair et en os de l’autre côté de la « vitre ».

Mais il n’en est rien, et un coup d’œil aux cheveux permet de repérer de petits artefacts montrant qu’il s’agit là d’une vidéoconférence d’un genre nouveau, conçu pour donner l’illusion que le correspondant est bien face à soi.

On se doute bien que la technologie n’est pas prête en l’état à être commercialisée. Google le signale d’emblée en y faisant référence comme au « Project Starline », le nom n’étant peut-être même pas définitif. L’installation est volumineuse et Google cherchant avant tout à obtenir des retours de certains milieux, particulièrement la santé et les médias. L’entreprise ne possède elle-même que quelques exemplaires répartis. La firme évoque « un matériel spécifiquement construit et des équipements hautement spécialisés ».

Néanmoins, et même si l’on n’est pas prêt de se servir de Starline – ou quel que soit son nom final –, Google travaille bel et bien sur sa technologie et se cherche des partenaires. Les tests sont prévus pour plus tard cette année.

La photo doit s’adapter aux peaux sombres

Alors qu’Amazon vient de prolonger indéfiniment son moratoire sur sa technologie Rekognition, reconnaissant que ses algorithmes ont un biais en faveur des peaux claires, Google fait le même constat. Ses propres algorithmes ont le même biais et donc les mêmes défauts.

L’entreprise annonce donc du changement. Dès cet automne, une mise à jour spécifique sera déployée sur l’ensemble des smartphones Pixel encore supportés (de 3 à 5). Elle mettra à jour les algorithmes responsables des réglages automatiques de la balance des blancs et de l’exposition. On l’aura deviné, Google a tout simplement revu son panel d’images servant à les entrainer.

La mise à jour doit permettre des photos « plus belles et plus précises » des personnes aux peaux sombres. Selon Google, ce serait particulièrement vrai pour les selfies, grâce à un calcul nettement plus fin des profondeurs. Cette révision sera aussi utile pour les couleurs de peau plus sombres que, de manière plus générale, pour certaines coiffures, notamment ondulées et frisées.

Rappelons que le stockage illimité et gratuit sur Google Photos prendra fin le 1er juin.

Google Photos : animations, souvenirs et dossier verrouillé

On reste dans le domaine de la photo avec deux grandes fonctions prévues par Google pour l’un de ses services fétiches.

Commençons avec la capacité de créer une animation sur la base de deux images fixes. Comme on s’en doute, le machine learning tourne ici à plein régime : les algorithmes sont chargés de reconstituer les mouvements probables entre deux images, puis construisent les trames manquantes à partir des données ainsi obtenues.

Google nomme ces clichés des « moments cinématiques ». L’opération peut être déclenchée à partir de n’importe quelle paire de photos presque identiques. On pense notamment aux séries de photos prises de certains moments. Les ratées pourraient alors être réutilisées pour créer une animation. Google ne dit par contre pas sous quel format on pourra enregistrer ces animations, vidéo, gif ou les deux.

Le service va également améliorer la partie souvenirs. Et pour cause : sur les 4 000 milliards d’images environ que contient Google Photos, la majorité n‘est jamais regardée plus d’une fois. À charge pour les souvenirs de les faire remonter. Encore faut-il le faire de manière plaisante et justifiée.

Des améliorations vont donc être diffusées pour cette fonction. Elles doivent affiner ce que le service estime être de bonnes candidates afin que les élues puissent mieux représenter de réels bons moments. Il est vrai que le service fait parfois remonter à la surface des clichés sans intérêt, simplement parce qu’une date correspond. Au-delà des photos seules, les souvenirs tenteront également d’identifier des séries de clichés partageant certaines caractéristiques visuelles, comme des teintes.

Ces améliorations sont prévues pour cet été, mais deux nouveaux types de souvenirs sont déjà actifs : le meilleur du mois et les meilleurs moments des voyages. Des évènements comme Hanoucca et Noël seront également mieux mis en valeur. En outre, Google offrira quelques contrôles sur la fonction. On pourra par exemple interdire des périodes spécifiques. L’application gagnera également bientôt la capacité de renommer ou supprimer n’importe quelle photo dans un souvenir. Ces améliorations sont prévues aussi bien sur Android qu’iOS.

With Locked Folder in @googlephotos, you can add photos to a passcode protected space and they won’t show up as you scroll through Photos or other apps on your phone. Locked Folder is launching first on Google Pixel, and more Android devices throughout the year. #GoogleIO pic.twitter.com/yGNoQ8vLdq

— Google (@Google) May 18, 2021

Même chose pour le dossier verrouillé, sans doute l’une des fonctions les plus attendues. Pour un service stockant rapidement des milliers de clichés, il est classique qu’un tel dossier puisse y calfeutrer les plus sensibles. Photos aura un tel dossier, que l’on pourra protéger par un code et une identification biométrique, selon les capacités de l’appareil utilisé. Les photos ainsi masquées n’apparaîtront pas dans le dossier principal. Une fonction que propose Apple dans iOS depuis bien longtemps.

Pour la majorité des utilisateurs, il faudra attendre quelques mois, Google déployant d’abord la fonction sur ses Pixel. Les autres smartphones Android l’auront d’ici la fin de l’année, sans plus de précisions. Rien n’a été dit pour la version iOS de l’application.

Chrome permet de modifier le mot de passe d’un site

C’est l’une des fonctions phares de certains gestionnaires (notamment Dashlane), l’une de celles pouvant faire gagner beaucoup de temps : pouvoir modifier le mot de passe d’un site sans se rendre sur ce dernier. Google a annoncé que Chrome allait récupérer cette capacité. Son déploiement a même commencé aux États-Unis pour la version Android du navigateur, mais le reste du monde et la mouture desktop vont devoir attendre quelques mois.

Le principe est simple, mais se concentre sur les mots de passe détectés comme en danger, par exemple à la suite d’une fuite. Auquel cas Chrome va avertir l’utilisateur et lui proposer d’emblée de modifier le mot de passe. Il est alors emmené directement sur la page dédiée sur le site concerné. Un nouveau mot de passe généré aléatoirement sera proposé, inscrit dans les champs idoines et stocké dans le gestionnaire intégré, en lieu et place de l’ancien.

Google en a profité pour rappeler qu’il sera bientôt possible d’importer des mots de passe dans Chrome depuis un autre gestionnaire, et que le navigateur vérifiera automatiquement que les identifiants lui ayant été confiés n’ont pas été impliqués dans une fuite de données. Un concentré de fonctions qui donne sans doute quelques suées aux gestionnaires dédiées.

Google Maps : éviter les accidents et renforcer Live View

Les algorithmes de Maps vont être mis à jour pour faire éviter, autant que possible, tous les itinéraires incluant des zones où l’on est susceptibles de freiner brusquement, avec la volonté affichée de réduire autant que possible les accidents. Google espère épargner aux automobilistes 100 millions de coups de frein par an.

Vient ensuite une amélioration significative de Live View, du moins aux États-Unis pour l’instant, où elle vient tout juste d’être déployée. La vue immersive affiche désormais des informations importantes sur les lieux entourant la personne. Par exemple, les horaires pratiqués, les derniers avis ainsi que des photos. Dans le même ordre d’idée, Maps pourra afficher des panneaux de signalisation potentiellement utiles à certains croisements jugés complexes.

La fonction de cartes détaillées à l’intention des piétons – elle présente des informations comme l’emplacement des passages, la largeur de la rue, etc. – est également étendue à une cinquantaine de villes, dont Berlin, São Paulo, Seattle et Singapour. Extension aussi pour les alertes « foule », qui indiquent à quel point un lieu peut être encombré. Elle peut maintenant donner cette information pour des zones entières, dans l’idée de faire gagner du temps sur le trajet envisagé ou de mieux respecter les actuelles distanciations sociales.

Enfin, Maps veut fournir des recommandations plus fines, basées sur vos habitudes. Si vous ouvrez par exemple souvent l’application tôt le matin, les recommandations s’adapteront pour des endroits servant des petits-déjeuners. Comme d’habitude, certaines personnes apprécieront le service et le gain de temps, d’autres détesteront se sentir ainsi résumées.

Des (petits) efforts en matière de vie privée

Le rapport de Google à la vie privée est complexe, et c’est un euphémisme. Alors que la société a bien du mal à présenter son FloC comme une alternative crédible et « juste » à la publicité classique, elle dévoile plusieurs nouveautés en lien avec le respect des données des utilisateurs.

Par exemple, Google déploie progressivement une nouvelle entrée dans le menu du compte, celui que l’on fait apparaître en cliquant sur son avatar dans les services du géant. Nommée « Suppression rapide », elle effacera d’un clic les 15 dernières minutes de requêtes dans le moteur de recherche.

Dans le même type de petite amélioration ne mangeant pas de pain, tout affichage dans Maps de l’historique des déplacements rappellera que vous pouvez voir ce dernier parce que vous en avez donné l’autorisation. Un bouton permettra alors de couper immédiatement la fonction, sans passer par les menus habituels.

Comme précisé dans notre article sur Android 12, un panneau dédié à la vie privée affichera les applications ayant eu accès à la géolocalisation, la caméra ou le micro. Là encore, on pourra d’un geste révoquer ces permissions pour chaque application.

Plus original et plus spécifique, Google introduit dans Android une nouvelle partition chargée de stocker les données liées au machine learning. Cette zone, nommée Private Compte Core, fonctionnera de la même manière que celles réservées par exemple aux mots de passe et données biométriques. Ce qui signifie un code open source et des audits externes de sécurité.

Cette zone stockera toutes les informations utilisées traditionnellement dans des processus automatisés comme Smart Reply. Toute donnée exploitée par du machine learning y sera isolée du reste du système. Pourquoi ? Pour mieux contrôler qui y a accès, l’isolation rendant plus simple le déploiement de protections. Ces informations ont beau ne pas être aussi cruciales que des mots de passe, elles sont sensibles, notamment parce qu’elles recouvrent les propos échangés dans de nombreuses applications, voire ce qui est prononcé pour actionner la dictée vocale. La fonction est réservée à Android 12 mais n’est pas liée à une puce spécifique.

Un smartphone Android 12 pourra être utilisé comme clé de voiture

On reste dans Android 12 avec une nouveauté présentée en marge du tronc commun annoncé pour le système : la capacité de transformer un smartphone en clé électronique pour ouvrir une voiture. Un apport qui sera limité – au moins dans un premier temps – aux Pixel et modèles Galaxy de Samsung, décidément très proche de Google cette année.

La technologie est basée sur les ondes radio UWB (ultra-wideband, 500 MHz) pour déverrouiller la portière ou le coffre sans avoir à sortir sa clé ou à la manipuler. C’est globalement la même technologie qu’Apple a implémentée dans ses iPhone 12 et sa Watch 6. Chez Apple comme chez Google, la technique peut être supplée par du NFC, avec obligation cette fois de coller son téléphone à la portière.

Bien que cet apport soit pratique, son usage restera très limité dans un premier temps. En fait, le seul constructeur présenté comme compatible durant la conférence est BMW, et encore sur un seul modèle (iX).

Dans les voitures toujours, Google a promis que la plupart des nouveaux véhicules émanant de General Motors, Ford, Honda et d’autres seraient compatibles avec le mode sans fil d’Android Auto. Actuellement, la fonctionnalité réclame un branchement filaire pour que le smartphone puisse déporter ses applications sur l’écran de la voiture.

IA : un outil pour reconnaître les affections cutanées...

Selon Google, plus de 10 milliards de requêtes par an concernant les problèmes de peau. Les questions des internautes sont très fréquentes, au point que l’entreprise met au point un outil permettant d’obtenir de premières réponses.

L’éditeur explique que sa technologie est bâtie sur des millions de photos d’affections cutanées, des milliers de peaux saines et environ 65 000 de descriptions cliniques. Le modèle obtenu tient compte de l’âge, du type de peau, du sexe et du groupe ethnique avant de formuler des suggestions.

Sur un lot de 1 000 images tests, l’algorithme s’en est bien sorti : la bonne réponse étant dans 84 % des cas dans les trois premières suggestions, et dans 97 % des cas dans l’une des suggestions. 26 affections courantes étaient aussi bien identifiées que par des dermatologues, et mieux que chez les généralistes. L’étude est même parue dans Nature Medicine il y a un an.

Google se dépêche cependant de tempérer ces résultats, car ils ne permettent en aucun cas de se passer de l’avis d’un spécialiste. Surtout, en cas d’affection nécessitant un traitement, seul un praticien pourra en délivrer l’ordonnance. Même si l’outil de Google permet simplement d’accélérer ce qui aurait réclamé plusieurs heures de recherche, il ne doit pas être source d’automédication. Un vœu pieux. En outre – et la société n’en parle pas – même un minuscule pourcentage d’erreur peut mener l’utilisateur à une panique en cas de mauvaise suggestion.

Cela étant, Google semble envisager son outil comme une aide en milieu médical, par exemple pour accélérer l’identification chez un généraliste. C’est ce qui ressortait d’une étude présentée en avril. Parallèlement, elle travaille avec l’université de Stanford pour étudier justement à quel point cette IA fonctionnerait bien en milieu médical. L’outil est en cours de vérification auprès de la FDA (Food and Frug Association) aux États-Unis, et a reçu une classification 1 en Europe, le présentant comme à faible risque.

… et un autre pour mieux cerner les conversations

Dans une envolée pas vraiment coutumière, Google parle de « percée technologique » avec LaMDA, son Language Model for Dialogue Applications. Un modèle présenté comme la pierre angulaire qui permettra des avancées majeures dans le domaine des conversations et de leur analyse, qui offrent des défis spécifiques en matière de machine learning.

« Bien que les conversations aient tendance à tourner autour de sujets spécifiques, leur nature ouverte signifie qu’elles peuvent commencer quelque part et finir dans un endroit complètement différent. Une discussion avec un ami au sujet d’une série TV pourrait évoluer vers une discussion sur le pays où elle a été réalisée, avant de s’arrêter sur un débat autour de la meilleure cuisine régionale de ce pays », explique Google.

LaMDA a été conçu sur Transformer, soit la même base que d’autres modèles récents pour le langage, comme BERT et GPT-3. Cette architecture permet d’entrainer les modèles avec une grande quantité de mots, le plus souvent pour prédire le suivant. Très utile en cas de clavier virtuel. LaMDA a cependant été entrainé pour les dialogues, avec comme particularité une sensibilité au contexte. Le même contexte qui déclenche les « dérives » dans les conversations par associations d’idées, face auxquelles les modèles classiques sont vite perdus.

« La phrase « c’est très bien » est une réponse sensible à presque toute déclaration, comme « je ne sais pas » est une réponse sensible à la plupart des questions. Les réponses satisfaisantes tendant à être spécifiques, en étant étroitement liées au contexte de la conversation. LaMDA a été entraîné pour les deux », ajoute Google.

Même si Google se félicite du chemin parcouru, la société estime que la route sera encore longue. La sensibilité du modèle au contexte doit être améliorée, de même que certains concepts, comme l’intérêt d’un propos et l’idée de rester au plus près des « faits ». Google veut minimiser avec LaMDA les risques de voir son modèle s’égarer comme avait pu le faire celui de Microsoft. Une déviance pouvant se manifester « en intégrant les biais, en réfléchissant les discours de haine ou en répliquant des informations trompeuses ».

Des fonctions « intelligentes » pour Workspace

Enfin, Google a annoncé une série d’amélioration pour sa suite bureautique en ligne. Ces apports sont en partie disponibles maintenant, mais la plupart seront intégrés d’ici à la fin de l’année.

Lorsque l’on souhaite par exemple mentionner quelqu’un dans un document, on passe par le traditionnel « @ ». Désormais, le symbole ouvre un panneau « intelligent » ajoutant les possibles fichiers et évènements pouvant correspondre. La liste des suggestions dépend du contexte et des éventuelles premières lettres tapées par l’utilisateur. La fonction est disponible dès à présent, sur ordinateur comme sur appareil mobile.

Parmi les autres nouveautés, on signalera :

• Un nouveau format sans pages pour Docs, pour une vue unique s’adaptant aux dimensions de la fenêtre (ou de l’application). Les séparations entre pages peuvent être réaffirmées avant d’imprimer ou de convertir en PDF.
• Des réactions par emojis pour les documents (d’ici quelques mois).
• Des recommandations de langage inclusive, pour rendre les textes plus neutres vis-à-vis du genre.
• Des check-lists connectées dans Docs, dont les éléments s’afficheront aussi dans Google Tasks et pourront être assignés à des personnes spécifiques.
• Des modèles pour tableaux dans Docs (« bientôt »).
• La possibilité (déjà là) de lancer une présentation Meet depuis Docs, Sheets ou Slides, y compris un document en cours de travail collaboratif. La fonction servira alors à faire un point avec les participants, ou à présenter le travail réalisé à d’autres personnes.
• Davantage de langues prises en charge pour les sous-titres « live », et plus de traductions pour ceux existant. Plus tard dans l’année, l’anglais pourra être ainsi traduit automatiquement en espagnol, portugais, français et allemand.
• L’arrivée dans Sheets d’une frise chronologique pour classer plus efficacement les évènements, les données pouvant ensuite être rangées par propriétaire, catégorie, campagne ou autre.
• Une « analyse assistée » plus présente, notamment via davantage de formules recommandées dans les tableaux, avec la volonté d’accélérer les manipulations ou de détecter plus rapidement des erreurs.
• La possibilité de créer et modifier des documents Docs et Sheets depuis Google Chat. La capacité est disponible dès maintenant, celle pour Slides devant arriver dans les semaines qui viennent.