La conférence F8 avait cette année un parfum différent, fait d'annonces grand public, de justifications et de problèmes éthiques. Cette édition 2019 s'est révélée nettement moins dense pour les développeurs, qui ont été invités à réfléchir à leur approche globale du machine learning, au-delà des avancées techniques.

Contrairement aux années précédentes, la conférence F8 de Facebook contenait cette année une importante partie sur les produits destinés aux utilisateurs finaux. On a pu voir notamment un aperçu de la nécessaire refonte de Messenger, qui doit revenir (quand ?) dans une version beaucoup plus légère et rapide. Une promesse déjà faite l’année dernière.

Les annonces se sont enchainées, avec des versions de Messenger pour ordinateurs de bureau (du moins pour macOS et Windows), un recentrage de Facebook sur les Groupes avec une nouvelle mouture « desktop » en préparation, l’arrivée du Secret Crush, les nouvelles fonctions Instagram, le renforcement de la Marketplace, le lancement de Portal en Europe prévu pour septembre ou encore les casques Oculus Quest et Rift S, qui débarqueront le 21 mai.

Mark Zuckeberg ne pouvait que sauter également sur l’occasion pour enfoncer quelques portes ouvertes : « Nous n’avons pas la meilleure réputation sur le sujet en ce moment, pour le dire gentiment ». Et de promettre que « le futur est privé ». Nous attendrons quand même des gestes plus concrets qu’une communication en mode extincteur, après deux années riches en scandales liés à la vie privée.

Mais la conférence F8 est avant tout destinée aux développeurs. Les habitués de l’évènement verront cependant que les annonces sont cette année moins nombreuses. Elles n’en restent pas moins substantielles dans certains domaines, tout particulièrement le machine learning, dans lequel Facebook investit depuis longtemps. Parallèlement, l’ouverture vers l’open source continue.

• À lire : Vie privée, chiffrement, Messenger léger, groupes, achats en ligne : les annonces 2019 de Facebook

Intelligence artificielle : c’est reparti pour un tour !

Le machine learning est l’un des domaines d’expertise de Facebook. L’entreprise investit massivement depuis des années, avec des technologies souvent partagées sous forme d’API ou de frameworks complets. Certaines sont open source. On s’attendait donc logiquement à ce que Facebook fasse des annonces dans ce domaine.

On commence ainsi avec PyTorch, dont la version 1.1 est maintenant disponible. Ce framework open source est pour rappel dédié à l’apprentissage profond, avec une spécificité : la réduction des frictions entre des travaux de recherche et la mise en application/production. Amazon, Google et Microsoft participent aussi à son développement, Facebook ayant accroché au passage d’importants partenaires, comme Arm, IBM, Intel, NVIDIA et Qualcomm.

Après une version 1.0 finale sortie en décembre, la 1.1 apporte plusieurs nouveautés importantes : l’outil de visualisation TensorBoard pour surveiller l’exécution des graphs et faciliter le débogage, des améliorations pour compilateur JIT (dont le support des dictionnaires, classes utilisateur et attributs), de nouvelles API (notamment pour le support des tensors Boolean), une hausse de performances pour des modèles courants et le support des modules multi-appareils.

L’éditeur fait en outre un rapide point sur la reconnaissance de PyTorch, désormais utilisé par Airbnb, ATOM, Genentech, Microsoft et le Toyota Research Institute pour la mise en production. Chez Facebook, il sert à déployer des services de traduction et reconnaissance du langage naturel. Grâce à lui, Messenger effectuerait « six milliards de traductions par jour en temps réel ». PyTorch s’interface en outre désormais avec BoTorch et Ax (tous deux de Facebook, voir le chapitre suivant), Google AI Platform Notebook et Google Colab.

Open source : l’offensive continue

Le chapitre est devenu une tradition pour chaque conférence F8 : passer des outils en open source. Dans la grande majorité des cas, il s’agit de technologies conçues pour répondre à des circonstances et contraintes précises, améliorer les performances, etc. Beaucoup sont liées au domaine du machine learning.

Voici la liste des projets désormais sous licence MIT, chacun avec son dépôt GitHub :

• BoTorch : une bibliothèque pour les recherches en optimisation bayésienne, bâtie sur PyTorch
• Adaptive Experiment (Ax) : plateforme d’optimisation des produits et infrastructures via des avancées fournies par BoTorch
• iOS development bridge (Idb) : simplifie la création de workflows complexes en vue d’un déploiement de l’automatisation sur de larges flottes d’appareils.
• Memscout : outil d’analyse pour diagnostiquer rapidement d’éventuels problèmes de performances liés à une mauvaise utilisation de la mémoire vive.
• Mvfst : « move fast » est une implémentation par Facebook (en C++) du standard QUIC de l’IETF. Parmi ses fonctions, on retrouve l’établissement de connexions 0-RTT, une meilleure récupération après pertes ou encore un contrôle flexible de la congestion.

API : peu de matière cette année

Le cru 2019 sur les API est assez léger. La version 3.3 de Graph intervient ainsi essentiellement sur les « rate limits », c’est-à-dire le nombre d’appels pouvant être réalisés sur une interface au sein d’une période donnée. Les changements s’appliquent notamment aux API Pages et Instagram Graph, qui possèdent désormais toutes deux un Business Use Case, donc dans le cadre d’une utilisation professionnelle.

L’API Marketing passe elle aussi en version 3.3, apportant essentiellement quelques optimisations autour du Store Traffic en fonction de la localisation de l’utilisateur.

Du neuf pour les réalités augmentée et virtuelle

Les développeurs spécialisés dans ces deux réalités auront potentiellement plus à se mettre sous la dent que les autres.

La nouvelle version majeure de Spark AR Studio apporte en effet le support de Windows, augmentant nettement son champ d’action. Les projets peuvent maintenant être divisés en modules réutilisables nommés Blocks, le Patch Editor a été complètement réécrit, les tests peuvent être lancés directement sur Facebook et Instagram, et de nouveaux outils permettent de manipuler plus précisément les sons.

Côté réalité virtuelle, WebXR a complètement remanié la page d’exploration des contenus dans Oculus Browser, qui apparaitra à chaque ouverture d’un nouvel onglet. L’application Facebook y sera également munie d’un bouton « Save to VR » permettant de mettre de côté les contenus « immersifs » afin de les revoir plus tard avec un Oculus ou autre solution adaptée.

Facebook travaille également à la création d'avatars réalistes, dans l'idée de permettre des conversations plus naturelles entre personnes éloignées.

Facebook veut prouver que le machine learning est employé à bon escient

Nouvelle tendance cette année, l’aspect éthique des sujets abordés. Qu’on se le dise, Facebook n’est plus seulement une entreprise fournissant des technologies, elle les utilise aussi en prenant garde à une foule de détails.

Par exemple, le machine learning appliqué à la protection des utilisateurs contre les contenus offensants, tout particulièrement les appels à la haine et les agressions. Selon l’éditeur, les progrès réalisés (en reconnaissance du langage naturel et computer vision) lui ont permis la construction d’une sorte de lingua franca, un langage véhiculaire pouvant servir à de très nombreux cas de figure.

Pour répondre à chaque question, il faut un modèle dont l’entrainement nécessite des « milliers d’exemples d’un langage donné ». Le défi devient conséquent avec l’augmentation du nombre de langues à couvrir (Facebook en évoque 6 500), dont beaucoup manquent des échantillons nécessaires.

Facebook utilise donc sa trousse à outils LASER (Language-Agnostic SEntence Representations), entrainée par un seul modèle contenant des extraits de langues. L’espace de représentation qui s’en suit permet, avant d’avoir à effectuer une traduction, de reconnaître des structures de phrases. La précision du modèle peut ensuite augmenter en traduisant les phrases et en les comparant pour affiner encore les rapprochements.

Des modèles auto-supervisés ?

La problématique des performances et de la quantité de données se pose également pour les photos et les vidéos. Facebook expose les soucis rencontrés par les modèles supervisés classiques, qui nécessitent d’importantes collections d’échantillons et surtout un travail particulièrement long et ingrat de labellisation. Face à des contenus à reconnaître très rapidement dans un milieu mouvant et avec des tendances émergeant continuellement, l’entreprise vise les modèles auto-supervisés et sans labels.

L’idée n’est pas tout à fait nouvelle mais restait jusqu’à présent, selon Facebook, un champ d’études pour les chercheurs. Un modèle pourrait ainsi recevoir un entrainement de base avec un lot de contenus labellisés. Mais au lieu d’en affiner les performances avec des objets connus, on lui donne « à manger » des données sans étiquette. Facebook parle de « généralisation à des tâches inconnues » et d’une « approche intrinsèquement polyvalente » ayant le potentiel d’un résultat plus proche des attentes que ceux obtenus actuellement avec le concours humain.

Au terme des essais menés par Facebook, un modèle auto-supervisé atteindrait la précision actuelle d’un entrainement classique avec dix fois moins de texte ou, à quantité égale d’informations, une réduction de 20 % des erreurs. Sur l’audio, les performances décollent : il faudrait 150 fois moins de données pour un résultat équivalent. Le gain de temps est évidemment conséquent (mais non chiffré) puisque les données n’ont pas fait l’objet de préparation particulière.

Ajoutons que l'utilisation de modèles auto-supervisés permettrait à Facebook de se débarrasser de certaines contraites liées à la vie privée.

La question des biais dans les algorithmes

Les recherches de l’entreprise s’élargissent également à d’autres champs, dont l’inclusion. Lade Obamehinti, la responsable stratégie de l’équipe AR/VR, réalisait ainsi une démonstration technique de Portal. D’une famille aux racines nigériennes, sa peau sombre a créé des problèmes, Portal se concentrant selon elle sur un collègue blanc. La version maison du problème de biais technique dans la sélection des données et la manière dont elles sont traitées.

Au sein de la société, elle a donc créé une initiative « inclusive AI » pour travailler plus en profondeur sur le sujet. « Les humains catégorisent naturellement les choses » indique ainsi Obamehinti. L’idée principale était de « couper » dans les données afin d’obtenir une valeur représentative identique pour chaque type de population ou, plus globalement, de données. En clair, ne pas introduire forcément toutes les données à disposition, au risque de créer une pondération défavorable à un groupe de personnes.

L’approche a été divisée en trois phases : études utilisateurs, développement des algorithmes et validation système. Bien qu’elle ait développée initialement pour Portal, elle a rejailli depuis dans d’autres produits, notamment Instagram et Messenger, permettant aux effets de s’appliquer à un plus grand nombre de formes de messages et de couleurs de peau.

Et ces problématiques ne s’appliquent encore qu’à la teinte de peau et au genre. Elles sont différentes pour la voix, prochain chapitre de recherche envisagé. L’histoire racontée par la responsable illustre dans tous les cas les difficultés rencontrées par les entreprises à se procurer parfois des échantillons représentatifs et diversifiés de population. Selon Obamehinti, l’emplacement même des locaux est un problème, découlant sur une volonté d’approche globale, mais qui nécessitera plus de temps.

Le mot « global » est en lui-même un problème en matière d’intelligence artificielle. Facebook est dans la position unique d’une entreprise capable de brasser les données de plus de deux milliards de personnes. Dans chaque marché où elle est présente, elle doit comprendre le contexte social, économique et culturel pour prendre les décisions les plus adaptées précises. Un défi quand on sait que l’immense majorité des décisions de première ligne sont prises automatiquement par des algorithmes.

Facebook aborde également ce point dans un article nommé « conception responsable », qui traite de l’approche des traitements en essayant d’obtenir une vue générale des intentions et des conséquences dans toute réalisation d’un produit.

L’exemple fourni est d’actualité : la désinformation. Le réseau social s’est aperçu que les partenariats avec les structures de lutte contre les fake news et de vérification des faits aboutissaient parfois à l’inverse du résultat espéré. Les utilisateurs n’en prenaient pas spécialement bonne note et avaient la désagréable sensation que le service leur imposait une vision de ce qui était vrai ou faux. En clair, ils voulaient décider par eux-mêmes de ce qui était partageable ou non.

À la substitution, Facebook s’essaye donc à l’éducation. Au moment de partager un article, un bouton apparaît, surligné par une animation légère. Un panneau fournit des informations diverses : qui a publié cette information en premier lieu, quand, les autres articles qui abordent le sujet, une carte des lieux où l’article a été partagé, etc. Selon les retours obtenus, les internautes prendraient de meilleures décisions sur ces partages.

Une édition plus politique que les autres années

Le cru 2019 de la conférence F8 aura été marqué par de nombreuses annonces dont beaucoup ne concernaient pas directement les développeurs. Facebook a tenu à prouver qu’elle pouvait être une entreprise responsable, capable de réflexions profondes sur des sujets de vives inquiétudes.

Une bonne partie du temps de parole et des articles publiés ont ainsi été consacrés à la vie privée, aux actes de contrition, et aux utilisations responsables et réfléchies du machine learning. Mieux, dans le cadre de la conférence, toutes ces annonces revêtaient une dimension de phare dans la nuit : l’avance de Facebook passerait ainsi autant par la technique pure que par ses réflexions sur le sujet.

Dans l’année qui vient, les efforts de Facebook vont clairement se porter sur les principaux points de critique, ce que nous étudierons de près. Ce n’est par exemple pas un hasard si le renouvellement de Messenger passe par un poids de seulement 30 Mo et une exécution beaucoup plus rapide. L’application est connue pour être particulièrement vorace, tout comme le client mobile Facebook d’ailleurs. En attendant une édition 2020 peut-être plus fournie en nouveautés pour les développeurs.

Notez tout de même que ces derniers peuvent profiter désormais d’un nouveau Developer Community Forum, pensé selon Facebook avant tout pour répondre à leurs besoins.