Dans une série de brevets, Facebook propose d'utiliser les caméras et autres capteurs pour identifier les émotions des utilisateurs, puis les retranscrire en reformatant le texte écrit ou sous forme d'emojis personnalisés. L'analyse du visage pourrait également mener à une adaptation des contenus présentés, publicités comprises.

Depuis la mi-mai, deux brevets de Facebook ont été publiés outre-Atlantique, portant directement sur l'adaptation de son système aux émotions de l'utilisateur. De l'apparence d'un message texte à l'affichage de l'état de l'internaute, en passant par le choix d'un emoji par l'analyse du visage, les pistes sont larges. Le site américain CB Insights a compilé trois de ces idées, qui montrent la recherche du géant américain, déjà épinglé pour des excès dans ses capacités de détection des émotions des adolescents.

L'une des questions que veut résoudre Facebook, qui se voit comme la future communauté mondiale, est de dépasser les limites du simple message texte, encore le standard des communications en ligne. Trop peu expressif, il devrait donc être trituré ou enrichi pour exprimer les émotions de l'internaute.

Cette idée est loin d'être nouvelle, de la simple émoticône au sticker, en passant par les emojis. D'autres idées font aussi leur chemin, comme le partage du rythme cardiaque chez Apple. Pour aller plus loin, le réseau social compte pour sa part interpréter les sentiments pour les retranscrire, à sa manière.

Vitesse de frappe, accéléromètre et position

Le 25 mai, le Bureau américain des brevets a accordé à Facebook le brevet « messages texte augmentés avec des informations émotionnelles ». En détail, le système visé « peut afficher le texte d'un message d'une façon qui correspond à l'émotion prédite de l'expéditeur, permettant au destinataire d'interpréter plus justement le message au regard de ces émotions ».

Concrètement, il s'agit d'adapter la présentation du message à la manière dont il est tapé. Le logiciel identifie des comportements et les associe à des sentiments prédéterminés. Dans l'idée, Facebook pourrait moduler l'espacement entre les mots selon la vitesse (en rétrécissant l'espace si l'utilisateur tape vite). Le niveau de pression sur l'écran, la localisation ou les mouvements de l'appareil (via l'accéléromètre) peuvent aussi entrer en ligne de compte, pourquoi pas pour changer la taille ou la police de caractères.

De là à ce que l'application détecte une frappe hésitante à une heure tardive et passe le texte en Comic Sans, il n'y a qu'un pas.

Visage, emojis et adaptation du contenu

Dans un autre brevet, publié le 18 mai, Facebook explore la possibilité de « générer dynamiquement des emojis à partir de l'analyse d'une image des caractéristiques d'un visage ». Le principe est de proposer l'emoji qui correspond le mieux au visage de l'utilisateur au moment où il écrit, par exemple s'il sourit.

Le brevet ouvre la voie à la modification de l'emoji en question, par exemple pour ajouter un mouvement de bras (comme un pouce levé ostensible). Doivent être pris en compte les yeux, les sourcils, le nez ou la bouche (dont les dents, langue et lèvres). Soit autant de points pour déterminer les sentiments de l'internaute et lui suggérer une image adéquate.

Un troisième brevet, publié le 27 août 2015, va plus loin : analyser les émotions de l'internaute face aux contenus, via la caméra d'un smartphone ou d'un ordinateur, pour adapter ce qui lui est affiché. Les images seraient capturées sans forcément avertir l'utilisateur à chaque fois, le tout étant ensuite stocké temporairement et traité via une API dédiée.

Le choix du contenu ne se limiterait pas qu'aux publications d'utilisateurs, mais aussi possiblement aux publicités. Si cette idée (encore théorique) venait à être utilisée, elle pourrait permettre d'adapter les réclames en fonction des goûts des utilisateurs, voire donner une idée générale des réactions face à celles-ci.

Une étude qui allait déjà loin

Si deux brevets ont été accordés et publiés cette année, ils ont été soumis au Bureau américain en 2015. Entretemps, Facebook a subi un feu nourri de critiques pour de trop larges promesses en termes d'identification des sentiments. Le cas s'est présenté en Australie et en Nouvelle-Zélande, où une étude de la société mettait en avant sa capacité à détecter les moments où l'estime des adolescents était au plus bas, permettant par exemple de leur adresser de la publicité ciblée dans ces moments de faiblesse.

Mise face à cette étude, la société annonçait une enquête sur ces pratiques, jugées « inappropriées ». Le document aurait été présenté à des annonceurs, mais n'évoquerait que des possibilités techniques, et non des outils mis en place.

Il reste que le champ des possibles est bien large pour le réseau social. Rappelons que les sociétés publient de grandes quantités de brevets, tous ne servant in fine pas à leurs services. Elles se laissent simplement la possibilité d'exploiter l'idée, protégée pour environ vingt ans, voire de réclamer un dédommagement si quelqu'un d'autre venait à la mettre en pratique.

Plus concrètement, Facebook élargit constamment les moyens d'expression pour ses membres. C'est le cas avec l'arrivée récente des réactions, adaptées par la suite aux commentaires, qui doivent donner une meilleure idée des sentiments des internautes sur chaque publication.