TextStyleBrush est une technologie basée sur l’apprentissage automatique non supervisé. Traduction, le modèle est entraîné avec des données « inconnues », sans que personne ne lui ait donné la moindre indication. Il devait de lui-même créer des recoupements et trouver des liens.

Facebook lui a donné « à manger » une montagne de photos contenant des textes dans des zones délimitées, notamment des panneaux et étiquettes en tous genres. À quelle fin ? pouvoir remplacer ces textes à la volée.

Via plusieurs exemples, Facebook montre le potentiel de sa technologie. Dans une vidéo relativement impressionnante, on peut voir comment, depuis la photo d’un texte, on peut extraire un mot, dont on va ensuite appliquer le style à un autre mot.

Selon l’éditeur, TextStyleBrush fonctionne aussi bien avec les polices que l’écriture manuscrite. La photo de l’étal de légumes montre également la limite de la technologie, puisque certains textes ne sont pas traduits.

Mais cette même photo montre justement tout le potentiel, car TextStyleBrush peut être utilisé dans des applications de réalité augmentée, par exemple pour afficher des traductions à la volée des panneaux dans une rue, des instructions, etc. Le tout en gardant le même style graphique que le texte d’origine. 

« Bien qu’il s’agisse d’un projet de recherche, il pourrait un jour débloquer un nouveau potentiel pour l’expression personnelle créative comme les messages personnalisés et légendes, et pose les bases d’innovations futures comme les traductions photo-réalistes des langages en réalité augmentée ».

Ne faut-il pas craindre cependant un détournement de cette technologie, à des fins notamment de deep fakes ? Facebook joue justement la carte de la transparence : 

« En publiant les capacités, méthodes et résultats de ces recherches, nous espérons inciter le dialogue et la recherche dans la détection d’abus potentiels sur ce type de technologie, comme les attaques deep fakes sur les textes – un défi critique et émergent dans le champ de l’IA ».