TextStyleBrush est une technologie basée sur l’apprentissage automatique non supervisé. Traduction, le modèle est entraîné avec des données « inconnues », sans que personne ne lui ait donné la moindre indication. Il devait de lui-même créer des recoupements et trouver des liens.
Facebook lui a donné « à manger » une montagne de photos contenant des textes dans des zones délimitées, notamment des panneaux et étiquettes en tous genres. À quelle fin ? pouvoir remplacer ces textes à la volée.
Via plusieurs exemples, Facebook montre le potentiel de sa technologie. Dans une vidéo relativement impressionnante, on peut voir comment, depuis la photo d’un texte, on peut extraire un mot, dont on va ensuite appliquer le style à un autre mot.
Selon l’éditeur, TextStyleBrush fonctionne aussi bien avec les polices que l’écriture manuscrite. La photo de l’étal de légumes montre également la limite de la technologie, puisque certains textes ne sont pas traduits.
Mais cette même photo montre justement tout le potentiel, car TextStyleBrush peut être utilisé dans des applications de réalité augmentée, par exemple pour afficher des traductions à la volée des panneaux dans une rue, des instructions, etc. Le tout en gardant le même style graphique que le texte d’origine.
« Bien qu’il s’agisse d’un projet de recherche, il pourrait un jour débloquer un nouveau potentiel pour l’expression personnelle créative comme les messages personnalisés et légendes, et pose les bases d’innovations futures comme les traductions photo-réalistes des langages en réalité augmentée ».
Ne faut-il pas craindre cependant un détournement de cette technologie, à des fins notamment de deep fakes ? Facebook joue justement la carte de la transparence :
« En publiant les capacités, méthodes et résultats de ces recherches, nous espérons inciter le dialogue et la recherche dans la détection d’abus potentiels sur ce type de technologie, comme les attaques deep fakes sur les textes – un défi critique et émergent dans le champ de l’IA ».
Commentaires (5)
Chouette comme ça FB pourra décoder les photos de manière plus efficache pour mieux nous espionner !
Rien à voir dans la techno présenté ici.
Si tu cherche des algo capable de faire de le reconnaissance d’image, je t’invite à regardé plus du coté de YOLO (ici la V3) si tu veux t’amuser sur de l’embarqué, Fast R-CNN pour ce qui sert de pivot de référence et toute la flopée de réseaux de neurones similaires
Ici, il utilisent une technique de “transfert de style” qui permet de copier un style (d’écriture) pour le transférer sur un autre document (un texte). Je n’ai pas regardé comment ils font exactement, mais l’idée est là.
Ces technologies vont se développer quoi que Facebook fasse. Ce n’est pas plus mal que FB montre que ça existe et comment ça marche. Pour une fois, je suis d’accord avec leur choix (et du coup je me demande si j’ai tort…).
Impressionnant.
Concernant l’argument de FB sur les deep fake, il faudrait déjà que les gens commence à se poser la question de l’authenticité d’une photo lorsqu’en il en voient une, et certains ne sont pas du tout douer pour ça.
Google Translate sur Android le fait depuis très longtemps.
De tête, depuis 2014 je crois.