Des visages en mouvement à partir de quelques images, voire d’une seule

De ce que je vois, le système se fait en 2 étapes :

1. La première “encode” les photos des visages de la personnes que l’on veut faire bouger pour le décrire via un ensemble fixe de valeur (en gros, ça a trouver une solution pour décrire le visage comme on le ferait avec un éditeur de perso de RPG).
   


2. puis de ce code et d’un schéma du visage (un dessin grossier du visage et des éléments de celui ci) il recréer un nouveau visage.
   
   
   
   Après, derrière, le réseau complet sert à l’apprentissage. C’est grossièrement un Generative Adversarial Neural Network/GAN ou Réseaux antagonistes génératifs. 2 réseaux sont en concurrence, l’un essaie de créer des truc qui semble être vrai pendant que l’autre essaie de repérer ce qui est vrai de ce qui a été généré par le premier réseau. Sachant que le premier réseau a accès au “rapport d’expertise” du second réseau, il sait ce qui a fait tilté le second et donc comment améliorer ses faux pour qu’il paraissent plus vrai la fois suivante. Genre “les coup de pinceaux sont trop courts” -> “je prend note, la prochaine fois, je ferai des coups de pinceau plus long”
   
   
   
   
   
   Sinon, pour la reconnaissance d’un visage par un humain, il y a 2 phénomènes qui se passe :
   

• on est très doué pour voir des visages dans tout et n’importe quoi, un simple doint-points suivit d’une parenthèse et ban on voit une personne souriante :) .
  


• on est très sensible au détail sur un visage humain. La moindre imperfection nous saute au yeux.
  
  
  
  Du coup, il est à la fois simple de dessiner quelque chose que l’on arrivera à identifier comme un visage, mais difficile de le faire passer pour un vrai.

WereWindle a écrit :



la prouesse est belle, résultat est pas génial (pour Mona Lisa, à tout le moins)





A priori, le résultat est meilleur avec plus d’image de référence. La, il n’en a qu’une seule. De plus, avec Mona Lisa, c’est une peinture ce qui sort un peu du cadre classique de ce sur quoi il a appris (il y a des chances que ce soit la base de donnée de photos de célébrité).

Et comme je l’ai dit plus haut : autant on arrive facilement à voir un visage, autant on repère très vite les défauts sur ce visage.

Par exemple sur ce site on est tellement concentré à repérer les petit défaut sur le visage que l’on ne voit pas que le reste est dégueulasse (c’est parfois amusant quand le réseau essaye de simuler un second visage proche).







thotor a écrit :



C’est quand même bien marrant de voir Mona Lisa bouger " /> Bon, pour le moment ça fera juste une appli Android de plus pour faire joujou avec son tel en attendant le bus.

Mais je ne doute pas que ça évoluera, et que des esprits dérangés trouveront bien un moyen de l’appliquer à des fins bien moins nobles, telle la reconnaissance faciale qui sert maintenant à traquer de plus en plus. Le bénéfice compense trop peu souvent les dérives, avec ce genre de techno…





Hum, coller le visage de n’importe qui sur n’importe quelle vidéo… que disent les règles d’internet ?



Déjà, de manière général, tu as tout ce qui est “deepfake” qui est en gros tous ce qui permet de créer des faux qui ressemblent au vrai. On pourrait imaginer créer une vidéo de n’importe qui, qui dit ce que tu veux en copiant son visage, ses expressions, sa voix, son intonation mais aussi son “style” de phrase.