Des visages en mouvement à partir de quelques images, voire d’une seule
Le 23 mai 2019 à 09h32
1 min
Sciences et espace
Egor Zakharov, Aliaksandra Shysheya, Egor Burkov, Victor Lempitsky, chercheurs au Samsung AI lab et à l’Institut Skolkovo des sciences et de la technologie, ont exposé leurs travaux visant à recréer des vidéos photoréalistes à l’aide de quelques images, voire d’une seule.
Effectuer une telle synthèse est considéré comme difficile, rappellent-ils. « Les têtes humaines sont d’une grande complexité photométrique, géométrique et cinématique », tenant à la fois à la modélisation, mais aussi à la forme de chaque élément.
De plus, il y a une très faible tolérance de l’œil humain « vis-à-vis des erreurs, même mineures, dans la modélisation de l'apparence des têtes humaines ». C’est le phénomène de « vallée dérangeante » (uncanny valley), « théorie scientifique (…) selon laquelle plus un robot androïde est similaire à un être humain, plus ses imperfections nous paraissent monstrueuses » (Wikipedia).
Les débouchés sont multiples (vidéoconférence, jeux vidéo, industrie des effets spéciaux). Le résultat est à contempler sur cette vidéo, avec une mention spéciale pour la mise en mouvement du visage de Mona Lisa.
Le 23 mai 2019 à 09h32
Commentaires (12)
Vous devez être abonné pour pouvoir commenter.
Déjà abonné ? Se connecter
Abonnez-vousLe 23/05/2019 à 09h00
#1
" />
il reste plu qu’a faire parler mona lisa pour savoir si c’est un mec ou une nana …
Le 23/05/2019 à 09h05
#2
De ce que je vois, le système se fait en 2 étapes :
Après, derrière, le réseau complet sert à l’apprentissage. C’est grossièrement un Generative Adversarial Neural Network/GAN ou Réseaux antagonistes génératifs. 2 réseaux sont en concurrence, l’un essaie de créer des truc qui semble être vrai pendant que l’autre essaie de repérer ce qui est vrai de ce qui a été généré par le premier réseau. Sachant que le premier réseau a accès au “rapport d’expertise” du second réseau, il sait ce qui a fait tilté le second et donc comment améliorer ses faux pour qu’il paraissent plus vrai la fois suivante. Genre “les coup de pinceaux sont trop courts” -> “je prend note, la prochaine fois, je ferai des coups de pinceau plus long”
Sinon, pour la reconnaissance d’un visage par un humain, il y a 2 phénomènes qui se passe :
Du coup, il est à la fois simple de dessiner quelque chose que l’on arrivera à identifier comme un visage, mais difficile de le faire passer pour un vrai.
Le 23/05/2019 à 09h36
#3
la prouesse est belle, résultat est pas génial (pour Mona Lisa, à tout le moins)
Le 23/05/2019 à 09h37
#4
C’est quand même bien marrant de voir Mona Lisa bouger " /> Bon, pour le moment ça fera juste une appli Android de plus pour faire joujou avec son tel en attendant le bus.
Mais je ne doute pas que ça évoluera, et que des esprits dérangés trouveront bien un moyen de l’appliquer à des fins bien moins nobles, telle la reconnaissance faciale qui sert maintenant à traquer de plus en plus. Le bénéfice compense trop peu souvent les dérives, avec ce genre de techno…
Le 23/05/2019 à 12h10
#5
Intéressant de voir aussi les visages des autres, de Marilyn Monroe et de Dali. Pour ceux qui ont vu ces personnes vraiment parler, on peut voir que c’est prometteur mais que le chemin est encore long.
Le 23/05/2019 à 13h04
#6
Le 23/05/2019 à 14h14
#7
Pero je vois une application immediate dans l’industrie du porn.
Et je suis sérieux
Le 23/05/2019 à 15h56
#8
L’algorithme est basé sur le Da Vinci Code !
Le 23/05/2019 à 16h28
#9
Les débouchés… Première application… Les fakenews
Le 23/05/2019 à 19h54
#10
Le 24/05/2019 à 01h33
#11
c’est déjà appliqué avec CGI , ils t’ont pas attendu, ni cette nouveauté .
enfin pas le porno pro évidemment.
Emma Watson en a apparemment beaucoup fait les frais.
C’est sur wikipedia que j’ai trouvé ça , j’ai fais aucune recherche douteuses
Le 24/05/2019 à 05h27
#12