Imaginez être en déplacement, mais faire travailler vos équipes pour créer une conférence vidéo que vous n'aurez pas à tourner ? Ou une visioconférence sans avoir de webcam sur votre machine, à travers une connexion à très bas débit. NVIDIA y travaille.

Au SIGGRAPH, NVIDIA a fait de nombreuses annonces sur ses projets de recherches, l'évolution de ses outils ou même sa nouvelle RTX A2000. On devine également une tendance nette chez la société : elle veut nous faire rentrer dans un monde de la communication en ligne avec des intervenants réalistes... mais virtuels.

Même en vacances, le PDG de NVIDIA peut animer des conférences

Premier exemple et pas des moindres : la manière dont Jen Hsun Huang a été modélisé en 3D (ainsi que sa désormais célèbre cuisine) pour être utilisé numériquement lors de la conférence de la dernière GPU Technology Conférence (GTC). De la gestuelle aux moindres détails de son visage en passant par sa manière de parler. Pas de quoi tenir toute une conférence face caméra, mais les étapes se franchissent petit à petit.

Comme avec son projet « Digital Mark », l'entreprise veut montrer que l'on entre dans une ère où il est possible d'effectuer des rendus photoréalistes de scènes entières, et que ses outils permettent de les concevoir. Elle précise d'ailleurs que tout le travail effectué sur la GTC a été réalisé via Omniverse, désormais ouvert aux développeurs. 

Pour appuyer le propos, elle diffuse une vidéo promotionnelle d'une trentaine de minute revenant sur la conception de l'ensemble des éléments de la conférence et le travail mené par ses équipes pendant plusieurs mois.

Digital Mark : un humain modélisé en 3D, configurable, photoréaliste

La visioconférence sans webcam est-elle le futur ?

Ces évolutions rejoignent d'autres travaux de l'entreprise, sur l'animation de modèle 3D à partir d'un flux audio à travers Audio2Face, de réduction du poids des visioconférences, avec la possibilité de retravailler l'angle ou les gestuelles d'un visage en temps réel via vid2vid. Cela l'a mené à une seconde démonstration qui pourrait changer la donne. 

En effet, la société se propose d'utiliser une simple photo d'un intervenant et de l'utiliser pour créer un avatar numérique, qui serait animé selon les propos tenus, avec des mouvements du visage devant donner l'impression qu'il s'agit d'une prise de vue via une caméra, alors que ce n'est pas le cas. L'intérêt est évident en termes de bande passante puisque seul le flux audio est transféré, tout le travail d'animation étant traité localement par le GPU.

Dans la vidéo diffusée, on voit ainsi un utilisateur se présenter en costume et rasé de près, alors qu'il est en t-shirt avec un masque cachant le bas de son visage. L'avatar recréé cligne des yeux, n'est pas statique, et ne se fait finalement trahir que par des mouvements de la bouche encore un peu mécaniques, pas totalement réalistes. On l'imagine ainsi assez mal réagir correctement si l'utilisateur se met à rire aux éclats par exemple.

De quoi s'assurer que vos enfants ne seront pas exposés lorsqu'ils débarquent dans la pièce. On peut aussi choisir d'utiliser un avatar moins réaliste, avec un style de dessin ou de peinture, différents effets, etc. Autre fonctionnalité, pouvant être utilisée en cas de souci de micro mais qui pourrait également intéresser les personnes muettes ou souffrant de certains handicaps : reproduire une conversation vocale depuis du texte en animant l'avatar. 

Prévenir dès maintenant les risques d'une telle technologie

L'ensemble est prometteur, avec une limite : comme toujours, un tel usage peut être détourné. On imagine par exemple une personne se faisant passer pour le PDG d'une entreprise, un homme politique ou tout simplement vous, dans un but malveillant, sur la base d'une simple photo. Ou d'un adulte qui se ferait passer pour un enfant.

De quoi relancer les discussions sur la manière dont on s'assurera que l'IA sera mise à notre service sans pour autant devenir une arme de confusion massive. Car en la matière, une chose est sûre : elle a du potentiel.