Le Deep Learning Super Sampling (DLSS) débarque en bêta dans FF XV Windows Edition

Le Deep Learning Super Sampling (DLSS) débarque en bêta dans FF XV Windows Edition

Le Deep Learning Super Sampling (DLSS) débarque en bêta dans FF XV Windows Edition

Le jeu est pour le moment le seul à exploiter cette technologie promise sur une vingtaine de titres en septembre. Pour rappel, il s'agit d'entraîner une IA à régler les soucis d'aliasing dans un jeu précis, puis d'utiliser le modèle qui en résulte en temps réel afin d'offrir un meilleur ratio résultat/performances.

NVIDIA utilise les Tensor Core de son architecture Turing, présents au sein des GeForce RTX. FF XV Windows Edition avait ainsi déjà été utilisé comme démonstration pour la presse, à travers son outil de mesure de performances.

Désormais, le jeu complet bénéficie lui aussi du DLSS. Le tout est néanmoins annoncé en bêta, sans doute pour parer à d'éventuels bugs qui pourraient survenir, comme ce fût le cas pour le ray tracing dans Battlefield V.

Pour tester cette fonctionnalité, il vous faudra le dernier patch du jeu, ainsi que les pilotes 417.35 qui viennent d'être mis en ligne. Quelques bugs sont corrigés au passage.

Commentaires (20)


🤔, c’est moi où à part la luminosité des couleurs, il n’y a aucune différence entre les deux images?! <img data-src=" />

En tout cas, s’il y en a, ça ne me saute pas aux yeux, donc pas utile pour moi…


La question que je me pose, est si le rendu sera différent en fonction des bécanes ?








darkweizer a écrit :



🤔, c’est moi où à part la luminosité des couleurs, il n’y a aucune différence entre les deux images?! <img data-src=" />



En tout cas, s'il y en a, ça ne me saute pas aux yeux, donc pas utile pour moi...








il y a des nuages en plus dans le ciel ;-)&nbsp;    



Bon, sinon, l’anti-aliasing ayant tendance à atténuer l’impression de contraste. On peut voir sur l’image de droite que les petits détails apparaissent mieux (ex:pont en bois du bateau)









Azerty38 a écrit :



il y a des nuages en plus dans le ciel ;-)





^^ ! J’ai vu ça, mais c’est juste que le jeu ne les as pas généré pareil en arrivant à ce point là.



P.S.: c’était peut-être juste une blague <img data-src=" /><img data-src=" />



Moi, je vois des différences au niveau des contours qui sont plus précis (moins de flou sur les lignes courbes avec le DLSS) et les textures sur le pont du bateau sont mieux définies avec le DLSS. L’image semble cependant avoir été embellie avec plus de contraste et de lumière sur l’image avec le DLSS.



Sinon, on pourrait reprocher nVidia de ne pas comparer avec et sans DLSS sur la même carte graphique, histoire qu’on voie réellement ce que ça apporte, mais bon, faut bien qu’ils trouvent des arguments pour vendre leur dernière carte.


Les différences ne sont pas tellement à voir sur l’image, mais dans les

performances : les FPS (affichés en haut à gauche de chaque image) passent de 41 à 78, ce qui n’est pas négligeable ! Si tant est que c’est c’est pas du pipeau ..








Arkeen a écrit :



Les différences ne sont pas tellement à voir sur l’image, mais dans les

performances : les FPS (affichés en haut à gauche de chaque image) passent de 41 à 78, ce qui n’est pas négligeable ! Si tant est que c’est c’est pas du pipeau ..





+1.

J’ajouterais qu’il convient de comparer des séquences vidéo plutôt que de simples instantanés.

Le ressenti d’une scène en mouvement n’est pas du tout le même que la visualisation d’une image fixe. Ainsi, certains aspects seront vécus différemment, voir pas vu du tout :p









Arkeen a écrit :



Les différences ne sont pas tellement à voir sur l’image, mais dans les

performances : les FPS (affichés en haut à gauche de chaque image) passent de 41 à 78, ce qui n’est pas négligeable ! Si tant est que c’est c’est pas du pipeau ..





C’est ça la&nbsp;différence est surtout dans les performances, le réseau de neurones devrait être plus rapide à imiter un algo d’antialiasing que d’utiliser directement le même algo d’antialiasing.



Le problème, c’est que la vidéo montre d’un côté une 1080 et de l’autre une 2080. Forcément qu’il y aura de meilleures performances sur la 2080.



Alors, d’après l’article de tom’s Hardware, le DLSS serait en faite un upscaling de 150% réalisé par l’algo.

L’upscaling semble cependant de très bonne qualité, l’algo “comprend l’image” et “sait ce qu’il faut rajouter” (c’est tout le boulot d’apprentissage). de manière général, le DLSS a des avantages et des défauts et c’est kif-kif à un TAA personnellement.

Mais derrière, c’est surtout un gros gain de performance, l’image de base en 4k est en faite une image 2k et en 2k c’est une image 1080p. Du coup, gros gain de FPS.









darkweizer a écrit :



🤔, c’est moi où à part la luminosité des couleurs, il n’y a aucune différence entre les deux images?! <img data-src=" />

En tout cas, s’il y en a, ça ne me saute pas aux yeux, donc pas utile pour moi…







Comme je l’ai dis au dessus, l’intérêt est surtout au niveau des performances, la CG fait un rendu sur une image plus petites et le réseau de neurone s’occupe de l’upscaler “intelligemment” (comprendre : ça interprète l’image et rajoute l’information la plus probable par rapport de ce qu’il connait du jeu).







Obidoub a écrit :



La question que je me pose, est si le rendu sera différent en fonction des bécanes ?







Normalement, non, les paramètres du réseau de neurones fourni sont “fixés”. L’apprentissage a été fait en amont (par NVidia pour le jeu spécifiquement). Du coup ce sont les même calcule avec les même paramètres quelque soit la bécane (modulo la possibilité de fournir différentes versions de réseau pour différentes config.).



Alors, je me permets de double poster pour expliquer l’aspect “intelligent” du DLSS.

En gros, imaginons un jeu vidéo où il n’y a que des cube des pyramides et des sphères. Le DLSS consiste à partir d’une séquence d’image en 2K de créer la dernière image en 4K avec un antialising.



Pour ce faire, le réseau de neurone a appris à reconnaître dans des images 2K de ce jeu ce qui est un cube, une pyramides et une sphère et d’en régénérer une version haute résolution sachant du coup que c’est une sphère, un cube ou une pyramide (ces 2 étapes sont fait en même temps). Durant l’apprentissage, le réseau doit s’approcher le plus d’un rendu qui a été calculé dans des conditions optimale (le jeu de données d’apprentissage étant préparer en amont, il n’y a pas de contrainte de faire un rendu temps-réel), une fois le rendu satisfaisant (généralement on s’arrête dès que le rendu commence à se dégradé lorsque l’on fait passé des données inconnu : le réseau commence à sur-apprendre des données d’apprentissage, il commence à apprendre par cœur ces données et plus à traiter le problème de manière générique), on fixe les paramètres et on distribue ce modèle (architecture du réseaux+valeurs de paramètres) pour ce jeu spécifiquement.



La force du DLSS, c’est qu’il vient avec une connaissance du jeu. L’anti-aliasing n’est pas un bête algo qui fait exactement le même calcule quelque soit l’objet, l’angle, la matières…



A priori, une séquence (il semblerait en effet que le DLSS travaille sur une séquence d’image et non sur une seul image) d’image en 2K complété d’une connaissance du jeu permet de réunir assez d’information pour générer une image 4K sans trop de perte.


Du coup ça marche plutôt bien <img data-src=" /> Gros gain de FPS et pas de différence visuelle


Alors au temps pour moi ! Si c’est au niveau des perfs (qualité égale pour performance demandé moindre), normal que je ne vois pas la diff. Le fps j’avais mis ça sur la CG différente, pas sur la techno <img data-src=" />


je ne connais pas les technos deep learning et autre, mais gagner en finesse de texture (cf. texture du pont du bateau) en passant d’un 2160p +TAA à un 1440p upscalé dlss, j’avoue que j’ai du mal


La qualité n’est pas égale au sens identique. Le DLSS va avoir des meilleurs rendu sur certains points et de moins bon sur d’autre. A ceci s’ajoute 2 problèmes :




  • Le calcule semble se faire sur une séquence d’image. Un changement de scène est une coupure net dans la continuité d’une séquence d’images. Au cause de cette coupure l’algo est au choux pendant quelques frames ( avec un rendu tout juste meilleur qu’un 2K sans AA upscalé sur la première frame (mais qui s’améliore au fur et à mesure des frames, combien de frame sont nécessaires ? je ne sais pas, en tout cas il lui a fallu moins de 40 frames pour repartir à plein régime dans l’exemple présenté dans l’article de tom’s hardware).



  • Le DLSS n’est pas générique : il est spécifique à un jeu. Utiliser les même paramètre que FFXV dans battlefield V, et l’algo sera en PLS. Tout au mieux il fera un peu mieux qu’un upscalling bateau, au pire il créera de la fausse information (il s’attend à des objets de FFXV, il va donc créer des objets de FFXV). Une mise à jour du jeu qui rajoute du contenu pourrait même nécessité de réapprendre les paramètres. Je ne serais même pas étonné que ce ne soit pas le même réseau qui est utilisé selon les configuration des paramètres vidéos. Pour les consoles de jeux vidéo, ce n’est pas un soucis, pour un ordinateur… je ne sais pas.



    Et sinon, niveau performance, l’autre avantage du DLSS, c’est qu’il ne se fait pas sur la même partie du GPU que le calcule du rendu à proprement parlé. Il est calculé sur les TPU (tensor process unit, la nouveauté principale des RTX selon moi), laissant les autres unités libres. Du coup la carte graphique peut lancer le calcule de la prochaine frame pendant que les TPU travaillent sur l’anti aliasing dans leur coin.








Mace8419 a écrit :



je ne connais pas les technos deep learning et autre, mais gagner en finesse de texture (cf. texture du pont du bateau) en passant d’un 2160p +TAA à un 1440p upscalé dlss, j’avoue que j’ai du mal





Simple :

je te donne plein de photo haute résolution d’une tasse, dans tous les sens, tous les éclairages… En observant ces photos, tu arrives à apprendre comment dessiner cette objet quelque soit les conditions avec une bonne qualité.

De l’autre coté, tu as aussi appris en parallèle à reconnaître cette tasse dans un décors et a déterminer les conditions (angles, éclairages…)

Du coup, tu es capable d’une image basse résolution à retrouver la tasse en question et à la redessiner en haute résolution.

Maintenant, tu fait la même chose pour la sous tasse, la cuillère, le café, la table, la chaise…. et tout les éléments d’un jeu.



Ok je pensais que le dlss ne s’attaquait qu’à l’aliasing, pas à la qualité des textures.

Mais du coup j’imagine qu’il faut que NVIDIA ait accès à l’ensemble des modèles 3d et textures pour faire tourner ses algos de de deap learning dessus.


En gros, oui, c’est ça. Je cite cette interview:

“At this time, in order to use DLSS to its full potential, developers need to provide data to NVIDIA to continue to train the DLSS model. The process is fairly straightforward with NVIDIA handling the heavy lifting via its Saturn V supercomputing cluster.”



Mais j’ai l’impression quand même qu’ils prevoient que le DLSS soit assez solide pour faire un boulot correct de manière générique.

Il est potentiellement possible d’avoir par exemple assez de souplesse pour extrapoler des textures.



On peut même aller plus loin et le“style artistique” est quelque chose qu’un réseau de neurone est capable de reproduire sur d’autre images. Le principe est assez complexe mais le “style” est une information que les réseaux de neurones vous identifier et encoder à leur manière.


les lignes sont un peu plus marquees et ca me semble un peu plus net, mais ca ne casse pas 3 pattes a un crapaud


ok merci pour les infos


Apparemment les premier test sont encourageant, mais j’ai envie de dire qu’il y avait plutôt intérêt, une part non négligeable du coût des RTX vient des tensor core qui ne peuvent servir qu’a cela. Mais même si je n’ai pas trop de reproche sur la technique en elle même c’est d’avantage son implémentation qui me semble bancale, comprenez que ça à prit au moins 3 mois à square pour nous en sortir une bêta et sur un jeu sorti il y a de cela un moment, je ne suis pas sûr que ce genre de traitement puisse être fait sur une copie&nbsp; en cours de dev et si il ne faut pas tout refaire à chaque patch sur le perfs.

&nbsp;En bref les premiers signaux ne sont pas encourageant et j’ai envie de dire tant mieux car le DLSS n’est au final à mes yeux qu’une manœuvre un peu bancale visant à exploiter des tensor core hérité des design Turing des quadro, qui à mes yeux n’aurait jamais dû finir dans un GPU grand public et qu’on ne vera peut être plus dans les futures cartes de verts.

&nbsp;Plus qu’a voir les futures implémentation mais comme pour gameworks je doute que ça finisse dans beaucoup de jeux (pareil pour le RTX)


Fermer