Connexion Premium

DLSS 5 : NVIDIA promet (encore) une IA générative sous contrôle

Won't somebody please think of the artists!

DLSS 5 : NVIDIA promet (encore) une IA générative sous contrôle

Image : NVIDIA

Après la colère des joueurs puis les fuites, vient le temps du lancement officiel : le DLSS 5 de NVIDIA fera ses premiers pas le 4 septembre. Les joueurs de NBA 2K27 seront les premiers servis, pour peu qu’ils possèdent un PC équipé d’une carte graphique RTX 5000 (ou qu’ils jouent dans le nuage avec GeForce Now). Tous les développeurs sont invités à monter dans ce train, qui a bien failli dérailler dès son annonce au mois de mars.

C’est l’artiste qui impulse la vision, et il n’est pas question de la remplacer par de l’IA slop. C’est le message martelé par NVIDIA pour présenter, une seconde fois, le DLSS 5 et sa nouveauté phare, le rendu neuronal guidé par la 3D (3D-Guided Neural Rendering). Constatant qu’obtenir un niveau de rendu photoréaliste digne de Hollywood était hors de portée dans les jeux vidéo, l’entreprise prend donc l’approche de l’IA générative.

Bien sûr, l’IA a toujours été au cœur de la technologie d’upscale de NVIDIA depuis le lancement du Deep Learning Super Sampling en 2018. Elle se contentait jusqu’à présent – si on peut dire – de reconstruire des données déjà présentes dans une scène pour produire des images en plus haute résolution, des images supplémentaires ou un meilleur rendu ray tracing. Le DLSS 5 va beaucoup plus loin : il veut « transformer la fidélité visuelle » en utilisant l’IA générative pour « révéler des éclairages et des détails de matériaux » impossibles à obtenir actuellement, en raison des contraintes techniques de calcul en temps réel.

Pas le ChatGPT du rendu graphique

NVIDIA parle d’IA générative, mais pas question pour autant de comparer le rendu neuronal à ChatGPT. Le DLSS 5 ne génère pas de scènes à partir d’un prompt textuel : il s’appuie sur les images rendues par le moteur du jeu en temps réel, avec leur géométrie, textures et éclairage « conçus par les artistes ». La technologie n’intervient pas en amont de la génération de l’image, c’est « l’ultime étape de rendu du pipeline graphique » – et non pas un remplacement du pipeline.

« [Le DLSS 5] enrichit les scènes avec des éclairages et des matériaux plus réalistes, tout en garantissant que l’image du moteur détermine ce qui doit rester inchangé, et que l’artiste décide de ce qui peut évoluer. »

Cette obsession de l’artiste revient en boucle, pour une très bonne raison : en mars, l’annonce du DLSS 5 a provoqué un tsunami de critiques dirigé vers NVIDIA. Jensen Huang, le patron de l’entreprise, avait remis une pièce dans la machine en affirmant que les joueurs qui critiquaient la technologie avaient « complètement tort ». Il a tenté de se rattraper un peu plus tard en disant comprendre les inquiétudes, et affirmé que lui non plus n’aimait pas l’IA slop.

Les premières démonstrations du DLSS 5 ne plaidaient pas en sa faveur. Les personnages passés à la moulinette du rendu neuronal semblaient en effet sortis d’autres jeux. Pire encore, beaucoup soupçonnaient NVIDIA de patouiller avec la géométrie des visages en ignorant complètement la direction et l’intention artistiques.

L’art et ce qu’il en reste

L’heure est donc venue de l’explication de texte, pour calmer les inquiétudes légitimes des joueurs, et possiblement, celles des studios qui verraient d’un mauvais œil NVIDIA uniformiser le rendu graphique des jeux. Il s’agit donc, en premier lieu, de « préserver l’intention artistique ».

Image : NVIDIA

Le DLSS 5 analyse ce qui se trouve dans l’image (objets, matériaux, sources de lumière) pour « enrichir » la scène. NVIDIA promet une peau plus naturelle, une lumière plus crédible dans les cheveux et le feuillage, et des ombres de contact plus marquées. Mais le tout reste, insiste l’entreprise, ancré dans l’image originale produite par le moteur et « conçue par les artistes » — on y revient.

Les développeurs gardent le contrôle de ce que le DLSS 5 peut faire aux images de leurs jeux. Plusieurs modèles et paramètres sont à leur disposition pour moduler l’intensité structurelle et les effets du rendu neuronal en fonction des scènes. Il est même possible d’exclure du traitement neuronal une partie de l’image, par exemple le visage d’un personnage, avec un système de masque.

Deuxième priorité : le modèle IA de NVIDIA ne saurait être comparé à celui d’un modèle de génération de vidéos par IA, où chaque séquence présente des variations et des différences dans le rendu des personnages et des décors. Le DLSS 5 repose sur un principe intangible : « une image en entrée, une image en sortie ». Cela doit garantir, selon l’entreprise, la stabilité de chaque image générée en évitant les artefacts classiques des vidéos IA (scintillements, effets de flottement, dérives temporelles).

Image NVIDIA

Enfin, la dernière priorité est que tout cela se réalise en temps réel à partir d’un seul GPU (les démonstrations initiales tournaient sur des PC équipés de deux RTX 5090…). Des optimisations supplémentaires sont dans les tuyaux.

Et maintenant, jouez

En termes de performances, NVIDIA donne des exemples plutôt flatteurs mais sur des PC très bien équipés (64 Go de mémoire et Ryzen 7 9800X3D). Il sera beaucoup plus intéressant, et probablement plus révélateur, de mesurer les FPS sur des machines grand public. La version du DLSS 5 récupérée par des moddeurs donne un framerate réduit de 40 à 50 %.

Lors de la première présentation polémique de la technologie, NVIDIA avait mis en avant le support de plusieurs éditeurs et studios de développement, parmi lesquels Capcom, Ubisoft, Bethesda ou encore Warner. Il ne fait guère de doute qu’ils seront au rendez-vous du DLSS 5 le moment venu, mais leur silence sur le sujet est évocateur.

L’IA générative est très mal vue par de nombreux joueurs, et personne ne veut être accusé de produire de l’IA slop, ce qui peut plomber la carrière commerciale d’un jeu. Même si dans les faits, elle est de plus en plus intégrée dans les pipelines de développement. Quant au DLSS 5, s’il semble donner des résultats intéressants dans les jeux où le photoréalisme prime (comme c’est le cas dans NBA 2K27), les joueurs auront de toute manière la possibilité de le désactiver.

Commentaires (11)

votre avatar
Ils ont changé d'avis ? Les Geforce 5000 seront obligatoires ?
votre avatar
Sur une techno qui a l’air de bouffer du FPS je trouve que les images on off montrent bien que ça ne sert pas à grand chose.
Que ça soit le 4K ou ça, c’est toujours des technos pour justifier des cartes toujours plus puissantes alors que les joueurs ne peuvent plus se le payer.
La meilleure techno de ses dernières années c’est le FSR pour pouvoir upscaler quand la conf est un peu limite.
votre avatar
Je suis pas d'accord, je pense qu'à l'usage c'est effectivement un cran au-dessus en termes de rendu. Et justement, c'est un outil qui vient s'ajouter au reste, c'est d'ailleurs bien la conclusion : ça n'a pas la prétention de remplacer, ça complète. Pouvoir downgrader la 4K grâce au FSR sans que ça choque trop, c'est aussi libérer des ressources pour faire des trucs comme ça, tout en conservant un nombre de FPS acceptable.

Après, je pense que la consommation réelle "au quotidien" va être très fluctuante suivant l'usage réel qui en est fait. Tout se jouera sur ce que demande le développeur en amont, il faudra sûrement être malin dans ses paramètres pour tirer le meilleur parti de la feature.

Optimiser un visage via un masque avec réglage "Elevé" est sûrement moins consommateur de ressources que de faire toute l'image en réglage "Moyen", mais par pour autant nécessaire dans toutes les scènes : on peut imaginer que le réglage d'intensité sera faible quand le personnage est affiché de loin, et augmentera quand il passe en gros plan. Sachant que la scène est graphiquement plus simple sur un gros plan, il y a des ressources disponibles à ce moment-là.
votre avatar
J'ai comme la légère impression que NVidia est en train de se mettre à dos toute la communauté des joueurs entre ce DLSS quasiment inutile qui tourne que sur des grosses bécanes et des cartes graphiques toujours plus chères (et rares) à cause de la priorité donnée aux data-centers...
votre avatar
nVidia a surtout complètement foiré sa communication sur ce DLSS 5. Cette vidéo est un moyen de sauver les meubles, et je trouve l'exercice assez réussi. Le juge de paix sera en fonction des premiers jeux à s"en servir.

Quoi qu'il en soit, tout le monde se bat pour avoir du matériel nVidia, qui représente 90% de parts de marché. Il en faudra un peu plus que ça pour dissuader la communauté d'acheter leur matériel.
votre avatar
J'ai plus l'impression que Nvidia essaye de rester dans l'esprit des joueurs tout en faisant de l'IA. L'innovation de DLSS 5, c'est de toujours fonctionner avec des unités de "calculs IA". Nvidia me semble plus vendre des GPU IA, qui par l'intermédiaire de DLSS 5, permettent de faire des jeux vidéos.

Et ça se comprends, les besoins en IA d'un DC et celui d'un joueur ne sont pas identique. En utilisant DLSS pour du jeux vidéos, Nvidia faire d'une pierre deux coups. Il designe des GPUs focus IA (donc un même GPU pour tous), et c'est un soft (ici DLSS) qui se charge de faire du rendu.

En exagérant à un peu, on peut imaginer qu'à terme les unités de rendu type shader seront réduites aux strictes nécessaires, et la place gagné en Si sera alloué à plus de Tensor Cores.
votre avatar
Les filtres dans les applis photos gomment les imperfections de la peau ; DLSS5 ajoute des imperfections. Bientôt les jeux auront une image plus réaliste que les photos.
votre avatar
C'est assez impressionnant. Ca serait bien d'en mettre une bonne dose sur GTA6 qui a des graphisme avec une fesse sur chaque chaise...
Mais ça ne déclencherait pas chez moi un achat . Que ce soit avant ou après ... ce n'est pas ce que je cherche dans un jeu. (ok, je ne suis pas la cible, je joue sur APU ou pire: sur Amiga - mes graphismes préférés c'est plutôt le cell shading)

Bientôt on pourra transformer stick man en mortal kombat automatiquement. Juste avec un bonhomme bâton et un texte "gros balèze qui fait peur".

De même dans l'animation et la production vidéo, ça pourra avoir de beaux débouchés. Et générer des économies en allant moins travailler les modèles et textures.

Je pense qu'il y a un monde ou le FMV et la 3D vont se rencontrer.
votre avatar
Je vois 2 éléments distincts dans les resultats présentés :

  • l'amélioration des visages et des textures en général ressemble fort à une accentuation des micro contrastes disponibles depuis longtemps en photo (curseur "texture" et "clarté" dans Lightroom classic, pour ceux qui connaissent).


Ce n'est pas très impressionnant et on se lasse rapidement de cet effet si on l'utilise trop ou mal (effet de vieillissement des visages par exemple).


  • une amélioration globale de l'éclairage et des ombres. C'est là qu'on voit que ce n'est pas qu'un simple filtre et que la scène est "comprise" en 3D. Sur certains exemples les ombres et les reflets sont modifiés pour être plus cohérents avec les sources lumineuses identifiées.


Et cette partie là me parait beaucoup plus pertinente!

Maintenant, diviser les fps par 2 pour ça me parait excessif. On verra bien comment ça évolue (l'upscaling du dlss1 était horrible, sur le 4.5 on fait plus la différence avec du natif, l'AA en plus).
votre avatar
Il n'y a que moi qui pense que cette techno va être utilisée à terme par l'industrie cinématographique pour faire des scènes à moindre coût ?
Il leur "suffira" de faire ces cinématiques et de faire tourner DLSS dessus en mode maximal. Et OSEF du framerate, même à 1 image par seconde, ça peut être intéressant pour faire un effet spécial, ou même tout un film.
votre avatar
Il n'y a que moi qui pense que cette techno va être utilisée à terme par l'industrie cinématographique pour faire des scènes à moindre coût ?
Ce genre de techno est déjà utilisée par l'industrie du divertissement ;)

Exemples : le maquillage numérique, le rajeunissement d'acteurs, ou encore l'écran géant qui remplace le fond vert avec un rendu temps réel basé sur l'Unreal Engine pour l'arrière-plan (techno d'ILM notamment développée avec la série Mandalorian).

On est dans la même chronologie ici que les équipements automobile par exemple, où les fonctions poussées sont d'abord dans le haut, voire très haut de gamme, et finissent par se démocratiser.

Tu as d'autres exemples avec les images de synthèse où des logiciels spécialisés ont été développés pour le cinéma, tels que Massive qui sert à générer de très grandes foules ou séquences impliquant énormément de figurants, conçu à l'origine pour le tournage de la trilogie du Seigneur des anneaux.

en.wikipedia.org Wikipedia

Sans oublier l'effet d'eau / liquéfaction développé à l'époque pour Terminator 2, etc.