Dans le cadre du Computex, NVIDIA a procédé à de nombreuses annonces autour de l’intelligence artificielle. Voici un tour d’horizon de ce qu’il ne fallait pas rater dans le domaine du logiciel et de l’écosystème, le fabricant se voulant le prophète de gros changements à venir.

NVIDIA jouit actuellement d’une position forte dans le domaine de l’intelligence artificielle. Ses modèles de GPU dédiés sont devenus des références, particulièrement l’A100 que l’on retrouve dans de nombreuses entreprises, dont une partie des serveurs d’Azure de Microsoft. La relève est déjà là avec le H100 et Grace Hopper Superchip

• NVIDIA dévoile son H100 (Hopper) : Transformer Engine, DPX, HBM3, PCIe 5.0, 60 TFLOPS
• NVIDIA DGX GH200 : 256 puces Grace Hopper Superchip (CPU et GPU), 144 To de mémoire et 1 exaflop* en FP8

L’entreprise s’est positionnée comme un fournisseur de solutions aptes à entrainer les énormes modèles de langage pendant les lourdes étapes d’inférence, qui réclament toujours plus de puissance. Mais il est clair qu’elle ne souhaite pas rester dans ce petit rôle : NVIDIA a des logiciels, des technologies et un écosystème à faire valoir.

L’entreprise veut capitaliser sur son succès et affiche d’ailleurs une insolente santé financière. Sa capitalisation boursière a récemment dépassé les 1 000 milliards de dollars, un bond gigantesque en quelques mois, puisqu’elle était de 350 milliards en début d’année. Elle rejoint ainsi Alphabet, Amazon, Apple, Microsoft et Saudi Aramco dans le club très fermé des entreprises ayant franchi ce palier.

Avatar Cloud Engine (ACE) for Games

Dans une courte vidéo impressionnante, NVIDIA a montré le potentiel de sa technologie Avatar Cloud Engine (ACE). Destinée aux jeux, elle doit permettre d’insuffler davantage de vie aux personnages non joueurs. Et par vie, on entend « intelligence », plus spécifiquement dans la parole, la conversation et l’animation.

La vidéo montre ce qu’il serait possible de faire : entrer dans un restaurant, parler naturellement au cuisinier, lui poser des questions, obtenir des réponses dépendant d’un certain contexte, le tout avec une synthèse vocale très naturelle et une synchronisation labiale. 

Il est évident que NVIDIA a cherché à bluffer l’auditoire, et il est difficile de se rendre compte pleinement du potentiel de cette technologie avec à peine deux minutes de contenu. Mais les bases sont là et posent la question de la révolution à venir dans les jeux vidéo.

La question est rapidement apparue dans la tête de certains joueurs dès le début de la folie ChatGPT/Bing : s’il est possible de créer des chatbots sachant générer des réponses d’une telle cohérence et tenant compte du contexte, ne serait-il pas possible de créer des personnages non joueurs proposant des dialogues dynamiques en fonction des éléments mis à leur disposition ? NVIDIA apporte ici un premier élément tangible de réponse : oui, c’est possible.

Le développement des jeux s’en trouvera largement modifié. Si, d’un côté, il ne sera plus nécessaire d’écrire à l’avance leurs lignes de dialogue en essayant de parer à un nombre fixe d’éventualités, les développeurs devront à la place définir les paramètres disponibles et la manière dont ces personnages réagiront, en fonction de traits de caractère définis. Chaque partie serait alors unique, dans le sens où les actions du joueur modèleraient une partie des paramètres, donnant alors lieu à des échanges différents avec les autres personnages.

Ce n’est pas tout à fait une nouveauté cependant. Il y a deux mois, Ubisoft a publié une vidéo vantant les mérites de sa solution Ghostwriter. Cette plateforme permet aux personnes en charge de l’écriture des dialogues de définir justement des paramètres et un lot de phrases, sur lesquels l’IA va se baser et créer tout un ensemble de variations, de manière générative.

Il ne s’agit pas pour l’instant de créer l’ensemble des dialogues d’un jeu, mais uniquement des « barks », terme employé pour désigner les premières interactions des personnages avec le joueur ou les échanges qu’ils ont entre eux. Ubisoft y voit surtout un moyen de gagner du temps : « Découvrez comment nos équipes utiliseront l'IA pour gérer les tâches répétitives et libérer du temps pour travailler sur d'autres éléments essentiels du jeu ».

Quoi qu’il en soit, il est probable que l’intelligence artificielle ait un grand rôle à jouer dans les jeux vidéo. « L'IA générative a le potentiel de révolutionner l'interactivité que les joueurs peuvent avoir avec les personnages des jeux et d'augmenter considérablement l'immersion […]. En s'appuyant sur son expertise en IA et sur des décennies d'expérience avec les développeurs de jeux, NVIDIA est le fer de lance de l'utilisation de l'IA générative dans les jeux », a ainsi déclaré John Spitzer, vice-président des technologies de développement et de performances chez NVIDIA.

Des améliorations pour le développement sous Windows

Sur scène, le PDG et fondateur de NVIDIA, Jensen Huang, a annoncé toute une série de nouveautés pour le développement sous Windows pour les cartes RTX actuelles, notamment tout ce qui touche à l’IA générative. Le constructeur dispose dans ce domaine d’un argument de poids : « une base installée de plus de 100 millions de PC et stations de travail RTX optimisés pour l’IA ».

La société propose une nouvelle stack de développement pour Windows 11, entièrement tournée vers le développement, l’entrainement et le déploiement des modèles IA. Selon l’entreprise, on peut disposer ainsi d’une puissance pouvant grimper jusqu’à « 1 400 Tensor TFLOPS pour l’inférence » (sans plus de détail, notamment sur le niveau de précision), et l’exécution des modèles « peut-être jusqu’à cinq fois plus rapide que sur les appareils concurrents ».

C’est la suite directe des annonces faites en marge de la conférence Build de Microsoft, la semaine dernière. C’est le cas en particulier des optimisations portées à Direct ML, avec des gains potentiels allant jusqu’au double des performances pour les modèles d’IA générative comme Stable Diffusion.

NVIDIA y ajoute le support de WSL (Windows Subsystem for Linux), avec pour conséquence le support matériel RTX. L’entreprise annonce également la possibilité de déplacer les projets de modèles dans le cloud pour y exploiter sa nouvelle pile, disponible chez « tous les fournisseurs majeurs de services cloud », dont Microsoft évidemment. Les modèles peuvent ainsi être entrainés pour des inférences avec des outils comme Microsoft Olive (ONNX Live), présenté la semaine dernière durant la Build. À noter que pour obtenir cette accélération, il est nécessaire de disposer des derniers pilotes 532.03 de NVIDIA.

• Build 2023 : grosses améliorations et Copilot pour Windows 11, de l'IA en veux-tu en voilà
• Build 2023 : avalanche d'annonces autour de l'IA, des développeurs et des entreprises

L’entreprise en profite pour préciser que des modèles Max-Q d’ordinateurs portables seront prochainement disponibles. Elle assure que les progrès réalisés en performances et consommation sont conséquents, que l’autonomie en sera améliorée de même que les nuisances sonores, et qu’il sera possible de réaliser des travaux d’inférence en gardant « la consommation du GPU aussi bas que possible ».

NVIDIA s’associe à un géant de la publicité pour « révolutionner » la génération de contenus

NVIDIA a annoncé un partenariat avec le géant WPP. Les deux entreprises ont produit une nouvelle manière de créer des contenus en se basant sur l’IA générative et sur Omniverse, l’ensemble de technologies de NVIDIA pour tout ce qui touche au métavers.

Dans les grandes lignes, ce nouveau moteur se base sur un écosystème comprenant la conception, la réalisation et la chaine d’approvisionnement de la 3D, pour tout passer ensuite à la moulinette de l’IA générative. Ce qui permet de reprendre ces éléments et de les adapter à différents contextes ou usages, par exemple en créant un module de configuration en 3D pour un produit, que l’on peut alors paramétrer et personnaliser en influant directement sur ses caractéristiques.

L’ensemble peut puiser dans des banques de contenus comme Substance 3D d’Adobe ou même Getty, ce dernier possédant une réserve de contenus générés avec Picassa de NVIDIA, bouclant ainsi la boucle en quelque sorte.

Pour WPP, ce partenariat est une porte sur l’avenir. Il lui permet de générer rapidement des jumeaux numériques, c’est-à-dire des versions numériques de produits existants, en qualité photoréaliste. Mark Read, son PDG, a également vanté le gain de temps, les sources de données étant disponibles au même endroit et la conception étant largement automatisée après l’étape de configuration. Il a en outre vanté la souplesse de l’ensemble, les contenus étant manipulables en vue de créer des visuels 2D ou 3D, des vidéos ou des présentations interactives.

La technologie ayant été développée entre ces deux entreprises, elle ne sera disponible que pour les clients de WPP. Il n’est pas prévu d’ouverture par la suite.

L’offensive sur le DLSS continue

Dans une moindre mesure, le DLSS a fait l’objet de quelques annonces, surtout pour faire un point d’étapes.

Selon NVIDIA, le nombre de jeux compatibles a dépassé la barre des 300. Bien sûr, c’est sa troisième itération qui est surtout mise en avant par l’entreprise, notamment avec le lancement de Diablo IV dans moins d’une semaine. Sur ce titre, le DLSS 3 permettrait de multiplier par 2,5 les performances en 4K et d’atteindre les 170 images par seconde en 2560 x 1 440 sur une GeForce RTX 4070.

Plusieurs mises à jour DLSS ont été annoncées au Computex, dont :

• Diablo IV (6 juin avec DLSS 3 et Reflex)
• System Shock (disponible avec DLSS 2)
• Honor of Kings : World (DLSS 3 et ray tracing au lancement)
• Ash Echoes (DLSS 3 et ray tracing au lancement)
• Legend of Ymir (DLSS 3 et ray tracing au lancement)
• Party Animals (DLSS 2 et Reflex au lancement)

Reflex est pour rappel une technologie permettant de réduire la latence générale dans les jeux, mais il faut disposer d’équipements compatibles.