L’IA générative dans le jeu vidéo : des PNJ plus malins que nous ?

Puisque l’on ne compte pas que des joueurs parmi nos chers lecteurs, précisons que les PNJ sont les Personnages Non Joueurs, ces petits êtres qui hantent les mondes des jeux vidéo. Que se passerait-il si un éditeur s’avisait de les doter de compréhension de notre langage afin que l’on puisse converser avec eux, à l’oral, comme n’importe quel individu. Nous en avons discuté avec un narrative designer.

L’intelligence artificielle améliore indéniablement la fluidité et les effets d’éclairage dynamiques des jeux, comme nous l’expliquons dans notre article consacré au DLSS et consorts. Globalement, ces technologies font consensus. Mais prêter de l’intelligence aux personnages non joueurs pour favoriser l’immersion – en d’autres mots, éloigner les auteurs pour faire confiance à la machine dans la façon de répondre et d’orienter la conversation – risque davantage d’enflammer le débat. Voyons d’abord les progrès réalisés dans le domaine.

L’IA dans toutes les bouches !

NVIDIA a présenté plusieurs technologies pour donner vie à des personnages virtuels. Leurs concurrents en feront autant. L’éditeur a ici peu d’importance, mais puisque NVIDIA a livré il y a six mois plusieurs informations largement reprises lors du dernier CES, focalisons-nous sur ce que sait faire aujourd’hui le leader du GPU.

• • le NVIDIA Riva écoute votre voix et vos propos, effectue une traduction si besoin, et utilise de la synthèse vocale pour vous répondre.

• • le NVIDIA Omniverse Audio2face génère des expressions faciales des personnages à l’aide d’une source audio.

• • Le NVIDIA NeMo fournit des modèles de langage et des outils de personnalisations pour encadrer les échanges avec le joueur.

En somme, ces trois outils réunis dans ce que NVIDIA appelle ACE for Games (Avatar Cloud Engine), permettent d’avoir une conversation cohérente avec n’importe quel personnage non joueur du jeu. Et voici la vidéo très cyberpunk qui a fait vibrer tout le Landerneau de la presse spécialisée.

Ces technologies soulèvent beaucoup de questions que nous avons posées à Anthony Jauneaud, créateur de jeux narratifs tels que Flat Eye, Night Call, Fête de Famille, Dordogne et Astral Ascent. Mais revenons au préalable sur quelques déclarations récentes de grands acteurs de la profession.

De Microsoft à Square Enix : l’IA intéresse, beaucoup

Tim Stuart, directeur financier de Xbox, affirme que l’IA aidera au développement des jeux, même s’il n’est pas « encore » question de se passer des scénaristes et des développeurs.

Après un investissement de 10 milliards chez Open AI et un partenariat avec Inworld pour aider à concevoir des histoires, des quêtes et des dialogues, on ne doute pas que l’éditeur croit dur comme fer à l’IA générative dans le processus de création artistique, malgré tous les problèmes éthiques que cela pose. Et d’ajouter : le développement sera à la portée de bien plus de monde.

De l’autre côté du Pacifique, dans sa lettre de vœux pour la nouvelle année, Takashi Kiryu, président de Square Enix, précise qu’il compte utiliser de manière appuyée l’IA autant dans le développement de jeu que dans l’élaboration de contenu narratif.

Permettez-nous de la jouer « Café du commerce » le temps d’une phrase, en répondant au premier que les 14 531 jeux sortis sur Steam en 2023 sont déjà bien suffisants, et au second que l’intelligence artificielle n’améliorera en aucun cas ce qui est un mauvais projet à la base.

Voilà, c’est dit, revenons à davantage de sérieux sur le sujet de l’IA Générative avec Anthony Jauneaud après ce petit intermède vidéo illustrant un jeu sur lequel il a travaillé.

Le réalisme est-il souhaitable ?

Nous lui demandons à brûle-pourpoint ce qu’il pense de cette nouvelle technologie, histoire de prendre la température de la conversation à venir.

Pour Anthony, « elle n’est pas du tout prête en termes de droit, de morale, de respect du travail des auteurs. Cela démontre surtout notre besoin d’innovation à tout prix sans réfléchir aux conséquences. Même pour la traduction, je ne suis pas convaincu. Je n’ai toujours pas vu de système automatisé totalement bluffant. Pour traduire quelques instructions, le travail est excellent, mais pour produire quelque chose d’un peu plus littéraire ou contextualisé, le niveau est encore faible. Toute traduction est une transformation, il y a de la perte et de l’enrichissement, c’est naturel. Pour l’instant, je ne vois que de la perte ».

Aussi aimable et passionnant que soit notre interlocuteur, on a vite senti que le climat général sur le sujet était plutôt de l’ordre du glacial.

Et de relancer : « cela pose aussi la question de l’envie un peu folle de réalisme. Vivre dans un monde virtuel qui s’approche du réel, cela peut sembler séduisant, mais si au final on retombe sur les mêmes tâches ennuyeuses que dans le réel, l’intérêt devient bien plus limité. Et puis ce côté hyperréaliste comme une œuvre totale est à double tranchant. On peut même pousser le raisonnement un peu plus loin. En effet, ça peut devenir intéressant si c’est très encadré et maitrisé, mais ces technologies ne vont plus étonner personne si elles ne se limitent qu’à reconstruire le réel ».

Vers des personnages « conscients » ? Pas si vite…

On sent que le côté désincarné du personnage, alors même qu’il devient plus « conscient », est l’une des problématiques posées par l’IA générative.

On relance Anthony sur ce point « J’ai été maitre du jeu pendant plusieurs années dans des jeux de rôle que je faisais avec des amis. Je sais combien l’empathie est importante dans la narration. Je connaissais les gens autour de la table, nous improvisions une pièce de théâtre ensemble, et un lien se formait entre nous. Comment recréer cette sensation si l’on sait que c’est une machine qui vous répond, et avec des choix qui relèvent de la statistique plus que de la compréhension de ce que vous êtes ? Prenons l’exemple de Baldur’s Gate III. On se raconte tous des histoires sur ce que l’on a vécu parce que les personnages sont mémorables, il se passe des choses scriptées mais fortes, l’écriture est remarquable. Si vous ajoutez grâce à l’IA des dizaines de compagnons avec des milliers d’interactions possibles et des quêtes générées aléatoirement, il y a des chances que vous n’ajoutiez que du temps perdu. »

Le choix semble donc être une des clés du Narrative designer, ou plutôt l’illusion du choix. Il nous répond « c’est en effet une notion à comprendre. Imaginons que dans le Seigneur des Anneaux, le choix était laissé de partir dans n’importe quelle autre direction. Non seulement ça ne serait pas le Seigneur des Anneaux, mais ça serait sans doute ennuyeux. Le choix ne sert pas à ouvrir des possibilités, mais à renforcer l’expression des joueurs et des joueuses. Comment les orienter vers ce que l’on a envie qu’ils vivent. Le réalisme à 360°, celui qui ouvre tous les chemins, va sembler cool parce que la technologie impressionne, mais ça ne va pas forcément améliorer l’expérience. Et surtout, la génération opère un choix statistique et non conscient ».

« Tout n’est pas négatif non plus »

Mais l’IA n’a pas forcément vocation à se substituer à l’humain, ça peut aussi être une aide. « En effet, tout n’est pas négatif non plus. L’IA va peut-être enrichir certaines interactions. Je vais prendre un exemple tout bête. Imaginons que je créé un personnage en début de partie. Si ensuite le PNJ peut m’interpeller en me disant : toi là-bas, avec ta tunique rouge et ton épée bleue (…). Écrire toutes les combinaisons possibles serait soit impossible, soit une perte de temps pour moi. Là en effet, il peut y avoir des améliorations par petites touches qui seront plus engageantes pour le joueur. Ce genre d’ajout arrivera sans aucun doute et sera bénéfique, mais ça n’a rien de la révolution attendue »

Pour l’instant, nous ne pouvons qu’attendre les premières intégrations de ces modèles dans nos prochains jeux. En attendant, vous pouvez toujours voir comment un moddeur est arrivé à intégrer ChatGPT à Skyrim VR. Le résultat est… surprenant !