Niantic, la société derrière les jeux de réalité augmentée Pokémon Go et Ingress, a annoncé dans un article de blog utiliser les données collectées au gré des trajets de ses millions de joueurs pour entraîner un modèle d’IA.

Le modèle est nommé Large Geospatial Model (LGM), grand modèle géospatial, en référence directe aux Large Language Models (LLM) qui ont fait le succès de ChatGPT, Stable Diffusion et autres générateurs d’images et de texte.

Intégration au Virtual Position System

Le LGM fait partie du Visual Position System (VPS) de l’entreprise, qui permet aux terminaux des utilisateurs de comprendre où ils se trouvent dans le monde réel – pour y projeter divers éléments de réalité augmentée nécessaires.

Pendant les cinq dernières années, l’entreprise indique avoir travaillé à rendre ce VPS capable d’identifier la position et l’orientation de l’utilisateur à partir d’une seule image, le tout, grâce « à une carte 3D construite à partir des scans de lieux intéressants réalisés par des personnes utilisant nos jeux ou notre Scaniverse ».

En s’appuyant sur ces éléments, le modèle finit, selon son constructeur, par obtenir une compréhension de l’espace, des structures et des interactions physiques. Pour reprendre l’exemple proposé dans l’article de Niantic, imaginons qu'une personne se retrouve devant une église et qu’elle en filme l’entrée. Théoriquement, impossible pour le smartphone d'en deviner la localisation.

« Le modèle n'a jamais vu l'arrière du bâtiment. Mais à l'échelle mondiale, nous avons vu beaucoup d'églises, des milliers d'églises, toutes représentées par leurs modèles locaux respectifs dans d'autres endroits du monde. Aucune église n'est identique, mais beaucoup partagent des caractéristiques communes. Un LGM est un moyen d'accéder à cette connaissance distribuée. »

Autrement dit, de la même manière qu’un LLM est capable de produire des phrases convaincantes par calcul statistique, le LGM de Niantic calcule sa position la plus probable pour se placer dans l’espace.

Entraînement sur des milliards de localisations

Le but, à terme : aider les ordinateurs à « percevoir, comprendre et naviguer dans le monde physique », selon les mots de Niantic. En pratique, l’entreprise indique avoir entraîné plus de 50 millions de réseaux de neurones avec plus de 150 milliards de paramètres.

Leurs données d’entraînement ? « Des milliards d’images du monde, toutes reliées à des endroits précis du globe », par leurs joueurs. Niantic précise avoir récemment lancé Pokémon Playgrounds, une nouvelle fonctionnalité de Pokémon Go, via laquelle le joueur peut placer des Pokémon à un endroit précis pour permettre à d’autres de les voir et d’interagir avec. Ceci lui permettrait de recevoir environ 1 million de nouveaux scans de localisations précises chaque semaine. L’entreprise indique par ailleurs déjà détenir 10 millions de ce type de localisations.

L’application d’apprentissage profond à diverses tâches géospatiales « est de plus en plus répandue » mais elle dépend de données « disponibles à l'échelle mondiale, telles que l'imagerie satellitaire, qui peuvent être coûteuses ou manquer de pouvoir prédictif », écrivaient en février 2024 les auteurs du modèle GeoLLM (celui-ci permet d’extraire des données géospatiales de grands modèles de langages en s’aidant d’OpenStreetMap).

De fait, la volonté de Niantic de tirer profit des informations collectées s’inscrit parfaitement dans la tendance des deux dernières années, qui pousse de nombreuses entreprises de la tech à capitaliser sur les données disponibles en ligne ou qu’elles ont accumulées pour construire de grands modèles d’apprentissage profond. En revanche, comme le relève 404 media, il est peu probable que les joueurs ayant téléchargé Pokémon Go en 2016 aient imaginé que les données de leurs activités puissent un jour alimenter ce type de technologie.

Booster des lunettes de réalité augmentée

Niantic envisage de premiers cas d’usages de son LGM du côté des lunettes de réalité augmentée actuelles, qui ne proposent que de l’audio et/ou de l’affichage en 2D. Elle évoque par exemple la possibilité de « fournir des recommandations personnalisées, aider à la navigation et améliorer les interactions dans le monde réelle » autant que de « générer, compléter ou manipuler des représentations 3D du monde » pour aider à créer la « génération suivante d’expériences en réalité augmentée ».

Ce type de technologie pourrait aussi servir à améliorer la robotique, que l’IA aide de plus en plus lorsqu’il s’agit de faire réaliser des actions, dans l’espace physique, à des machines. Ou encore à automatiser des armes, comme une analyste de l’Institute for Strategic Dialogue semble le craindre.