Alpamayo : les grandes ambitions de NVIDIA dans la conduite autonome

Tesla aurait-elle tout à coup un très sérieux concurrent ? Pas sûr, mais la société d’Elon Musk doit surveiller de près le développement de NVIDIA, dont les activités sur la conduite autonome se renforcent depuis une décennie maintenant et viennent de passer un nouveau cap.

Si la présentation de la plateforme Vera Rubin a largement concentré les attentions, la firme au caméléon avait une autre annonce majeure en réserve. Elle a ainsi officialisé une plateforme désormais complète pour aider à développer des véhicules autonomes. Contrairement à Tesla qui développe sa propre technologie à des fins d’intégration verticale, NVIDIA a choisi de se présenter en fournisseur d’un « cadre » de développement, permettant de gérer toutes les étapes de l’automatisation.

• NVIDIA dévoile ses CPU Vera avec 88 cœurs Arm et GPU Rubin avec 336 milliards de transistors

Le duo Cosmos-Alpamayo

Revenons d’abord un instant sur Cosmos, une plateforme déjà présentée et conçue pour accélérer le développement de ce que NVIDIA nomme « l’IA physique » (véhicules autonomes, robots, agents d’analyse vidéo…). Elle comprend des modèles de fondation ouverts, un lot de garde-fous et des bibliothèques pour traiter les informations. En clair, Cosmos est dédié à l’entrainement des modèles.

Lors d’une présentation au CES, NVIDIA a fait la démonstration d’opérations réalisées par Cosmos : génération de vidéos « réalistes » depuis une seule image, synthèse de scénarios de conduite multi-caméras, modélisation d’environnements spécifiques, raisonnement « physique » et prédiction de trajectoires, etc. Pendant la présentation, ces opérations étaient réalisées à partir de la version 2 des modèles Cosmos.

Sur ce socle amélioré, NVIDIA vient greffer Alpamayo. Ce portefeuille est constitué de modèles d'intelligence artificielle de type vision-langage-action (VLA) allant au-delà de la simple perception. Selon Jensen Huang, « Alpamayo permet aux véhicules autonomes de réfléchir dans des situations rares, de naviguer en toute sécurité dans des environnements complexes, et d'expliquer leurs décisions de conduite. Non seulement il prend l’entrée des capteurs et active le volant, les freins et l’accélération, mais il réfléchit aussi à l’action qu’il va entreprendre ».

Alpamayo 1, le modèle principal, compte 10 milliards de paramètres. Il peut traiter la vidéo des caméras pour générer des trajectoires de conduite. Les ambitions de NVIDIA passent également par l’open source : les modèles sont ouverts et sont accompagnés d’un simulateur (AlpaSim) et d’une base comptant les données de plus de 1 700 heures de conduite. Le tout s’intègre dans la plateforme DRIVE Hyperion dédiée au développement de véhicules autonomes, avec la volonté affichée de faire progresser les véhicules vers le niveau 4 d’automatisation.

Le premier modèle Alpamayo est disponible sur Hugging Face, NVIDIA souhaitant que les développeurs s’en emparent pour le spécialiser ou le distiller.

Des plans concrets

Contrairement aux précédentes annonces de NVIDIA dans ce domaine, l’arrivée d’Alpamayo a été suivie immédiatement par la confirmation d’un premier véhicule pour le premier trimestre de cette année : une Mercedes-Benz CLA de 2025, basée sur la plateforme DRIVE et utilisant donc Alpamayo. Comme l’indique le communiqué de presse, il s’agit pour l’instant d’une conduite de niveau 2 +, à destination du marché américain uniquement. L’Europe et l’Asie doivent suivre plus tard dans l’année, sans autre précision pour l’instant.

Cette voiture, qui s'inscrit dans le cadre d'un partenariat entre les deux entreprises depuis 2020, proposera des fonctions comme « la navigation urbaine point à point dans des environnements urbains complexes, une sécurité active avancée avec prévention proactive des collisions et un stationnement automatisé dans les espaces exigus ».

Rien de révolutionnaire dans l’absolu, mais il s’agira du premier véhicule à tirer réellement partie de toute la pile DRIVE : Cosmos pour l’entrainement, Omniverse pour les bibliothèques et microservices, Alpamayo pour la conduite elle-même et Halos pour la sécurité. La présentation était assortie d’une démonstration de 45 minutes où l’on pouvait notamment voir la Mercedes se glisser dans une circulation dense à San Francisco

Les ambitions de NVIDIA dans ce domaine sont très claires : « Notre vision est qu’un jour, chaque voiture, chaque camion sera autonome, et nous travaillons à cet avenir », a déclaré Jensen Huang, CEO de la société. L’expertise dont elle se dote à toute allure se répand également dans les usines de production et les robots, avec des partenaires comme Synopsys, Cadence, Boston Dynamics et Franka.

Chambardement dans l’industrie automobile ?

NVIDIA n’a donc clairement pas l’intention de se laisser enfermer dans le domaine du matériel, qui commence déjà à montrer des signes de tensions importantes avec les problèmes d’approvisionnement en mémoire. La société jouit déjà depuis longtemps d’une pile logicielle en expansion constante pour exploiter la puissance de ses GPU dans de multiples domaines. Elle avait commencé avec CUDA et a récupéré la première place dans la course folle à l’IA, voyant au passage sa capitalisation boursière exploser.

L’arrivée d’un tel acteur dans le domaine de la conduite autonome pourrait donc entrainer un bouleversement dans l’industrie automobile, d’autant que l’arrivée de la Mercedes-Benz CLA modifiée vient poser du concret sur la table. Plusieurs autres véhicules sont prévus, en provenance de Toyota, Volvo, Lotus ou encore Rivian, tous basés sur la plateforme DRIVE.

NVIDIA, dans ses communications, n’évoque jamais directement Tesla, mais il suffit d’avoir vu la vidéo consacrée à Cosmos pour comprendre la référence : « Collecter des données entrainées sur le monde réel est un processus lent et couteux, et ce n’est jamais assez. La réponse ? Les données synthétiques ». Jensen Huang a cependant été interrogé sur cette comparaison par Bloomberg. Le CEO estime que la pile logicielle de Tesla est actuellement « la plus avancée au monde » et que les approches des deux entreprises sont « assez similaires ». Ne voulant manifestement pas développer plus loin le sujet, Huang a simplement ajouté qu'il « encourageait » Tesla à continuer.

La comparaison avec Tesla est inévitable. Est-ce pour autant un concurrent direct ? Pas vraiment. Tesla est assise sur une base immense de données de conduite issues directement de l’utilisation de ses véhicules. Une base qui continue de grandir, permettant d’affiner sa fonction de conduite supervisée FSD (Full Self-Driving). Tesla ne licencie pas sa technologie, qui n’existe que sur ses propres véhicules. NVIDIA part au contraire d’une technologie plus ouverte et de données synthétiques, que les constructeurs sont libres d’intégrer.

Avec cette approche, NVIDIA veut se tailler une place de choix. Fournir gratuitement les modèles et le simulateur permet une adoption rapide, ainsi que le prototypage de nouvelles solutions. NVIDIA cherche tout simplement à reproduire le grand succès de CUDA, car une fois les solutions prêtes, c’est bien son matériel qui doit être utilisé pour les faire fonctionner. Et NVIDIA vend bien sûr des kits de développement Drive AGX (Thor et Orin), le même système qui peut ensuite être intégré aux véhicules pour s’occuper des calculs. Et pour entrainer les modèles ? Il faut des systèmes DGX, contenant les fameuses puces dédiées à l’IA et dont le couple Vera Rubin est la prochaine incarnation.

NVIDIA n'est cependant pas la seule entreprise à proposer ce type de vision intégrée. Qualcomm est également sur la rampe depuis des années avec son Digital Chassis, notamment renforcé en 2023 en direction des deux roues. La société s'intéresse également depuis longtemps aux communications entre les véhicules et l'infrastructure. Et le CES a également été l'occasion de plusieurs annonces autour de « l'IA physique ».

• PC Copilot+, voitures et robots : le triptyque de Qualcomm au CES