Axion : un CPU Google à base de Neoverse v2

Le géant du Net annonce ainsi « la dernière incarnation de ce travail : les processeurs Google Axion, nos premiers processeurs personnalisés basés sur Arm et conçus pour le centre de données ». Ils seront disponibles pour ses clients « dans le courant de l’année », sans plus de précision.

Comme bien d’autres avant – notamment NVIDIA avec Grace Hopper et Amazon avec Graviton4 – Google utilise des cœurs Arm Neoverse V2 (instructions Armv9) pensés pour les datacenters. Les v3 viennent pour rappel tout juste d’être annoncés par Arm, mais ne sont pas encore disponibles (et certainement pas avant des mois). Microsoft mise aussi sur Arm pour son processeur Cobalt 100, mais sur des Neoverse CSS (à base de N2 probablement).

• • Neoverse (CSS) V3 et N3 : Arm renouvelle ses cœurs pour datacenters

Des promesses, mais pas de détails techniques

Google annonce que des instances avec Axion auront « jusqu’à 30 % de performances en plus par rapport aux instances basées sur Arm pour un usage général les plus rapides dans le cloud aujourd’hui, jusqu’à 50 % de performances en plus et jusqu’à 60 % d’efficacité énergétique en plus par rapport aux instances x86 comparables de la génération actuelle ».

Aucune précision n’est donnée sur les processeurs/SoC utilisés pour les comparatifs. Pas de détails techniques non plus sur la puce, comme le nombre de cœurs ou la quantité de mémoire cache.

Le fabricant indique simplement qu’Axion exploite le système de microcontrôleurs de sécurité Titanium. Il comprend des microcontrôleurs de sécurité Titan, des cartes d'accélération matérielle pour les services de virtualisation et des « processeurs de déchargement Titanium (TOP) » afin de « décharger le réseau et le traitement d'E/S du processeur hôte ».

Google précise que de nombreux services – BigTable, Spanner, BigQuery, Blobstore, Pub/Sub, Google Earth Engine et la plate-forme YouTube Ads– fonctionnent déjà sur des systèmes à base de cœurs Arm. L’entreprise prévoit de les migrer sur Axion et d’en ajouter de nouveaux.

De leur côté, les clients pourront « utiliser Axion dans de nombreux services Google Cloud, notamment Google Compute Engine, Google Kubernetes Engine, Dataproc, Dataflow, Cloud Batch… ». À Reuters, Mark Lohmeyer (vice-président de Google en charge du cloud) affirme que les clients pourront « facilement transférer leurs charges de travail existantes vers Arm ».

Disponibilité générale des TPU v5p

Google profite de sa conférence pour annoncer la disponibilité à tous de son dernier TPU v5p. Comme son nom l’indique, il s’agit de la cinquième génération de Tensor Processing Unit. Ce sont pour rappel des « circuits intégrés spécifiques aux applications (ASIC) conçus par Google pour accélérer les charges de travail de machine learning ».

Les TPU v5e avaient été présentés lors du Cloud Next de l’année dernière et se plaçaient en dessous des v4 en performances brutes, mais sur une forte augmentation du rapport performances/prix, selon le fabricant.

• • Tensor Processing Unit (TPU) v5e de Google Cloud : plus performant que les v4 ? Oui… et non

Les v5p sont arrivés quelques mois plus tard, avec une hausse significative des performances. Chaque puce passe à 459 TFLOP en v5p contre 275 TFLOP en v4. 8 960 puces peuvent être interconnectées pour former un Pod avec une puissance de plus de 4 000 PFLOP. Voici un rapide résumé des caractéristiques techniques, avec un rappel des précédentes générations de TPU :

Crédits : Next.ink

Instances A3 Mega et A3 Confidential

Restons dans les instances avec plusieurs autres annonces de Google. Tout d’abord, les A3 Mega avec des GPU H100 de NVIDIA seront « disponible le mois prochain » et proposeront deux fois plus de bande passante par GPU comparés aux instances A3.

« Nous annonçons également les instances A3 Confidential, qui permettent aux clients de mieux protéger la confidentialité et l'intégrité des données sensibles et des charges de travail d'IA pendant l’apprentissage et l'inférence ». Sur le même créneau, Microsoft a lancé pour rappel ses Confidential VM en novembre dernier.

• • Microsoft Ignite 2023 : puces maison Maia 100 (IA) et Cobalt 100 (CPU), Azure Boost et Confidential VM

Blackwell en 2025 dans Google Cloud

Enfin, Google ne pouvait pas passer à côté des nouveaux GPU Blackwell (B200) et du système GB200 NVL72 de NVIDIA. Ce dernier est pour rappel un assemblage de 18 Compute Node, chacun étant composé de deux GB200 (1x CPU Grace et 2x GPU B200 par GB200). Le système GB200 NVL72 comprend donc 36 CPU Grace et 72 GPU Blackwell B200. NVIDIA annonce jusqu’à 1 400 PFLOPS en FP4 (ou 1,4 EFLOPS, avec un E pour Exa).

Selon Google, « Le HGX B200 est conçu pour les charges de travail d'IA, d'analyse de données et HPC les plus exigeantes, tandis que le GB200 NVL72 permet l'inférence de grands modèles de langage en temps réel et des performances de haute volée pour la formation pour des modèles avec plusieurs milliards de paramètres ». Les deux arriveront en 2025 dans Google Cloud.

• • NVIDIA annonce son GPU Blackwell (B200) pour l’IA, jusqu’à 20 000 TFLOPS (FP4)