Les Tensor Processing Unit sont des puces développées par Google pour l’intelligence artificielle, de l'entraînement à l'inférence. La société vient d’annoncer sa sixième génération, qu’elle présente comme 4,7x plus performante que la génération précédente.
Hier, lors de la keynote d‘ouverture de la conférence I/O, Google a tiré tous azimuts sur l’intelligence artificielle (nous y reviendrons). La société s’en amuse elle-même avec un décompte officiel : durant son discours, Sundar Pichai y a fait référence pas moins de 121 fois, c’est du moins le décompte fait par… une IA.
Mais pour utiliser des intelligences artificielles, il faut des machines capables de les entrainer et de les faire tourner. Si NVIDIA et ses GPU règnent en maitres sur le haut du panier dans le monde des datacenters, de nombreuses autres sociétés développent leurs propres puces. C’est le cas de Google avec ses Tensor Processing Unit (TPU). Il s’agit d’ASIC (circuits intégrés spécifiques aux applications) conçus « pour accélérer les charges de travail de machine learning ».
TPU v6 : 4,7x plus performantes que les v5e
La sixième génération a été annoncée hier. Elle devrait logiquement s’appeler TPU v6, mais Google n’utilise pas cette appellation dans son communiqué. L’entreprise se contente d’un nom de code : Trillium. Comme nous l’avions déjà détaillé, la précédente génération comportait deux versions : v5e et v5p. Les premières visent le meilleur rapport performances/prix, tandis que les secondes (lancées plus tard) misent tout sur les performances.
Bien évidemment, Google compare sa sixième génération de TPU aux v5e, pas aux V5p. Il est ainsi question d’un maximum de « 4,7 fois plus » de performances par puce, sans savoir à quoi cela correspond exactement.
Si on se base sur les 197 TFLOP du v5e en blfoat16, on arriverait à un maximum théorique de 926 TFLOP, soit deux fois plus que les performances du v5p. Mais le 4.7x pourrait aussi renvoyer à un cas particulier, impossible donc en l’état d’en savoir plus.
Quoi qu’il en soit, pour arriver à cette hausse des performances, Google explique avoir augmenté la taille de ses unités de multiplication matricielle (MXU) et la fréquence d’horloge de sa puce, sans préciser dans quelles mesures.
Bande passante HBM et ICI doublée
Google annonce aussi avoir « doublé la capacité et la bande passante de la mémoire HBM, ainsi que la bande passante Interchip Interconnect (ICI) par rapport au TPU v5e ». On passerait ainsi à 1 638 Go/s sur la mémoire (en prenant 819 Go/s pour le v5e) , ce qui reste en dessous des 2 765 Go/s du v5p.
La bande passante de l’ICI est de 1 600 Gb/s sur v5e, on doit donc arriver à 3 200 Gb/s sur Trillium (TPU v6), contre 4 800 Gb/s sur v5p.
Pour en terminer avec les chiffres, Google affirme que son TPU Trillium est « plus de 67 % plus économe en énergie que le v5e ». Mais comme l’entreprise ne donne pas de chiffre sur la consommation, impossible d’en savoir plus.
« Trillium est équipé de la troisième génération de SparseCore », un accélérateur permettant « d’accélérer l'intégration de charges de travail lourdes ». Google affirme que ses TPU Trillium « permettent de former plus rapidement la prochaine vague de modèles et de servir les modèles avec une latence réduite et un coût moindre ». Une phrase que l’on peut ressortir à chaque nouvelle génération.
Jusqu’à 256 TPU Trillium par pod
Ces TPU de la génération Trillium peuvent être assemblés par paquet de 256 pour former un pod, exactement comme les v5e. Les v5p peuvent s’agglutiner par paquet de 8 960 pour rappel, contre 4 096 pour les v4 et 1 024 pour les v3. Des centaines de pods peuvent s’interconnecter pour former un système capable de délivrer plusieurs péta-opérations par seconde.
Sundar Pichai a indiqué durant la conférence que Trillium sera disponible pour les clients d’ici à la fin de l’année, tout comme le CPU maison Axion d'ailleurs. Il faudra attendre début 2025 pour les GPU Blackwell de NVIDIA.
Commentaires (4)
#1
#2
#2.1
#2.2