Alors que sa puce GH200 Grace Hopper Superchip est en production depuis peu, le constructeur passe déjà la seconde. L’année prochaine arrivera une version équipée avec pas moins de 141 Go de mémoire HBM3e, 50 % plus rapide que la HBM3 actuelle. 

En mai, NVIDIA profitait du Computex pour annoncer que sa puce Grace Hopper Superchip passait à la « pleine production ». Elle comprend pour rappel un CPU Grace et un GPU H100 Hopper, successeur du A100, relié par NVLink-C2C CPU-to-GPU avec une bande passante bidirectionnelle de 900 Go/s (450 Go/s dans chaque sens).

Le GH200 Grace Hopper Superchip passe à la HBM3e…

À l’occasion du Siggraph, le constructeur présente une nouvelle version de sa puce GH200 Grace Hopper Superchip avec de la mémoire HBM3e à la place de HBM3. Pour la partie CPU, rien ne change. On retrouve donc toujours 72 cœurs Arm Neoverse v2 avec un maximum de 480 Go de mémoire LPDDR5X avec une bande passante maximum de 512 Go/s.

• NVIDIA DGX GH200 : 256 puces Grace Hopper Superchip (CPU et GPU), 144 To de mémoire et 1 exaflop* en FP8

Les changements se trouvent donc sur la partie GPU, avec le passage à de la mémoire HBM3e, plus rapide que la HBM3. Cette nouvelle version n’a pas (encore ?) été officialisée par le JEDEC, mais ce n’est pas surprenant : le consortium avait déjà attendu plusieurs mois après les annonces des fabricants pour présenter officiellement la HBM2E.

• HBM2(E) 3e génération : le JEDEC sort du bois, Samsung lance sa Flashbolt jusqu’à 538 Go/s

… avec des performances en hausse de 50 % selon NVIDIA

SK Hynix était le premier à sortir du bois en mai de cette année avec sa HBM3E, la cinquième génération de mémoire HBM. Après la HBM, il y a eu la HBM2, la 2E, la 3 et donc maintenant la 3E. La société annonçait alors 8 Gb/s par broche, soit 25 % de mieux que la HBM3 (6,4 Gb/s). Les premiers exemplaires devraient arriver d'ici à la fin de l’année, tandis que la production de masse est attendue pour la première moitié de 2024.

Micron lui a emboité le pas fin juillet, avec de la HBM3 Gen2 (à défaut d’uniformisation de la part du JEDEC chacun y va de sa dénomination). Cette fois, le débit par broche grimpe à 9,2 Gb/s, soit près de 50 % de mieux que la HBM3. TSMC – partenaire de NVIDIA pour son GPU – a déjà reçu de premiers samples (échantillons) de cette mémoire HBM3 Gen2, mais il faudra là aussi attendre l’année prochaine pour une production de masse.  

Le passage à la HBM3e permet, selon NVIDIA, d’augmenter les performances de 50 %, mais la société n’en dit pas plus sur les caractéristiques techniques de la mémoire ni sur son partenaire. Nous savons simplement que chaque GPU disposera de 141 Go de HBM3e. C’est largement plus que les versions en HBM3 qui « plafonnent » à 96 Go. 

Le GH200 peut avoir jusqu’à six couches de HBM3 de 16 Go chacune (on arrive bien à 96 Go), tandis que la nouvelle version grimpe jusqu’à 24 Go par couche, soit un total de 144 Go. 

On manque également de détail sur la composition exacte du GPU. En effet, le H100 peut avoir jusqu’à 144 SM (Streaming Multiprocessors), mais il existe des variantes au format SXM avec 132 SM (et 80 Go de HBM3), contre 114 SM pour les GPU en PCIe 5.0 (avec 80 Go de HBM2e cette fois-ci).

Et voici le « super size superchip » avec 282 Go de HBM3e 

Dans son communiqué, NVIDIA met en avant une configuration « dual », c’est-à-dire avec deux GPU H200 équipés de HBM3e et relié ensemble via un NVLink avec une bande passante de 6 To/s. On obtient alors une « super size superchip », selon Jensen Huang. De quoi annoncer de gros chiffres.

La partie CPU dispose ainsi de 144 cœurs (2x 72) tandis que la partie GPU propose une bande passante de 10 To/s (5 To/s par GPU) avec 282 Go de HBM3e, excusez du peu. Selon NVIDIA, cette nouvelle plate-forme permet « d'exécuter des modèles 3,5 fois plus grands que la version précédente ».

Le mode « dual » pour faire x2, les équipes marketing adorent

NVIDIA indique dans son communiqué que cette version propose « jusqu'à 3,5 fois plus de capacité de mémoire », mais avec une « astuce » sur le calcul. La société prend comme base les 80 Go de la version SXM du GH200 qu’il compare aux 282 Go de la configuration « dual ». En version « single » la hausse est de 1,7x « seulement », ce qui est déjà beaucoup. On retrouve la même chose sur le x3 en bande passante fièrement mis en avant. La HBM3 est un peu au-dessus des 3 To/s, contre 5 To/s en HBM3e. Le mode « dual » permet de doubler pour atteindre 10 To/s et donc revendiquer un x3.

Enfin, cette nouvelle version du GH200 Grace Hopper Superchip est entièrement compatible avec les serveurs NVIDIA MGX de NVIDIA qui ont été dévoilés lors du Computex. NVIDIA prévoit que les principaux fabricants livreront des systèmes basés sur cette nouvelle plateforme au courant du second trimestre de l’année prochaine.