La HBM (High Bandwidth Memory) est, comme son nom l’indique, de la mémoire avec une bande passante élevée. On la retrouve, par exemple, dans les cartes graphiques haut de gamme, utilisées particulièrement pour tout ce qui touche à l’intelligence artificielle.

La première génération est sortie en 2013. La HBM2 arrive en 2016, avec plusieurs générations au fil des années. Citons la HBM2E officialisée par le JEDEC bien longtemps après les premiers modules des fabricants. Elle correspond à la troisième génération de mémoire HBM2. Vient ensuite l’officialisation de la HBM3 en 2022. Le débit par broche atteint 6,4 Gb/s pour un débit maximum par puce de 819 Go/s.

AMD et NVIDIA lorgnent sur la HBM3E pour leur GPU haut de gamme

Ce n’est pas suffisant pour les fabricants de puces qui ont rapidement lancé la HBM3E, encore plus rapide. SK hynix ouvrait le bal en mai 2023, suivi de près par Micron en juillet. En août, NVIDIA intégrait cette mémoire dans son GH200 (Grace Hopper Superchip). Rebelote en novembre avec le H200. Dans les deux cas, on retrouve 141 Go de HBM3E, et des performances en hausse de 50 %. Plus récemment, Samsung a, lui aussi, sauté le pas de la HBM3E.

• • NVIDIA améliore son GH200 Grace Hopper Superchip avec 141 Go de HBM3e pour le GPU

NVIDIA ne devrait pas rester seule avec de la HBM3E bien longtemps. Lors d’une conférence de presse retranscrite par Seeking Alpha, Mark Papermaster (Chief Technology Officer d’AMD) a donné des pistes d’évolution pour la suite.

Actuellement, les Instinct MI300 (des cartes graphiques pour les professionnels) utilisent des puces de HBM3 sur huit couches. Mais le directeur technique affirme que ses produits sont pensés pour exploiter jusqu’à 12 couches.

« Nous ne restons pas les bras croisés et avons procédé à des ajustements pour accélérer notre feuille de route avec les deux configurations de mémoire autour de la famille des MI300, des dérivés du MI300 et de la génération suivante […] Nous expédions les MI300 avec de la HBM3, et nous les avons pensés pour la HBM3E. Donc, nous comprenons la mémoire ».

Mark Papermaster ne précise aucun calendrier pour des MI300 avec de la HBM3E. La disponibilité des puces est un paramètre à aussi prendre en compte.

• • Pluie d’annonces chez AMD : Ryzen PRO 7000, EPYC 4e génération avec 128C/256T ou 3D V-Cache, Instinct MI300X

Forte demande de la HBM3E pour l’IA générative

En effet, Kitae Kim, directeur des opérations et responsable de la branche HBM chez SK Hynix, expliquait il y a quelques jours que, « à mesure que l'écosystème de l'intelligence artificielle se développe, avec la diversification et la sophistication des services d'IA générative, la demande augmente pour la mémoire HBM ». Un domaine dans lequel il faut aller vite tant les annonces se succèdent à un rythme élevé.

Et la demande semble effectivement importante : « Notre volume de production de HBM prévu pour cette année est déjà épuisé. Même si 2024 ne fait que commencer, nous avons déjà commencé à préparer 2025 pour garder une longueur d’avance sur le marché ».

Lors des dernières semaines, de nombreuses annonces ont été faites sur la HBM3E. Faisons un petit tour d’horizon.

Samsung HBM3E 12H : jusqu’à 36 Go et 1 280 Go/s par puce

Chez Samsung, la HBM3E 12H passe de 24 à 36 Go de capacité, avec une bande passante par broche de 9,8 Gb/s, soit 50 % de plus que la HBM3 de base. On retrouve la même hausse de 50 % sur la bande passante totale avec 1 280 Go/s.

Comme avec la précédente HBM3 de Samsung (nom de code Icebolt), cette nouvelle puce mémoire est constituée d’un empilement de 12 couches. D’autres constructeurs sont également sur 12 couches, notamment SK Hynix qui revendiquait une première mondiale en mai 2023. Bref, rien d’exceptionnel sur ce point, la principale annonce concerne donc la hausse des performances.

Les premiers échantillons de HBM3E 12H sont envoyés aux clients, tandis que la production de masse est prévue pour la première moitié de cette année, sans plus de détails.

Micron HBM3E : 24 Go en production de masse, 36 Go en échantillons

Micron de son côté passe en production de masse sur ses puces HBM3E 8H (8 couches) de 24 Go. Le débit par broche est de 9,2 Go/s, pour un total par puce dépassant de 1 200 Go/s. Niveau performances, Micron se place juste en dessous des HBM3E 12H de Samsung, mais avec une capacité de 24 Go contre 36 Go pour son concurrent. Les puces Micron sont par contre disponibles dès maintenant.

Le fabricant prépare lui aussi la suite avec de premiers échantillons de puces HBM3E sur 12 couches, et donc avec une capacité de 36 Go. Micron annonce « plus de 1,2 To/s et une efficacité énergétique supérieure à celle des solutions concurrentes ».

Micron en profite pour rappeler que sa HBM3E 8H (24 Go) équipera les GPU NVIDIA H200, « qui commenceront d'être expédiés durant le deuxième trimestre civil de 2024 ». C’était le calendrier indiqué par NVIDIA en novembre dernier lors de la présentation des H200 avec HBM3E.

SK Hynix en route pour des puces HBM3E de 48 Go ?

Selon Digitimes, SK Hynix débuterait aussi la production de masse de mémoires HBM3E ce mois-ci, mais le fabricant n’a semble-t-il pas encore fait d’annonce en ce sens.

Si l’on en croit des rumeurs reprises par nos confrères, SK Hynix serait sur le point d’annoncer des puces de HBM3E avec 16 couches et une capacité de 48 Go avec la densité actuelle. Selon ZDNet Korea (via Digitimes) l’annonce aurait pu avoir lieu lors de l’International Solid-State Circuits Conference en février 2024. Rien n’a fuité pour le moment.

La HBM4 en embuscade

Quoi qu’il en soit, des puces de 48 Go avec 16 couches ont déjà été annoncées par Micron pour 2025, mais en HBM4. Le fabricant prévoit aussi de produire des puces HBM4 de 36 Go sur 12 couches (comme la HBM3E). Dans les deux cas, le débit dépassera les 1,5 To/s.

La HBM4E est pour sa part prévue pour 2027. Micron annonce une densité encore plus élevée – 48 Go sur 12 couches au lieu de 36 Go en HBM4 et jusqu’à 64 Go sur 16 couches –, avec un débit qui devrait dépasser les 2 To/s.

• • HBM4, GDDR7, CXL 3.x… : la roadmap Micron jusqu’en 2028