AI200 et AI250 : Qualcomm veut sa part du gâteau de l’IA dans les datacenters

Qualcomm annonce deux nouveaux produits pour l’intelligence artificielle, qui sont basés sur ses NPU (Neural Processing Unit) Hexagon, ceux que l’on retrouve dans ses SoC. Le géant des semi-conducteurs ne vise pas les opérations lourdes liées à l’entrainement des grands modèles de langage, mais celles liées à la phase d’inférence, c’est-à-dire lorsqu’il faut répondre aux utilisateurs.

Qualcomm AI200 et AI250 : où sont les caractéristiques techniques ?

Il est question de « cartes accélératrices basées sur puces Qualcomm AI200 et AI250, ainsi que des racks », c’est-à-dire des baies complètes à installer dans les datacenters. La première solution, AI200, « prend en charge 768 Go de LPDDR par carte pour une capacité mémoire accrue et un coût réduit ». Une quantité relativement importante pour de l’inférence, mais comme Qualcomm ne donne aucun détail supplémentaire, difficile d’en savoir plus…

• C‘est quoi une baie (ou un rack) informatique ?

Si on regarde la dernière génération de SoC avec un NPU Hexagon, le Snapdragon 8 Elite Gen 5, il est question de « 12 scalar + 8 vector + 1 accelerator configuration », avec la prise en charge des niveaux de précision INT2, INT4, INT8 et INT16 pour les entiers, ainsi que FP8 et FP16 pour les nombres à virgule.

Qu’en est-il pour les « cartes » qui composeront les racks de Qualcomm ? Mystère et boule de gomme… L’annonce intervient dans une période chargée sur les accélérateurs dédiés à l’intelligence artificielle générative, avec notamment OpenAI qui multiplie les promesses avec des milliards de dollars et des GW de puissance électrique comme s’il en pleuvait. Il y a eu NVIDIA, puis AMD et Broadcom plus récemment.

• Les nombres en informatique : entiers, virgule flottante, simple et double précision (FP32/64), Tensor Float (TF32)…

Du near-memory computing pour l’AI250

Concernant l’AI250, c’est encore plus vague : elle « fera ses débuts avec une architecture mémoire innovante basée sur du calcul proche de la mémoire (near-memory computing), apportant un saut générationnel d’efficacité et de performances pour les workloads d’inférence IA en offrant une bande passante mémoire effective supérieure de plus de 10x et une consommation énergétique nettement inférieure ». Le bingo bullshit fait ensuite un carton plein : « Cela permet une inférence IA désagrégée pour une utilisation efficiente du matériel ».

Qualcomm ajoute que ses racks (ou baies) utilisent un refroidissement liquide direct (DLC) qui est désormais standardisé dans les datacenters, proposent du PCIe et du réseau Ethernet ; le tout avec « une consommation électrique par rack de 160 kW ». Cette puissance est, pour le moment, plutôt dans la moyenne haute actuelle pour ce genre d’usage. Pour rappel, OVHcloud prévoit même des baies de 240 kW par la suite.

C’est aussi un moyen de faire comme ses petits camarades : parler de puissance électrique pour l’intelligence artificielle, mais sans annoncer la moindre puissance de calcul.

• [Édito] Arrêtons de compter la puissance de calcul des GPU en GW, ça ne veut rien dire !

Rendez-vous en 2026 et 2027

Les Qualcomm AI200 et AI250 ne sont pas disponibles tout de suite, loin de là. La première n’arrivera pas avant l’année prochaine et la seconde qu’en 2027. Qualcomm s’engage à tenir une « cadence annuelle à l'avenir, axée sur des performances d'inférence pour l’IA de pointe, l’efficacité énergétique et le TCO (Total Cost of Ownership)  ».

Sur sa page dédiée aux datacenters, Qualcomm référence déjà une solution pour l'inférence : la Cloud AI 100 Ultra. Il s’agit d’une carte PCIe x16 (gen 4) avec une puissance de 870 TOPS en INT8, 128 Go de mémoire et un TDP de 150 W.

Qualcomm annonce aussi une « collaboration majeure visant à déployer une infrastructure d’intelligence artificielle avancée en Arabie saoudite ». HUMAIN, une société du Fonds public d'investissement d'Arabie saoudite, « prévoit de déployer 200 mégawatts dès 2026, en s’appuyant sur les solutions d’accélération en rack Qualcomm AI200 et AI250 ». Ces annonces ont fait grimper de près de 20 % l’action de Qualcomm à l’ouverture lundi, avant qu'elle ne se stabilise sur une hausse de l'ordre de 10 %.