L’Ultra Ethernet se prépare

Les réseaux ne cessent de s’améliorer, que ce soit en bande passante, latence et fonctionnalité. Si InfiniBand prend ses aises dans le monde du HPC (High Performance Computing), un consortium veut « améliorer » Ethernet et prépare l’Ultra Ethernet. Le français Kalray vient de se joindre à la fête et nous explique les enjeux et ses attentes de l’Ultra Ethernet, que la société compte « intégrer dans les futures générations de DPUs ».

Il y a quasiment un an jour pour jour, Bob Metcalfe était lauréat du prix Turing, souvent appelé « prix Nobel de l’informatique », qui n’existe pas pour rappel. Il était quoi qu’il en soit récompensé pour ses travaux sur le protocole Ethernet.

C’est, en effet, le 22 mai 1973 qu’il présente la première ébauche, alors qu’il était ingénieur au Xerox Palo Alto Research Center (PARC). Mais c’est une autre histoire que nous avons déjà détaillée à l’occasion des 50 ans du protocole Ethernet, qui est toujours omniprésent aujourd’hui.

• La folle évolution d’Ethernet, de 2,94 Mb/s à 1,6 Tb/s

L’Ultra Ethernet ne veut pas « remanier Ethernet »

En juillet dernier, un nouveau groupe s’est dévoilé au grand jour : l’Ultra Ethernet Consortium, ou UEC. Comme son nom l’indique, il veut « booster » le protocole Ethernet et l’adapter aux enjeux modernes que sont le HPC (calcul haute performance) et l’intelligence artificielle. S’il n’est pas directement cité par le consortium, l’InfiniBand (un « concurrent » d’Ethernet) est évidemment dans le collimateur.

Parmi les membres fondateurs, on retrouve neuf grands noms de l’informatique, du monde des datacenters et de l’intelligence artificielle : AMD, Arista, Broadcom, Cisco, Eviden (Atos), HPE, Intel, Meta et Microsoft. NVIDIA, qui utilise massivement Ethernet et InfiniBand (via sa filiale Mellanox, rachetée en 2019 pour sept milliards de dollars), brille donc par son absence. D’autant plus que l’entreprise fournit massivement les GPU utilisés pour les entrainements des IA (génératives).

Dans le communiqué de l’époque, le président du consortium (le Dr. J Metz), affirmait qu’il « ne s’agit pas de remanier Ethernet », mais de « régler » le protocole afin d' « améliorer l’efficacité des charges de travail ayant des exigences de performances spécifiques ».

Maintenir et promouvoir « l'interopérabilité Ethernet »

« Nous examinons chaque couche – depuis la couche physique jusqu’aux couches logicielles – pour trouver le meilleur moyen d’améliorer l’efficacité et les performances à grande échelle », ajoutait le président du consortium. L’UEC souhaite ménager la chèvre et le chou en « minimisant les changements dans la pile de communication tout en maintenant et en promouvant l'interopérabilité Ethernet ».

L’Ultra Ethernet Consortium est un projet de la Joint Development Foundation, placée sous le contrôle de la Linux Foundation. Une ouverture à de nouveaux membres était prévue pour le quatrième trimestre 2023 et le rendez-vous a été honoré en novembre. Le consortium se félicite maintenant d’avoir 45 nouveaux membres, preuve selon lui de l’intérêt de l’industrie pour son projet.

Le français Kalray se joint au consortium

On peut citer Oracle, mis aux côtés des neuf fondateurs dans la liste des « membres directeurs », mais aussi Alibaba, Baidu, Dell, Huawei, IBM, Juniper, Marvell, Nokia et Synopsys (pour ne citer qu’eux) dans les membres généraux. Signalons également Fujitsu, Lenovo, Samsung, Supermicro, Tencent et le français Kalray – qui développe des processeurs (Data Processing Units ou DPU) pour datacenters – dans les contributeurs.

Nous avons contacté Kalray afin de savoir pourquoi la société s’était mise dans l’Ultra Ethernet Consortium et ce qu’elle attendait de ce nouveau protocole : « Chez Kalray, nous sommes convaincus qu’Ethernet est la technologie d’interconnexion qui va permettre de construire des infrastructures IA de grande échelle à couts raisonnables. Si InfiniBand reste largement utilisée dans le monde du HPC, elle reste relativement onéreuse et complexe à déployer, et de fait n’est pas présente chez la majorité des Cloud Service Provider fournissant des infrastructures IA », nous explique Rémy Gauguey, data center software architect chez Kalray et ancien du CEA (pendant 7 ans).

Les ambitions et la cible de l’Ultra Ethernet

Les travaux de l’UEC portent sur le développement de l’Ultra Ethernet Transport, un protocole « next-gen » pour l’IA générative et le HPC. Les réseaux se sont déjà améliorés au fil des dernières années, notamment avec le RDMA, ou Remote Direct Memory Access, qui permet un accès direct à la mémoire. Pratique, par exemple, pour l’IA qui utilise des milliers de CPU/GPU pour ses entrainements. Il existe aussi RoCE ou RDMA sur Ethernet Convergé afin de profiter du RDMA sur un réseau Ethernet.

« Cependant, malgré le succès de la sémantique RDMA (Remote Direct Memory Access) issue du monde Infiniband et portée vers Ethernet au travers du protocole RoCE (RDMA over Converged Ethernet), il reste des limitations de passage à l’échelle de RoCE que l’Ultra Ethernet Consortium va résoudre », nous explique Rémy Gauguey.

Pour le revendeur Fiber mall, les ambitions de l’UEC sont claires : « Il vise directement le protocole de transmission de son rival InfiniBand ». La boutique en ligne rappelle que les « protocoles existants peuvent résoudre certains aspects » des problématiques des réseaux actuels, « mais comme ils sont conçus pour les réseaux généraux, ils manquent de fonctionnalités essentielles à l'intelligence artificielle et au calcul haute performance ».

« À l’instar de TCP qui fonctionne "simplement" que le réseau soit sans perte ou non, l’Ultra Ethernet intègrera des mécanismes de contrôle de congestion optimisés, et permettra de délivrer les paquets de données sans contrainte forte sur l’ordre de ceux-ci, permettant ainsi une meilleure latence globale (appelée tail latency). Cette latence est critique pour les applications IA à grande échelle », ajoute le data center software architect de Kalray. Cette dernière société connait bien le protocole RoCE puisqu’elle l’utilise « depuis plusieurs générations de DPUs et supportera l’Ethernet 400 Gb/s avec RoCE pour sa prochaine génération ».

Capitaliser sur « l’omniprésence et la flexibilité d’Ethernet »

Selon Atos, l’Ultra Ethernet « capitalisera sur l’omniprésence et la flexibilité d’Ethernet » pour se déployer rapidement. Le consortium veut développer des spécifications, API et codes sources pour définir plusieurs points :

• • « Protocoles, caractéristiques de signalisation électrique et optique, interfaces de programmation d’application et/ou structures de données pour les communications Ethernet

• • Protocoles de transport réseau de bout-en-bout et au niveau de la liaison pour étendre ou remplacer les protocoles de liaison et de transport existants

• • Mécanismes de signalisation, de télémétrie et de contrôle d’encombrement de bout-en-bout et au niveau de la liaison ; chacun de ces éléments étant adapté à l’IA, au machine learning (ML) et aux environnements de calcul haute performance

• • Structures logicielles, de stockage, de gestion et de sécurité, pour fluidifier une variété de charges de travail et d’environnements d’exploitation ».

Ultra Ethernet 1.0 d'ici à quelques mois

Quatre groupes de travail sont en place au sein du consortium : couche physique, couche de liaison, couche de transport et couche logicielle. Le travail sur les spécifications de l’UEC suit un calendrier très serré, la publication de la version 1.0 est prévue pour le troisième trimestre 2024. Des informations sont déjà disponibles sur cette page, un livre blanc a aussi été mis en ligne par le consortium.

« Ayant été confrontés aux limitations actuelles du protocole RoCE, il nous semble primordial de rejoindre les grands noms de l’industrie pour avoir accès à la technologie Ultra Ethernet dès sa publication (courant 2025 ?) afin de l’intégrer dans les futures générations de DPUs », conclut Rémy Gauguey de Kalray.