Le 13/04/2023 à 23h 04

Perso un seul gros serveur proposant une bonne grosse grappe raidz1 (7hdds en 10k), cache RAM en lecture, optane en cache ZIL, les autres “serveurs” sans stockage. Grosse bande passante et faible latence, presque comme du HPC @home. Çà rooste bien, mais c’est pas l’usage de Mr tout le monde

Le 13/04/2023 à 22h 44

C’était pour dire du point à point sans switch infiniband DDR gérant l’opensm pour interconnecter tout çà, vulgarisation vu le sujet initial qui est : un câble cuivre pour de la grosse bande passante ça chauffe.
1 carte bi port Mellanox ConnectX dans chaque machine, sur 3 machines, bé ça fait comme un réseau en boucle tel un token ring (ok j’ai vulgarisé).

Mais si tu es à ce point pointilleux, je t’envoie mes benchs iperf3 si tu veux.

En tout cas du 20GB sur câble cuivre (CX4), je te garantie que çà chauffe, j’ai du rajouter des dissipateurs sur les cartes !

J’ai découvert çà avec des articles sur VSAN en esxi5 ou fallait compiler les .vib à l’époque, sous linux opensm c’est plus simple…
20GB avec latence en nano depuis 2013 à pas cher (mais des heures et des heures à le mettre ne place, tuner le kernel, … ! https://www.hypervisor.fr/?p=4662

Et pour revenir au sujet, un rapport du CNRS sur le sujet facilement trouvable sur le net (je ne retrouve pas l’article que je cherche et pas envie d’y passer ma nuit) :
Câblage cuivre
~ 1 W/port au 1Gb/s (origine 6,5 W/port)
~ 3 W/port pour les commutateurs PoE (même non actif)
~ 5 W/port au 10Gb/s (origine 25 W/port)

Le 11/04/2023 à 14h 19

En cuivre du 10GbE consommera forcément plus. Y’a quelques articles sur le sujet.
Idem, je fais de infiniband en tocken ring (IP2IB + rdma) avec des cables CX4, ca chauffe sa mère, et plus il y a de longueur, plus ca consomme.