Le 09/10/2023 à 10h 16

Les supercalculateurs sont des assemblages de milliers de serveurs. Les serveurs ont chacun leur OS, tous les OS d’un même modèle de serveur sont configurés de la même manière.
Pour le stockage, je ne sais pas quelle technologie sera utilisée (les supercalculateurs utilisent souvent des techno comme LUSTRE ou GPFS), mais le stockage n’est pas intégré dans les serveurs de calcul.

Le 16/03/2021 à 09h 38

Je me faisais la même réflexion.
La prochaine étape sera peut-être de recréer un ministère de l’information qui s’occupera directement de supprimer les contenus et utilisateurs indélicats et de mettre en avant ce qui sera approuvé…

Le 20/10/2020 à 08h 19

Précision pour le TGCC : le centre est installé au CEA mais les machines sont financées par GENCI (dont le CEA est actionnaire, tout comme l’état français, le CNRS, les universités et l’INRIA). Les machines installées au TGCC peuvent être utilisées par tous les chercheurs académiques des institutions françaises (et par des chercheurs d’autres pays européens dans le cadre de PRACE).
Par contre Tera-1000-2 est une machine 100% CEA.

Le 26/06/2020 à 09h 46

David_L a dit:

Oui, comme dit ça dépend forcément des workloads. Mais ceux qui nécessitent beaucoup de BP mémoire et ne peuvent être traités sur GPU sont plutôt l‘exception que la règle (d’ailleurs tu parles de cas où le GPU n‘est pas utilisable parce que le code n’est pas porté sur CUDA/OpenCL je suppose ?)

Certains des codes qu‘on utilise ne sont pas vraiment portables sur GPU. On peut avoir par exemple des structures de données un peu tordues et volumineuses (plusieurs Go par cœur CPU) à mettre en RAM, et des accès aléatoires à la mémoire. Rien ne loge sur le cache, on a en permanence besoin d’aller chercher les données en RAM, les calculs ne sont pas franchement vectoriels, bref rien de bien pour GPU.
Alors bien sûr il y a aussi des codes non portés sur GPU parce qu‘on n’a pas la main d’œuvre pour le faire, mais certains codes ne pourront jamais être portés efficacement parce que les algorithmes ne s‘y prêtent pas. Et pour autant la bande passante mémoire peut être un point critique pour ces codes.

Le 25/06/2020 à 09h 50

David_L a dit:

Ce n‘est pas une impossibilité technique, mais le PC est modulaire et pensé comme tel. Les modules de HBM, ce n’est pas vraiment très modulaire ;) Puis la BP mémoire du CPU n‘est pas forcément le point de tension principal en général. Cela peut dépendre des workloads, mais bon, c’est surtout nécessaire lorsqu‘ils faut alimenter énormément de cœurs avec beaucoup de données, et là on utilise plutôt des GPU De la HBM2 n’y changerait rien (mais ferait exploser les prix).

Tout ça dépend beaucoup des applications. Certaines dépendent quasi exclusivement du CPU, d‘autres de la bande passante mémoire, d’autres de l‘équilibrage de charge entre processus, d’autres des accès disques, et d‘autres encore d’un mélange de tout ça.
Mais il y a des applis limitées par la bande passante mémoire qui ne peuvent pas utiliser de GPU.

Le 25/06/2020 à 09h 40

Furanku a dit:

Question : ces supercalculateurs, dans leur durée de vie (qui me semble assez courte à la vitesse où l‘on en construit), sont-ils pleinement utilisés ?Tout cela m’a l‘air d’être une course plus qu‘autre chose. Sauf que l’impact environnemental pour construire de telles machines n‘est pas négligeable…Donc est-ce que cette puissance est réellement exploitée ensuite, entre autre pour aider la science et la médecine (et non pas l’armée) ? Ou est-ce que c‘est une course à kikialaplusgrosse, avec un bel argument marketing pour les techno choisies ?

Voici les chiffres de mars 2020 correspondant aux demandes de temps sur les principales machines nationales en France, avec heures disponibles sur la machine et heures demandées par les projets, et la pression des demandes par rapport à la disponibilités :

• Jean Zay CPU : 148 740 000 h dispo, 230 784 661 h demandées, pression = 155%


• Jean Zay GPU : 1 282 000 h dispo, 1 446 143 h demandées, pression = 113%


• Occigen : 214 382 000 h dispo, 410 640 900 h demandées, pression = 192%


• Joliot-Curie SKL : 79 342 000 h dispo, 162 615 900 h demandées, pression = 205%


• Joliot-Curie KNL : 62 474 000 h dispo, 46 799 901 h demandées, pression = 75%


• Joliot-Curie Rome : 312 550 000 h dispo, 155 142 400 h demandées, pression = 50%


• Joliot-Curie V100 : 313 000 h dispo, 60 524 h demandées, pression = 19%

La machine Joliot-Curie Rome est nouvelle et les codes ne sont pas forcément prêts pour y tourner, mais ça devrait vite changer.
Joliot-Curie V100 doit souffrir de la comparaison avec Jean Zay GPU. Et la partition KNL n’a à ma connaissance jamais eu un succès fou.

Les demandes de temps viennent de toutes les disciplines scientifiques, les plus gros consommateurs sont

• Environnement


• Écoulements non réactifs


• Écoulements réactifs et multiphasiques


• Astrophysique et géophysique


• Physique théorique et physique des plasmas


• Physique chimie et propriété des matériaux

Je n‘ai pas retrouvé les chiffres d’heures consommées effectivement et de taux d‘occupation mais sur les machines "CPU généralistes" c’est souvent très élevé (machines utilisées à plus de 90%).

Le 11/06/2019 à 09h 08

barlav a dit:

Super articles comme toujours, mêmes s’ils sont peu lus.Perso je suis un peu perdu entre les data-centers avec une concentration de puissances divisibles et attribuables individuellement avec du cloisonnement, Et ces choses qui sont censés regrouper le + de puissance possible sur un sujet, avec des concentrateurs dédiés sur 1 topic: calculer 1000 résultats de simu nécessitera un organe de centralisation des data, donc une archi modulable mais calibrée à chaque besoin. Donc chaque bandwidth devra être scrutée pour vérifier l’équilibre de la plateforme, à mon avis.

Ce n’est pas tout à fait vrai. Dans ces centres de calcul, la puissance totale n’est jamais dédié à un sujet en dehors de phases Grands Challenges. La plupart du temps, le calculateur est utilisé par plusieurs équipes en même temps, chacune disposant d’une fraction de noeuds de calcul.
Certains projets sont basés sur une seule simulation, d’une taille extrême parfois, et requérant éventuellement quelques millions voire dizaines de millions d’heures*coeurs.
Par ailleurs, les données sont accessibles de l’ensemble du système, tous les noeuds de Joliot-Curie ont accès à plusieurs partitions basées sur le système de fichier LUSTRE.
Enfin, pas d’architecture modulable dans ces machines. Elles sont le plus généralistes possibles et ne sont pas optimisées pour des applications spécifiques. C’est plutôt les développeurs qui essaient d’optimiser leurs codes pour exploiter au mieux les ressources des machines auxquelles ils auront accès.

Le 04/06/2019 à 13h 36

Le problème, c’est qu’un prestataire, ça peut se faire racheter.

Le CNRS a par exemple récemment mis en place une plateforme RH pour ses employés, avec coffre fort numérique et gestion de certains actes RH en ligne. Le prestataire français qui propose la solution a été racheté par une société américaine avant même l’ouverture du portail aux employés.

On peut penser que ce n’est pas grave, on peut aussi penser qu’il n’est pas souhaitable que certaines données RH de fonctionnaires français soient gérées par une entreprise américaine.

Le 29/03/2019 à 09h 41

Les constructeurs (HP, DELL, Cray, NEC, Atos) que j’ai rencontrés à Supercomputing en novembre m’ont tous dit qu’AMD allait revenir sur le devant de la scène dans le HPC, en tout cas.

Le 29/06/2018 à 14h 25

J’utilise régulièrement ce genre de machines. Et je développe des codes qui tournent dessus.

Coder efficacement pour un processeur standard qui a  16 ou 28 cœurs, ou pour un Xeon Phi qui en a 64 ou 72, ce n’est pas la même chose.

 Les quantités de cache, la bande passante mémoire, la quantité de mémoire par cœur ou la fréquence d’horloge diffèrent largement et impliquent éventuellement un gros travail pour adapter le code.

Je passe peut-être pour un idiot à pinailler, mais je pinaille sur un sujet que je connais et parce que si j’avais le droit d’utiliser Tera 1000 (ce qui ne sera pas le cas) je devrais réécrire une bonne partie de mon code pour avoir des performances correctes. Ceci dit, je vais devoir m’y mettre de toute façon parce que l’avenir du HPC passe par là.

Sinon le top500 a toujours du sens quand on regarde le haut du classement (et on ne regarde que le haut du classement quand on s’y intéresse), on n’y voit que des centres de calcul et des vraies supercalculateurs.

Le 27/06/2018 à 10h 09

Ça a beau être compatible x86, ce  n’est pas utilisable efficacement sans recoder pour la plupart des applications. Donc je maintiens ce que j’écrivais : c’est pas follement généraliste.

Le 26/06/2018 à 11h 35

Les applications militaires du commissariat à l’énergie atomique, je ne suis pas sûr que ce soit beaucoup mieux…

Le 26/06/2018 à 09h 56

Il y a des Xeon Phi dans Tera 1000, c’est pas follement généraliste non plus.

Le 08/06/2016 à 08h 47

Attention aux clichés, les temps caractéristiques de développement des missions spatiales sont énormes aux EU comme en Europe.

Le télescope James Webb est en projet depuis 20 ans, et pas encore lancé. 

Le 21/03/2016 à 09h 57

J’avais aussi désactivé disconnect. 

Je pense que je n’avais rien d’autre actif. Mais j’ai peut-être oublié un truc. 

Le 21/03/2016 à 09h 34

Non seulement c’est discutable sur le principe, mais en plus c’est techniquement raté puisqu’un site sur lequel j’ai essayé de désactiver adblock n’a pas été capable de le voir et ne m’a pas laissé accéder au contenu.

Bref, comme dit plus haut, je me passerai de ces sites, ce n’est pas très grave.

Le 21/09/2012 à 13h 02

J’ai le répertoire VIP dans ma boîte mail sur mon 3GS. Je ne sais pas si ça marche, je n’ai pas essayé, mais j’ai bien le répertoire.