CacheLib, l’outil open source de Facebook pour la mise en cache sans DRAM
Le 06 septembre 2021 à 08h23
2 min
Logiciel
Logiciel
Dans un billet technique sur sa technologie, Facebook explique le problème de la DRAM dans les opérations de mise en cache, notamment quand les besoins explosent. Le coût devient alors élevé, tout comme la consommation.
L’entreprise est passée par un modèle hybride, s’appuyant autant sur la mémoire vive que la NVM (non-volatile memory), autrement dit des SSD. Ce modèle est « un pas en avant, mais des concepts innovants de mise en cache sont nécessaires pour exploiter le plein potentiel du cache hybride ».
C’est là que CacheLib entre en scène. Facebook présente son outil et le met à disposition des développeurs sur son dépôt GitHub. Son code est open source, avec une licence Apache 2.0. S’y ajoute CacheBench, également open source, conçu pour mesurer les performances du cache dans les charges de travail en environnement de production.
Pour Facebook, ses deux outils « ont le potentiel pour devenir un standard de l’industrie ». La société est d’ailleurs sûre de leurs qualités : elle les utilise dans plus de 70 de ses systèmes, pour la distribution des contenus en réseau, le stockage ou encore le graph social. Twitter utilise la technologie sur ses propres serveurs.
Facebook indique également avoir travaillé avec Intel, KIOXIA, Samsung et Western Digital pour standardiser et améliorer les SSD dans cette optique. Les partenaires ont abouti à l’Open Compute Project's NVMe Cloud SSD Specification.
Le 06 septembre 2021 à 08h23
Commentaires (1)
Vous devez être abonné pour pouvoir commenter.
Déjà abonné ? Se connecter
Abonnez-vousLe 06/09/2021 à 15h20
Un bon vieux projet en C++ Après des années de C/C++, puis Java Je développe maintenant en NodeJS (mais j’aime pas trop le Javascript) et débute en Golang, justement sur une mise en cache de données en mémoire : du rustique, une bonne grosse map de 60 millions d’enregistrements, simple et plutôt efficace, enfin dès que j’aurais réussi à faire quelques mesures de perf