Comme la Delta, la Freebox Ultra permet de lancer des machines virtuelles. Free propose des images préinstallées pour faciliter la mise en place. Le nouveau SoC de la Freebox Ultra permet-il de faire la différence avec la Delta ? Nous avons lancé plusieurs benchmarks pour voir ce qu’il en est.
La Freebox Ultra a été lancée il y a quelques semaines déjà par Free, avec un débit symétrique de 8 Gb/s. Nous en avons reçu un exemplaire, que nous avons déjà démonté afin de faire le tour du propriétaire. Le répéteur Wi-Fi 7 a subi le même sort, et on retrouve des similarités entre les deux équipements sur la partie Wi-Fi.
Free nous a envoyé une Freebox Ultra et nous avons conservé la Delta afin de pouvoir comparer les deux facilement. Première chose, nous avons tenté une expérience : installer le module SFP fibre de la Freebox Ultra dans la Delta. Résultat des courses : cela ne sert à rien. Nous n’avons pas eu 8 Gb/s en upload, la box étant restée bloquée en étape 3 de toute façon.
Passons à ce qui nous intéresse aujourd’hui : les tests de performances dans les machines virtuelles, introduite avec Freebox OS 4.1. Pour commencer, on se rend dans l’interface de la nouvelle box : Freebox OS. Les habitués de l’opérateur n’auront aucune surprise : même interface, mêmes fonctionnalités, mais pas même version. Actuellement, la Freebox Ultra est en version 4.8.6, contre 4.7.9 pour la Delta.
Un SSD dans la Freebox Ultra et on lance des VM
Dans la Freebox Delta, il fallait installer un périphérique de stockage afin de pouvoir installer des VM. C’est la même chose avec l’Ultra, mais avec une différence de taille. La Delta propose pour rappel quatre emplacements de 2,5 pouces (SATA), tandis que l’Ultra se contente d’un seul emplacement, mais sous la forme d’un connecteur M.2 pour un SSD PCIe (NVMe), permettant ainsi des débits bien plus rapides. Nous avons installé un modèle de WD Blue de 500 Go dans notre box de test.
On se rend ensuite dans le menu VMs de Freebox OS. Dans le cadre de nos tests, nous avons à chaque fois installé une Debian 12 (Bookworm) avec le téléchargement de l’image préinstallée directement depuis les serveurs de Free. D’autres images sont disponibles : Ubuntu 22.04 (Jammy) et 23.10 (Mantic), Debian Unstable, Fedora 39, OpenSUSLeap 15.5 JeOS, CentOS 8.4 (snapshot 20210603) et Jeedom (fourni par Feedom SAS).
Dans le cas de notre Debian, nous lui attribuons deux vCPU (deux cœurs) et le maximum de mémoire vive disponible par défaut (1 Go sur la Delta, 2 Go sur l’Ultra). Les autres paramètres sont ceux par défaut.
Cortex-A72 sur la Delta vs Cortex-A73 sur l‘Ultra
Pour comparer les performances, nous avons utilisé plusieurs logiciels : Sysbench, OpenSSL, 7Zip et MBW (Memory Bandwidth Benchmark).
Première chose, un coup de lscpu qui permet de récupérer les informations de /proc/cpuinfo. Sur la Delta, on a une architecture aarch64 avec deux cœurs Arm Cortex-A72, avec 1 Go de mémoire vive. On retrouve évidemment les paramètres définis pour la machine virtuelle dans Freebox OS.
Voici le résultat d’un cat /proc/info et d’un lscpu sur la Freebox Delta à gauche (Cortex-A72) et sur la Freeox Ultra à droite (Cortex-A73)
Sur la Freebox Ultra on reste sur la même architecture, toujours avec deux cœurs, mais Cortex-A73, avec 2 Go de mémoire.
Benchmark OpenSSL : « openssl speed rsa4096 »
Sur OpenSSL, nous utilisons le benchmark intégré (via la commande openssl speed rsa4096) sur un puis deux cœurs, avec le paramètre -multi $(nproc).
Freebox Delta :
-
- 32 signatures/s sur un cœur, 63,8 signatures/s sur deux cœurs
-
- 2 466 vérifs/s sur un cœur, 4 935 vérifs/s sur deux cœurs
Freebox Ultra :
-
- 34,6 signatures/s sur un cœur, 69 signatures/s sur deux cœurs
-
- 2 360 vérifs/s sur un cœur, 4 721 vérifs/s sur deux cœurs
La Freebox Ultra dépasse donc sur la Delta sur le nombre de signatures par seconde avec presque 10 % de mieux, mais elle passe légèrement en dessous de la Delta sur le nombre de vérifications. L’architecture n’étant pas la même, ce n’est pas forcément une surprise.
Benchmark 7Zip : « 7z -b »
On continue sur la partie CPU avec le benchmark intégré à 7zip (via la commande 7z -b). Nous effectuons les tests avec un seul cœur (via le paramètre -mmt1) puis deux cœurs.
Freebox Delta :
-
- 2 002 MIPS en compression et 2 144 MIPS en décompression sur un cœur, 3 372 et 4 235 MIPS sur deux cœurs
Freebox Ultra :
-
- 1 599 MIPS en compression et 2 378 MIPS en décompression sur un cœur, 2 916 et 4 718 sur deux cœurs
La Freebox Ultra est franchement en retard sur un seul cœur avec 15 à 20 % de moins que la Delta, tandis qu’elle prend une dizaine de pourcents lorsqu’on laisse les deux cœurs s’exprimer.
Benchmark Memory Bandwidth Benchmark : « mbw 100 »
Passons maintenant à la mémoire avec MBW avec 100 pour le paramètre [ARRAY_SIZE], ce qui donne la commande suivante : mbw 100.
Freebox Delta :
-
- Memcpy : 4 443 Mo/s
-
- Dumb : 4 456 Mo/s
-
- Mcblock : 10 873 Mo/s
Freebox Ultra :
-
- Memcpy : 4 622 Mo/s
-
- Dumb : 4 651 Mo/s
-
- Mcblock : 7 827 Mo/s
La Freebox Ultra fait donc mieux sur les deux premiers tests (Memcpy et Dump), mais reste en retrait sur le Mcblock (différentes tailles de blocs). On retrouve un peu la même chose avec le benchmark Sysbench lorsque l’on utilise des blocs de 32 à 512 Mo (sysbench memory –memory-block-size=xxM run). La Freebox Delta grimpe à un peu plus de 12 000 Mo/s, quand l’Ultra ne dépasse pas les 7 800 Mo/s.
Nous avons également relancé l’intégralité des tests précédents avec 1 Go de mémoire vive sur la VM de la Freebox Ultra afin de la mettre parfaitement en face de la Delta. Cela ne change quasiment pas les résultats, rien de significatif dans tous les cas.
La Freebox Ultra reste donc dans les mêmes eaux que la Freebox Delta. On peut toujours lancer des VM légères sans problème, avec un maximum de deux machines virtuelles simultanément. Mais ne comptez pas installer des systèmes lourds. Les usages restent les mêmes, on a simplement par défaut la possibilité de doubler la mémoire vive.
Limitations vCPU et RAM des VM
Sur la Freebox Ultra on peut lancer jusqu’à deux VMs en simultanées avec au moins 1 vCPU et jusqu’à 1024 Mo de mémoire pour chacune d’entre elles. Il est également possible de lancer une seule VM avec jusqu’à 2 vCPU et 2048 Mo de mémoire maximum.
Comme sur la Delta, la Freebox Ultra se réserve deux cœurs pour son fonctionnement. Il était possible d’en utiliser jusqu’à trois pendant un temps, mais ce n’est plus le cas depuis des années. En 2020, Anisse Astier (qui était alors chez Free) expliquait que le retour à 3 vCPU sur la Freebox (Delta à l’époque) n’était « pas prévu pour le moment » et ce n’est toujours pas le cas.
« Nous devrions sensiblement baisser la quantité de RAM disponible pour permettre d’avoir un CPU virtuel de plus, or la RAM est un facteur plus limitant. Pour les utilisateurs qui ont mis plus de 4 Go de RAM dans leur Freebox Server, il est possible d’utiliser 3 CPUs dans une seule VM, mais ce n’est pas une configuration supportée ». Avec 4 Go de mémoire non modifiable, la question semble réglée pour la Freebox Ultra.
Commentaires (15)
#1
C'est pas fou.
#1.1
Pour faire tourner un pihole, un home assistant ou des trucs léger comme cela, la box se suffit et peut éviter à certains d'investir en plus dans une carte type Rpi ou un NAS.
Les VM répondent à un usage plus "geek" que la moyenne et sont un plus. Ce n'est pas la finalité de la box. Et d'ailleurs ce n'est pas ce qui est le plus mis en avant à l'inverse des services proposés (Netflix, etc).
#1.4
#1.2
#1.3
#1.6
#1.5
Comme tout produit industriel il y a des compromis à faire. Le prix ne peux pas grimper à l'infini. Surtout quand la box est plus un support pour consommer le service plutôt qu'un produit final.
Si économiser sur le CPU qui convient à 99.99% des gens leur permet d'ajouter des fonctionnalités qui sont intéressantes pour plus de monde (Wifi 7, module sfp qui fonctionne, etc...) alors je pense que c'est un choix malin.
J'ai le meme discours sur le retrait du disque dur depuis la révolution. Ca ne faisait pas vraiment sens en terme de coup et c'est toujours sur du Wifi 5
#2
Si on les installe là c'est juste pour optimisation des couts pas pour la performance, sinon, il y a autre chose à faire.
#2.1
Si je prends une Ultra un jour, ce ne sera pas pour ses VM.
#3
Bien que ce ne soit pas la première limite (qui est soit la RAM (remplaçable sur Delta), soit le CPU), je me demande si les VM Ultra ont fait monter cette limite ?
Note : il n'est peut-être pas possible de faire et encore moins de dépasser 1 Gbs avec de tels CPU dans une VM.
#3.1
#4
En effet, si on ne peut pas lancer plus de VM que de CPU dispos, et que le CPU est 4 coeurs, que la box en réserve 2 et en laisse 2 pour les "VM", de même pour la RAM qui semble partagée en 2 ...
C'est pas vraiment de la virtu, c'est de l'allocation des ressources en dur, non? Quand je parle virtu, je parle surallocation des ressources, utilisation du vide et optimisation de la capacité...
C'est intéressant de pouvoir lancer des machines sur la box, mais être limité à 2, c'est dommage. Ou alors on peut lancer des conteneurs dans la "VM"? (LXC, Docker?)
#4.1
Avec 2 vCPU et ce type de CPU, je ne pense pas qu'une VM avec conteneur puisse être très réactive....
Il faut surtout le voir comme "on n'en a pas le besoin alors on vous en fait profiter"
Historique des modifications :
Posté le 21/03/2024 à 21h56
La virtualisation c'est avant tout le partage de ressource, le vCPU est à voir comme une unité de processeur pour une VM. La sur-allocation c'est juste une possibilité, qui j'imagine poserait très vite des problèmes avec si peu de ressources : a saturation j'imagine que c'est l'ensemble qui à des ralentissements.
D'ailleurs même sur des vrai CPU ça peut être compliqué la sur-allocation : il faut maîtriser les usages et profils de consommation des VM hébergée. Plus la charge CPU augmente et plus il réduit ses fréquences, et c'est l'ensemble des VM hébergée qui en font les frais (latence de l'allocation CPU plus grande et temps de traitement qui augmente également).
Avec 2 vCPU et ce type de CPU, je ne pense pas qu'une VM avec conteneur puisse être très réactive....
Il faut surtout le voir comme "on n'en a pas le besoin alors on vous en fait profiter"
#4.2
Et avec seulement 2 VM, "peu" de ram, des cpu aux performances datées, si tu veux installer plusieurs logiciels, il en faut plusieurs par VM. Soit dans l'OS, soit dans des containeurs, voire un panachage.
#5
Là, il aurait été possible de faire une comparaison la même quantité, correcte, de Ram.