Stockage : on grimpe d’un cran avec les RAID 6, 10, 50, 60…
Dommage, pas de RAID 42
Dans la première partie de notre dossier sur le RAID, nous avons vu le vocabulaire de base, le principe de fonctionnement de cette technologie ainsi que les premiers niveaux 0, 1 et 5. Il est désormais temps d’aller un peu plus loin, en commençant par le RAID 6, avant de passer aux niveaux à deux chiffres et au RAID hybride de Synology.
RAID 6 : jusqu’à deux disques peuvent tomber en panne
Sur le principe, le RAID 6 est semblable au RAID 5, mais avec deux périphériques au lieu d’un seul pour la parité. Conséquence directe : la tolérance de panne est de deux disques. Il faut par contre un minimum de quatre périphériques de stockage pour un RAID 6, contre trois pour un RAID 5.
La capacité totale est celle de l’ensemble des périphériques de la grappe moins deux (s’ils ont tous la même capacité). Par contre, « les performances de RAID 6 sont inférieures à celles de RAID 5 en raison de cette tolérance aux pannes supplémentaire », explique Seagate. Performances ou double redondance, il faut choisir.
Il existe d’autres niveaux de RAID comme les 2, 3 et 4, mais ils sont très peu utilisés et/ou obsolètes, nous les laissons donc de côté pour passer à des niveaux plus élevés avec deux chiffres.
RAID 10 : quand le RAID 1 rencontre le RAID 0
On commence avec le RAID 10, qui est l’occasion d’une petite précision utile pour la suite. Le RAID 10 – aussi appelé RAID 1 + 0 – consiste à cumuler du RAID 1 et 0 et à les imbriquer ; et c’est toujours la même chose dans le cas de RAID à deux chiffres.
Le RAID 10 veut proposer « la performance de RAID 0 et le niveau de protection des données de RAID 1 », explique Synology. Il faut au minimum quatre disques. On commence par mettre en place deux grappes de deux disques en RAID 1 (avec redondance des données donc). Les deux grappes sont ensuite montées en RAID 0 pour ne former qu’un seul ensemble.
Une image valant mille mots, voici à quoi cela ressemble :
Comme on peut le voir, si l’on perd un des quatre disques, l’intégrité des données n’est pas compromise et on garde les bonnes performances du RAID 0. On peut perdre jusqu’à deux disques sans perte de données, mais à condition qu’il en reste un valide dans chaque grappe RAID 1. Si les deux de la même grappe tombent en panne, c’est la fin des haricots.
Le principal problème du RAID 10 est la capacité totale correspondant aux disques divisés par deux. Avec quatre HDD de 10 To, vous aurez donc 20 To utilisables. Le RAID 10 garde néanmoins certains avantages : n'utilisant pas de bits de parité, il aura un impact bien moindre sur le processeur en cas de RAID (semi-)logiciel. De plus, il ne nécessitera pas de reconstruction avec des calculs qui peuvent être importants en cas de changement d’un des disques.
Nous avons parlé ici d’un RAID 10 avec quatre disques, mais rien n’empêche de créer plus de deux grappes en RAID 1 puis de les assembler toutes en RAID 0.
Il existe aussi un RAID 01 ou 0 + 1 avec le fonctionnement inverse : les deux grappes de base sont en RAID 0, puis assemblées via un RAID 1. Là encore le système supporte la panne d’un disque dur, mais dans ce cas la grappe en RAID 0 est inutilisable et les performances ne seront donc plus les mêmes.
Quatre disques sont nécessaires, avec une capacité totale divisée par deux, comme en RAID 10.
On grimpe d’un cran avec les RAID 50 et 60
Normalement vous avez déjà deviné ce que sont les RAID 50 et 60 : des assemblages de RAID 5 + 0 et 6 + 0 respectivement. Les grappes en RAID 1 sont donc remplacées par du RAID 5 ou 6, toujours avec un RAID 0 par-dessus. Il faut un minimum de six (2x 3) périphériques de stockage en RAID 50 et huit (2x 4) en RAID 60.
Un RAID 50 (ou 60) comprend ainsi au moins deux petites grappes RAID 5 (ou 6) réparties par striping (RAID 0). QNAP explique que le RAID 50/60 procure une « meilleure protection contre les défaillances et [des] temps de reconstruction plus rapides » que le RAID 5/6 respectivement.
Le fabricant recommande le RAID 50 « pour la sauvegarde dans les entreprises utilisant dix disques ou plus », tandis que le RAID 60 est « recommandé pour le stockage professionnel et le montage vidéo en ligne avec douze disques ou plus ».
Dans les deux cas, ils offrent plus de capacité que le RAID 10, mais il faut prendre en compte les calculs de parité qui peuvent avoir un impact important sur les performances. QNAP prend en charge les RAID 50 et 60 sur certains NAS, contrairement à Synology.
D’autres niveaux de RAID
Sachez enfin qu’il existe d’autres niveaux de RAID que les principaux que nous venons d’évoquer, certains surtout utilisés dans le domaine professionnel. Citons pêle-mêle les RAID 05 (0 + 5), RAID 15 (1 + 5), RAID 51 (5 + 1 ), RAID 61 (6 + 1), RAID 5E et 5EE.
Dans ces deux derniers cas, il s’agit d’une amélioration du RAID 5 – accompagnée d'un ou deux E pour Enhanced – avec un disque supplémentaire comme unité de rechange (spare). Si l'un des disques tombe en panne, il prend automatiquement le relai. Attention, si une nouvelle panne intervient durant la phase de reconstruction, toutes les données peuvent être perdues.
L’incidence du RAID sur la capacité
Voici quelques exemples de la capacité disponible avec différents niveaux de RAID.
Avec quatre disques de 4 To :
- RAID 1 : 4 To
- RAID 5 : 12 To
- RAID 6 : 8 To
- RAID 10 : 8 To
- RAID 50 : impossible
- RAID 60 : impossible
Avec six disques de 4 To :
- RAID 1 : 4 To
- RAID 5 : 20 To
- RAID 6 : 16 To
- RAID 10 : 12 To
- RAID 50 : 16 To
- RAID 60 : impossible
Avec huit disques de 4 To :
- RAID 1 : 4 To
- RAID 5 : 28 To
- RAID 6 : 24 To
- RAID 10 : 16 To
- RAID 50 : 24 To
- RAID 60 : 16 To
Comme on peut le voir, le RAID 6 prend l’avantage sur le RAID 10 au niveau de la capacité de stockage à partir de six périphériques, avec une différence plus marquée au fur et à mesure que le nombre de disques augmente. Si le RAID 6 a l’avantage sur la capacité, il nécessite le calcul des parités et peut prendre beaucoup de temps lors d’une reconstruction après une panne.
RAID hybride SHR et SHR-2 de Synology
Le fabricant de NAS Synology propose un RAID maison baptisé SHR (Synology Hybrid RAID). Il s'agit donc de modes « hybrides », qui reproduisent le fonctionnement des RAID 5 et 6. Ils permettent surtout d’apporter une solution simple lorsque l’on utilise des périphériques de différentes capacités.
En effet, tous les modes précédemment évoqués nécessitent d'avoir des éléments de taille identique au sein d'une même grappe. Si ce n'est pas le cas, les capacités des différents disques seront limitées à celle du plus petit. Par exemple, un RAID 5 avec un disque de 4 To et deux de 10 To ne donnera que 8 To d’espace utilisable… pas très rentable.
Or, il arrive encore de recycler de vieux disques dans un NAS. Le manque de flexibilité du RAID peut devenir un problème concret. Synology a donc décidé d'imbriquer des modes RAID de manière transparente pour l’utilisateur. SHR (ou SHR-1) a une tolérance de panne d’un disque, contre deux pour SHR-2. Le choix se fera donc en fonction de vos besoins.
Par exemple, avec quatre disques suivant la répartition 2x 4 To + 1x 1 To + 1x 2 To, la capacité totale en SHR-1 sera de 7 To, contre 3 To en RAID 5. N’hésitez pas à voir ce qu’il en est dans votre cas avec ce simulateur.
Notez enfin qu'un RAID F1 est également mentionné. Il s'agit d'un RAID 5 spécifiquement pensé pour les SSD, avec une écriture particulière des bits de parité afin d'assurer une répartition tenant compte de l'usure des cellules flash NAND. Si vous voulez en savoir plus, un document technique décrit cette solution.
Commentaires (49)
Vous devez être abonné pour pouvoir commenter.
Déjà abonné ? Se connecter
Abonnez-vousLe 09/08/2022 à 13h49
Le RAID 6 n’est pas limité à 2 disques pour la parité. C’est certes l’usage le plus courant, mais il existe des RAID 6 avec plus de 2 disques de tolérance. Ils sont moins utilisés car les calculs de parité sont bien plus gourmands, mais ils existent ;)
Le 09/08/2022 à 14h08
Oui, de manière générale il est ici question des minimums pour chaque niveau de RAID
Après ca demande généralement de mettre davantage les mains dans le cambouis, surtout sur du matos grand public
Le 09/08/2022 à 14h34
Je réitère la question que j’avais posé la dernière fois, mais dont je n’ai eu aucune réponse :
Existe-t’il des sorte de raid qui utilise des codes correcteurs ?
En effet ce genre de code permettrait un grande souplesse dans le taux d’erreur acceptable, incluant dans les données restante durant la reconstruction de la grappe, cependant effectivement ça se fait au prix d’une grande quantité de calcule en écriture et en lecture.
Il existe des algorithme de correction d’erreur qui permet de moduler le taux d’erreur acceptable avec une certaine quantité de redondance. Un algo comme le code de Hamming permet par exemple de définir qu’avec 40% de redondance on peut perdre jusqu’à 40% de donnée. Dans une grappe de 5 disques, c’est jusqu’à 2 disque HS acceptable. Plus encore, c’est assez souple car on pourrait mettre 45% de redondance pour une grappe de 5 disques et même s’il reste des erreurs dans les 3 disques restant, l’algo permet de s’en sortir avec 5% d’erreurs dans les donnée restante.
Le 09/08/2022 à 14h41
C’est exactement la même chose … Et c’est idiot.
EN HW raid5 ou raid6, tu garantie la perte d’un ou 2 disques. sa se sert a rien de faire 2.5 disques de parité … tu pert juste 50% d’un disques en plus pour rien (pas plus de sécurité, 3 disques dead et tu pert tout).
Ca a longtemps existé sur les newsgroups (et existe tjr) avec les .part qui corrige les eventuelles perte UDP avec une correction en software, mais en soit, c’est exactement le même fcn d’un raid hw.
Le 09/08/2022 à 15h59
Deux choses :
Le 09/08/2022 à 15h31
Dommage de ne pas avoir évoqués les avantages et inconvénients de la solution Unraid : un ou deux disques de parité + une infinité de disques de données pouvant être branchés et lus n’importe où.
Le 09/08/2022 à 16h20
Oui j’espère que le sujet sera abordé dans un autre article
Le 09/08/2022 à 16h28
Justement, à la lecture, on n’a pas l’impression que c’est un minimum, mais un absolu
Le 09/08/2022 à 17h03
C’est une solution logicielle ?
Le 09/08/2022 à 17h16
L’article ne parle des spares que dans le cas du RAID5. C’est pourtant utilisable avec l’importe quel RAID (sauf le 0 évidement)…
Au passage, je me posais la question, je viens de vérifier : En raid soft Linux, il y a moyen de partager un (ou plus) spare entre plusieurs grappes.
Maintenant qu’on n’y a plus de port SATA de dispo sur la carte mère, il manque un article conseils pratiques sur les cartes controlleur SAS (Occasion ou neuf ? Firmware IT ou IR ? JBOD ? HBA ? Chauffe ?)…
Le 09/08/2022 à 20h46
Prends un contrôleur SAS éprouvé et colle des câbles 1XSAS->4XSATA
type du lsi d’occasion ou une sas3008, une perc330
Le plus chiant, c’est si t’as une carte qui ne fait pas jbod, ben tu fais autant de raid un disque que nécessaire…
Ça va te coûter entre 100 et 200e et franchement, tu seras tranquille.
Le 10/08/2022 à 05h56
En cas d’achat d’une carte, il vaut mieux en prendre une d’occasion c’est vrai.
J’ai réussi à faire une affaire avec une LSI avec 4 ports pour un peu plus de 100€.
Je suis retourné voir les prix dernièrement et c’est plus la même histoire.
Le 09/08/2022 à 17h45
Au top, bel article !
Est-ce que vous evoquerez le ZFS dans un autre article pour comparer avec les RAID ?
Le 09/08/2022 à 18h23
On pourrait parler de CEPH aussi du coup
Le 09/08/2022 à 20h28
Les raids btrfs sont intéressant aussi car plus souple (usage de disque de taille différente possible). Je fait du raid 1 avec et ça marche pour le moment bien.
Le calculateur raid btrfs pour tester:
https://www.carfax.org.uk/btrfs-usage/
Le 09/08/2022 à 19h16
En effet, rien n’est inscrit sur les disques de spares, on ne fait que déclarer au système quels disques il peut utiliser. Et les RAID étant indépendants, on peut utiliser 2 fois le même, le premier qui tombe en panne le prendra. A ta place je ferais cependant un essai de double panne pour vérifier quand même qu’il ne se mélange pas, mais je ne pense pas.
Pourquoi SAS et pas SATA ? On trouve des contrôleurs PCIe évidemment mais aussi M.2, ces derniers ayant l’avantage d’être très petits (à peine plus que la taille des ports), on peut en monter plusieurs sur une carte d’adaptation PCIe vers plusieurs M.2 et ainsi avoir jusqu’à une vingtaine de ports SATA sur un seul port PCIe, utile pour des cartes mères petit format.
Attention par contre, ce type de contrôleur ne fonctionne pas toujours sur le M.2 intégré aux cartes mères, même quand le type est le bon (clé M). Je me suis fait avoir alors que sur une carte PCIe vers M.2, ça marche.
Le 09/08/2022 à 19h28
Oui, comme l’est sans doute le système SHR de Synology.
Le 09/08/2022 à 19h33
Bonne question ! Tout simplement parce que, lorsque je cherche des cartes SATA, je tombe surtout sur des chinoiseries de marque improbable ou inconnue, avec 4 ports, et peut-être reconnue par Linux et FreeBSD… ou pas. Pour pas beaucoup plus cher, on trouve des cartes SAS d’occasion et de marques reconnues, battle-tested, avec 8 ports et un support Linux et FreeBSD sûr.
Les cartes contrôleurs SATA grand-public, j’ai déjà testé : J’en ai pas un bon souvenir.
Le 09/08/2022 à 19h57
Essaie de trouver le nom du chip qui est dessus. Comme chinoiseries par exemple on trouve quantité de JMicron JMB585 à 5 ports, en PCIe et M.2, qui sont des chips très utilisés depuis longtemps dans les produits finis de toute marque tels que les adaptateurs USB vers SATA. Je ne garantis pas que ce soient les meilleurs chips du monde niveau performances, mais ils marchent correctement et je n’ai rien relevé d’anormal lors de mes quelques tests de perfs.
On trouve du Marvell aussi, une marque qui a très bonne réputation, mais je n’ai pas testé. Et du AsMedia aussi, mais là je ne connais pas.
Je déconseille par contre les chips qui multiplient les ports SATA (JMB575 principalement), en plus du support hardware et software plutôt hasardeux, même quand tout est bien configuré dans le mode FIS le plus efficace, ça supporte très mal un disque qui lâche sur un port. J’avais voulu utiliser ça mais j’ai abandonné vu le résultat du test.
Les cartes PCIe avec plus de 5 ports utilisent souvent ce genre de chip en plus du chip SATA principal donc attention. En M.2 par contre il n’y a pas ce problème, donc si une chinoiserie dit que c’est du JMB575 sur du M.2, et qu’on voit bien en plus sur la carte qu’il n’y a qu’un chip, c’est que le chinois était bourré et c’est un JMB585. Y a pas la place de mettre 2 chips et 5 ports en M.2 2280 de toute façon.
Problème de support, ou carrément mauvais fonctionnement ?
Le 09/08/2022 à 20h13
Merci pour cet article très intéressant.
A titre personnel, je fais du raid 5 software sous linux avec mdadm et par rapport au raid hardware, ça a l’avantage d’être très souple pour migrer d’un type de raid à un autre.
Un petit exemple, au bout de quelques années, quand notre raid est trop petit, on veut en faire un plus grand avec des plus gros disques mais on veut transférer les données existantes sur le nouveau sans tout perdre (en général :) ) mais dans la tour on peut se retrouver en manque de place. Mdadm permet de commencer un raid 5 dégradé (donc avec 2 disques en raid 0), ce qui permet de copier les données de l’ancien raid sur le nouveau puis on enlève le vieux raid et rajoute le disque manquant du nouveau raid.
Les raid hardware sont parfois propriétaires donc migrer un raid d’un controlleur hardware d’une marque vers une autre n’est pas toujours possible. Avec le raid software linux, à partir du moment où les disques sont reconnus par le système ( à priori tous ), ça marchera.
Le 09/08/2022 à 20h25
Pour ma part les disques en trop sont posés à côté de la tour le temps des tests et du transfert. C’est pas souvent et pas longtemps donc ça ne me gêne pas.
C’est pour ça que je ne veux plus de RAID hardware, désormais ce sera soit mdadm, soit btrfs, soit zfs, je vais tester les 3.
Le 09/08/2022 à 20h28
vivement un prochain article sur les LUN iSCSI/FC et l’utilité des hot spares
PS: c’est pas expliqué dans l’article mais les RAID 5E et 5EE sont du RAID 5 non standard avec 1 disque en hot spare (le E venant de Enhanced), le hot spare étant intégré aux RAID et son espace étant présent dans l’array (à la fin de chaque disque pour R5E, et mélangé à chaque niveau pour le R5EE)
Le 10/08/2022 à 05h57
Le ZFS est un système de fichier, comme le BTRFS ou le REFS. C’est le RaidZ qui lui est affilié. C’est un RAID 5 maison, parité multiple (a la carte) avec les écritures d’index/inodes qui se font en dernier.
Le 10/08/2022 à 06h08
Ils existent en théorie, je suis d’accord. Mais en pratique ? Par exemple mdadm sous Linux ne connaît que le RAID6 avec deux disques :(
Le 10/08/2022 à 08h16
Il y a une erreur pour le raid 10. On peut très bien n’avoir que 2 disques (mais il faut bien ajouter par lots de 2 disques). C’est ce que j’utilise: j’ai créé directement un raid 10 au lieu d’un raid 1, pour pouvoir un jour ajouter des disques.
Le 10/08/2022 à 09h08
Sur des NAS et SAN, on peut non seulement se mettre en RAID-5 ou RAID-6 et rajouter à côté un (ou plusieurs) disque(s) de secours (hot spare), dédiés comme tels qui prennent automatiquement le relai si l’un de’s disques actifs dans la grappe devient défaillant.
Le 10/08/2022 à 09h23
ASMedia il faut faire attention:
Il y a des bugs dans le chipset qui déconnecte un disque dans certains cas:
https://patchwork.kernel.org/project/linux-pci/patch/[email protected]/
=> Kernel assez récent obligatoire
Le 10/08/2022 à 09h24
Qu’est-il dans la vrai vie ? J’ai l’impression que le raid a de plus en plus mauvaise réputation parmi les vieux admin. (genre une coupure de courant sur un raid équipé de batterie, mais la batterie morte silencieusement) Bref, certains ne veulent plus s’embêter et ne jure que par la sauvegarde.
De notre coté, on préfère le raid hardware (15 min pour changer un disque), alors que le raid soft peut être beaucoup plus long à réparer (il faut refaire la géométrie du disque, le déclarer : rien n’est automatique). D’ailleurs, c’était un problème de btrfs : la gestion d’un remplacement de disque serait hyper chiante.
Concernant les calcul de parité en reed-solomon plutôt que des XOR, minio, le serveur S3, le propose. Avec 4 serveurs et 4 disques par serveur, on peut perdre un serveur ou un disque par serveurs. Cela peut faire un object storage intéressant pour la sauvegarde ou les gros fichiers volumineux.
Le 10/08/2022 à 09h53
J’aime bien le concept mais le fait que ce soit pas libre & dispo dans Linux est un no-go pour moi.
Payer une licence pour accéder a mes données, pour moi on est pas loin du ransomware :-) Même si bien sur là c’est un choix.
Le 11/08/2022 à 12h18
Peut-être que SnapRAID, qui est libre et dispo sous Linux, te conviendrait mieux. Je l’utilise sur mon NAS.
Le 10/08/2022 à 10h02
Merci pour cet article, très instructif dans mon cas qui ne connaissais que les raid 0 et 1
Le 10/08/2022 à 11h19
Merci pour l’info, on va éviter alors, même avec un kernel récent, les bugs dans un chip c’est jamais rassurant.
Le 10/08/2022 à 11h44
Dans ce cas c’est pas un RAID 10 en fait. C’est l’outil qui le présente comme ça pour palier à de futur évolution. Mais on peu effectivement changer de configuration RAID selon les cas. Chez HPE il me semble qu’on peu migrer de 5 vers 6 ou 0 vers 1 etc…
Du coup tu monte 2 grappes en 1 avec un HDD “défaillant” ?
Le 10/08/2022 à 14h04
Alors, j’ai au un adaptateur USB SATA à base de JMicron, et qui bloquait sur un truc, je ne me souviens plus de quoi, mais après des recherches, il y avait un bug sur le chipset ou un problème de support Linux. Donc JMicron, je suis refroidi.
Et pour la carte PCI, perf pas terrible et ports mécaniquement très fragiles.
C’est bien le type de matos ce que j’ai repéré, ce serait parfait pour mon NAS. Je note pour le JBOD, merci ! J’ai aussi vu qu’il est conseillé de prévoir un ventilo supplémentaire pour ce type de carte, ça chauffe et c’est prévu pour des serveurs avec un bon flux d’air, qu’on ne trouve pas forcément sur un PC classique.
Le 10/08/2022 à 16h36
Globalement, sur un usage serveur, mets un flux d’air permanent pour tous les composants un peu calorifique. Mets tous les spots de ventilation possible en vitesse idle, et roule ma poule.
Le 10/08/2022 à 14h56
Je viens de vérifier, parce que tu m’as fait douter.
Wikipedia
En fait, j’utilise du «Linux software RAID10» (sous Debian), qui n’est pas tout à fait du RAID10 standard. Je ne savais pas.
Le 10/08/2022 à 16h43
Pour ma part, sur une carte RAID SAS avec un radiateur, jamais eu de problème de chauffe sans flux d’air directement dessus mais c’est pas froid non plus. Je pense qu’il ne faut pas grand chose, après sur PC on peut souvent mettre un ou 2 ventilos sur le bas de la face avant, y a moyen que ça suffise.
Le 11/08/2022 à 08h19
Juste pour dire que l’effort de NXI pour proposer ce genre d’article tech fait plaisir !
Merci
Le 11/08/2022 à 09h53
Non justement, les disques peuvent être lus indépendamment sur tout système pouvant lire une partition XFS.
Le 11/08/2022 à 13h55
Oh merci de l’info !
J’avais raté ça.
Du coup effectivement, Unraid est intéressant. Un peu cher mais vu que c’est à vie….. (enfin, jusqu’à
ce qu’ils se fassent racheter)
Oh merci de la découverte !
Le 11/08/2022 à 15h55
Merci de même, encore un truc à ajouter à ma liste à tester.
Le 13/08/2022 à 09h58
Peut-être mais c’est dommage que le RAID5/6 ne fonctionnent pas (des bugs jamais résolus), sinon j’aurais sûrement utilisé cette solution.
Pour ma part, je viens de tester, au départ le module noyau plantait direct avec des stacktraces pleines de xxx_panic dans le log noyau. Mes recherches sur le net font peur, avec plein de résultats récents de gens stressés qui essaient de remonter leur pool avec leur module qui plante et plus moyen d’accéder aux données, et des comportements différents selon les machines. Finalement c’était une spécificité liée à ma distribution, ce qui confirme la fin de ma phrase précédente et n’est pas un bon point pour moi.
Je crois que le fait d’être un module noyau mais non intégré au noyau ne pose pas que des problèmes idéologiques de licence, mais aussi de réels problèmes techniques. L’autre risque étant de se retrouver un jour coincé avec une version spécifique du noyau si pour n’importe quelle raison le développement de ZFS ne suit plus celui du noyau, comme pour un module proprio en fait. Vraiment dommage.
Finalement, entre BTRFS qui sait pas faire correctement du RAID à parité depuis des années, et les problèmes ci-dessus sur ZFS (que je ne jette pas totalement non plus mais ça commence mal), je suis pas beaucoup plus avancé qu’avant pour remplacer mon RAID5 classique.
Le 14/08/2022 à 11h15
Je me permets de te conseiller d’utiliser LVM, qui a une excellente intégration avec MDADM.
Ca permet de faire du RAID par partition: pour ma part, je mets 32Go en RAID10+spare(1 ou 2), puis le reste du disque en RAID6. Ça fonctionne et c’est éprouvé.
Le 13/08/2022 à 11h29
En tout cas, ZFS/RAIDZ avec du proxmox ça semble pas mal, pour l’utiliser depuis quelques temps. C’est pour ça que j’en parlais… Histoire que NXI fasse un retour dessus pour d’autres utilisations.
Le 13/08/2022 à 20h37
Tu as déjà essayé avec un noyau récent ? (Donc pas ubuntu, même le 22)
Le 14/08/2022 à 19h49
C’est pas le problème d’essayer, la doc officielle de BTRFS dit elle-même qu’il ne faut pas utiliser le RAID5 à cause de cas spécifiques mal gérés. Du coup ça reste risqué de passer outre.
J’utilise déjà MDADM, ça marche bien en effet, mais je cherchais à voir si quelque chose d’autre pouvait corriger les corruptions silencieuses. BTRFS et ZFS le permettent, mais pour BTRFS le RAID5 est douteux, et pour ZFS il y a le module à maintenir et compiler séparément et des performances pas terribles avec les petits fichiers.
J’ai découvert au passage dm-integrity, qui permet d’ajouter des checksums de toutes sortes aux secteurs du disque, et renvoie une erreur de lecture si ça ne correspond pas au lieu de renvoyer des données fausses. En le plaçant entre MDADM et chaque disque, on obtient du RAID avec vérification à la lecture comme ZFS et BTRFS le font. Par contre il faut absolument placer les checksums ailleurs que sur les disques de données (sur un SSD par exemple, c’est petit), sinon ça rame comme c’est pas permis.
Le 15/08/2022 à 14h10
Le 15/08/2022 à 14h18
Le 16/08/2022 à 09h26
Je n’en doute pas, tout comme on trouve plein de gens qui n’ont eu aucun problème avec BTRFS, ainsi que plein de gens qui ont perdu leur données avec l’un ou l’autre. Honnêtement, après pas mal de recherche, j’en suis arrivé la conclusion que les 2 fonctionnent quand on utilise leurs fonctionnalités stables (plus facile pour ZFS que pour BTRFS) et ont chacun quelques fonctionnalités que l’autre n’a pas.
Euh pas du tout, il avance comme ZFS et est aussi utilisé à grande échelle par certaines entreprises, je peux citer Facebook et surtout Synology dans tous leurs NAS. Mais il est plus jeune et son développement a été chaotique, surtout au début, car ayant voulu à l’époque avoir et très vite autant voire plus de fonctionnalités que ZFS, c’est parti un peu dans tous les sens et il faut encore aujourd’hui faire le tri dans les fonctionnalités qui marchent et celles qui ne marchent pas. Pour ça, la doc officielle et la page wikipedia sont bien utiles.
Si c’est de ça dont tu parles, l’ajout de disques pour augmentation de taille de volume RAID est déjà implémentée même si c’est un ajout assez récent (et BTRFS l’a aussi), par contre il a un fonctionnement bizarre qui fait que les anciennes données restent à l’ancien format jusqu’à ce qu’elles aient été réécrites. Donc l’augmentation ne se fait que sur l’espace libre sauf à lire/réécrire toutes les anciennes données.
Et pour ma part, j’ai vraiment des problèmes de performances avec les petits fichiers, surtout en lecture, c’est 2 fois à 3 fois plus lent que n’importe quelle autre configuration de RAID5 à 4 disques. Et la suppression de ces fichiers est 100 fois plus lente (sans exagérer, 50s au lieu de 0.5s dans mes tests, confirmé par bonnie++). Si tu as une astuce pour améliorer ça je suis preneur.