Le stockage de type objet est méconnu du grand public, bien qu'il serve de base à nombre des services que nous utilisons au quotidien. Et contrairement à ce que l'on pourrait penser, il ne s'adresse pas qu'aux développeurs. Voici un petit exemple avec la solution de Scaleway, qui propose 75 Go gratuits.
Lorsque vous accédez à des données sur votre ordinateur, un NAS ou même un serveur, vous utilisez le plus souvent ce que l'on appelle du stockage de type fichiers (File Storage). Hiérarchisé à travers une suite de lecteurs et de (sous-) répertoires, il permet de naviguer dans une arborescence qui fait désormais partie de nos habitudes.
Mais ce n'est pas la seule solution technique existante. On parle de Block Storage lorsqu'il faut accéder aux données à travers des blocs de taille définie, comme c'est le cas avec iSCSI. Des solutions qui ont l'avantage d'être performantes, notamment en termes de latence. Le stockage objet est une solution plus récente, aux nombreux avantages.
La première est sa simplicité d'accès. Pensée pour les développeurs, tout passe par des requêtes HTTP via une API. Mais elle profite également d'une grande flexibilité et le plus souvent d'une bonne réplication évitant la perte de données. Le tout pour un prix en général assez raisonnable pour des solutions classiques. Encore plus faible pour l'archivage.
Ce que l'on sait moins, c'est qu'il est très facile de l'utiliser au quotidien. Comment faire ? On vous explique.
Configuration et création d'un bucket
Pour cette introduction, nous avons utilisé l'offre Object Storage du français Scaleway. Elle est accessible depuis ses datacenters de Paris et Amsterdam. Elle a l'avantage d'être gratuite jusqu'à 75 Go. Ensuite, comptez 0,01 euro HT le Go, soit 10,24 euros HT le To (jusqu'à 499 To) par mois. Le même niveau de gratuité est appliqué pour le trafic :
Une fois votre compte créé, rendez-vous dans l'interface de gestion (Console). Celle-ci est plutôt claire et simple à prendre en main... mais malheureusement en anglais. La section Object Storage liste vos buckets ainsi que les objets qu'ils contiennent. Le tout sous la forme d'une petite interface les affichant comme des dossiers et fichiers.
Pour créer votre premier bucket il faudra lui choisir un nom, un datacenter (Paris ou Amsterdam), définir s'il est public ou privé. Dans le premier cas, n'importe qui peut y accéder. Privés, il faut disposer d'identifiants de connexion pour afficher ou non la liste des objets qu'il contient. Le même choix pourra être fait pour chaque objet.
L'URL type d'un objet est la suivante :
Paris : https://nom_du_bucket.s3.fr-par.scw.cloud/clé_de_l_objet
Amsterdam : https://nom_du_bucket.s3.nl-ams.scw.cloud/clé_de_l_objet
Cela implique que chaque serveur ne pourra avoir qu'un bucket avec un même nom. Il sera par exemple impossible que deux utilisateurs en créent un nommé « test_bucket » par exemple. N'hésitez donc pas à les préfixer selon vos besoins.
Mise en ligne et partage d'un premier fichier
L'interface proposée par Scaleway permet de mettre en ligne des fichiers via un simple glisser-déposer. Elle propose également de créer des dossiers. Comme nous l'avons vu, cela ne correspond à rien de réel mais facilitera sans doute la vie des utilisateurs débutants. À l'inverse, ils n'auront pas conscience de la spécificité du stockage objet.
On peut à tout moment modifier les paramètres d'un bucket, mais aussi lui ajouter des tags ou activer la gestion des versions. Ainsi, plusieurs objets pourront correspondre à une même clé, comme autant d'itérations d'un fichier. Attention, une fois cette possibilité activée, il n'est pas possible de revenir en arrière pour le moment.
Scaleway propose également la gestion du cycle de vie, pour une mise en archive automatique selon différents critères (âge et préfixe des objets) au sein de son service C14 Cold Storage (0,002 euro HT/Go/mois) :
Lorsque vous mettez un fichier en ligne, vous pouvez d'ailleurs choisir s'il est placé dans Objet Storage ou C14 Cold Storage. Attention, dans ce second cas le stockage est moins cher mais il faut initier une phase de récupération avant de pouvoir accéder aux données, ce qui n'est pas adapté à tous les besoins. Notamment pour un partage en ligne.
On apprécie que l'interface affiche quelques détails, comme la vitesse d'upload ou la progression. Une fois la procédure terminée, vous pouvez télécharger le fichier, mais aussi modifier sa visibilité, ses tags et métadonnées, son nom, le supprimer ou obtenir un lien de partage public. Par défaut, il expire au bout d'une heure, mais vous pouvez choisir la date et l'heure de votre choix. Il faudra par contre respecter un délai maximum d'une semaine (voir ci-dessous).
Attention, si le trafic entrant est gratuit, tout comme celui interne à l'infrastructure de Scaleway, le trafic vers l'extérieur est facturé 0,01 euro HT par Go après la première tranche de 75 Go par mois. Cela peut néanmoins être suffisant pour quelques sauvegardes ou des données à partager avec la famille et quelques proches.
Lorsque vous générez un lien de partage public, il doit forcément expirer en moins d'une semaine
Aller plus loin avec l'API, compatible S3
Bien entendu, cette simple possibilité de partager un fichier ne reflète qu'une toute petite partie des possibilités d'un service de stockage objet, pensé pour être accédé via une API ou des outils tiers.
Scaleway a d'ailleurs fait le choix de proposer une solution calée sur celle du service S3 d'Amazon Web Services. Une compatibilité partielle, mais qui ouvre les portes de nombreuses fonctionnalités : intégration à des NAS, services et autres petites applications. La pratique est courante : OVH, qui a opté pour OpenStack Swift comme solution technique fait de même. BackBlaze vient également d'annoncer la compatibilité S3 de son service B2 (10 Go offerts).
Commentaires (31)
Il serait donc possible de relier mon Nextcloud, qui supporte l’ajout de stockage externe (dont du S3) et qui est sur un VPS OVH n’ayant que 20 Go, à un Object Storage de Scaleway, me permettant d’augmenter mon espace de stockage de 75 Go sans frais ?
" />
Quelqu’un a des retours d’expérience sur le sujet ?
Par contre, l’API de Scaleway est utilisée avec un token global ayant un contrôle total sur le compte (par exemple, le token peut être utilisé pour supprimer tous les serveurs et toutes les données, ou faire exploser la facture en commandant plein de serveurs), attention à la sécurité de ce token !
Une gestion plus fine des permissions des tokens est prévue selon leur support.
Pour comparer, sur AWS, on peut créer des policies qui permettent de restreindre un utilisateur à un certain nombre d’actions sur les buckets et les clés dans les buckets.
Oui la partie gestion des droits n’est pas totalement implémentée dans l’API S3 d’ailleurs, mais effectivement le token global est un problème dans leur gestion des accès externes.
Perso, je te conseille de prendre un Scaleway Dev1S en VPS (par ce que sinon, tu paiera la bande passante sortante vers OVH dans l’object storage au delà d’un certain stade).
Personellement j’utilise docker, Traefik, et Nextcloud.
Pour l’installation avec S3, il faut lancer l’instance nextcloud, ensuite aller sur la page par défaut de configuration (pour que ça génère le config en php). Ensuite, modifier le config php pour inclure la directive en paramétrage pour stocker sur le storage S3. Et enfin, revenir sur la page web de configuration, mettre sa bdd, créer user/mot de passe.
L’instance est installée, le stockage S3 est utilisé. capacité “illimitée” au prix de la carte bleue.
Quelques use case sympa:
VPS scaleway + nextcloud + S3 storage : Nextcloud avec 75 go gratuits.
Sinon, backup de NAS. Mais je pense que ça chiffre beaucoup plus que de prendre un cloud grand public ou un compte “pro” illimité chez google/microsoft et d’y stocker de la data backup chiffrée.
Je me posais la même question… Ca paraît trop beau pour être vrai ! D’habitude c’est 5 ou 10 Go gratuits pour tester, pas plus.
Question idiote mais nulle part sur le site de Scaleway, ils ne parlent du chiffrement. Il me semble pourtant que c’est un point à prendre en compte pour du stockage chez un tiers ?
Qu’il y ait chiffrement ou pas, les données doivent être idéalement chiffrées côté client (ce que proposent le plus souvent les solutions de backup). Parce que même si tu as “chiffrement” marqué sur une page, tu ne maitrise pas de nombreux éléments (à quel niveau, comment c’est opéré, etc.).
Sinon l’object storage c’est quand même pensé pour de la dispo des objets, ce n’est pas là que tu cherches les procédures les plus paranos
Le stockage illimité ça n’existe pas ;) (et de mémoire les offres qui étaient proposées fût un temps ont été stopées un peu partout)
Pour ça que je tourne avec BackBlaze (certes, tu n’as pas du 75 Go gratuit, mais tu choisis vers quel bucket ton token a accès).
Je backup mon NAS le soir avec ça, ça fonctionne niquel.
Me semble que Google est illimité, mais throttle comme des salauds à partir d’un certains nombre de To envoyé (du coup tu peux envoyer de façon illimité vers chez eux, mais l’upload est fortement ralentie donc il te faudrait des siècles, mais ils peuvent dire “regarder, c’est illimité”
" /> ).
On est d’accord pour le chiffrement côté client
" /> Mais s’il est aussi chez l’hébergeur, je trouve cela plus rassurant.
Pour l’illimité, SpiderOak le propose toujours (mais l’offre n’est pas commercialisée tout le temps).
Oui après côté serveur c’est souvent un simple chiffrement des unités de stockage.
Niveau tarif, Amazon Glacier m’a l’air quand même vachement plus compétitif non?
Je n’y connais rien, je découvre et je dois dire que je suis très intéressé car je cherchais une solution de backup peu onéreuse pour 300Go de données (Photos, documents pro, …) qui sont actuellement stockés sur mon NAS (Raid 5).
Donc en gros, si mon NAS crashe (ou qu’on me le vole), je m’en tape du temps qu’il faudra pour récupérer mes données… 24/48/72h ce n’est pas un soucis, tant que je les récupère!
Je comptais chiffrer l’ensemble des données en utilisant ce logiciel de backup:
https://www.duplicati.com/
Duplicati marche du tonnerre, je l’utilise pour la sauvegarde de mon PC pro en chiffrant les données à l’expédition vers un cloud public.
Côté Object Storage OVH, celui-ci est utilisé chez un client pour qui je bosse pour externaliser des sauvegardes. Le coût est très faible pour l’envoi et la rétention (0.01€ HT/Go/Mois) et le surcoût n’est engendré qu’en cas de récupération avec facturation de la bande passante.
Je suis en train de voir ça aussi à titre perso pour la sauvegarde du serveur dédié que j’ai chez OVH. (avec un Nextcloud, sa base Postgres, et quelques autres conneries).
Pour sauvegarder à froid un NAS ça se présente comment ? sur DSM on peut installer l’app glacier pour amazon S3 ? même principe ?
Scaleway a aussi C14 qui est l’offre équivalente à Amazon Glacier
C’est évoqué dans le papier 😬
Les tarifs des services de Cloud sont plutôt en ligne avec les S3-like. Et encore comme dit le stockage froid est bien moins coûteux. Pour de la backup c’est quand même préférable amha.
Excellent article!
Depuis des mois justement j’ai ce projet de faire un backup externe de mon serveur de stockage (Debian) auto-hébergé vers un provider de Cloud dont Scaleway.
Pour l’outil de backup, j’ai commencé à me renseigner sur Restic qui a l’air pas mal du tout et qui fait du chiffrement côté client. La partie crypto a été passée grossièrement en revue par un cryptologue et ça tient la route apparemment.
Mais du coup, je me suis demandé comment ça fonctionne avec un provider comme Scaleway pour le passage Hot Storage <-> Cold Storage au bout de X jours quand il y a tout une couche de logique gérée par Restic qui manipule des repositories pour faire son versionning.
Question sur la grille tarifaire de Scaleway, c’est 75Go de hot storage gratuit *et* 75Go de cold storage (=150Go) ?
Pour les gens intéressés, quand on restaure un objet du cold storage, il doit forcément repasser par la case hot storage, ce qui augmente donc le prix.
Merci pour la news, ca fait plaisir de voir des boites françaises mises a l’honneur
L’offre de Scaleway est intéressante, même si encore imparfaite pour des usages en prod’ comme évoqué ci-dessus. Mais cela permet à chacun de se faire une idée des usages que l’OS permet, même au quotidien
" />
Ah oui, l’illimité n’existe pas. C’est sûr. Après, en tant que tel, je me serts du stockage onedrive pro de l’université pour réaliser certains backup chiffrés de quelques dizaines de go avec Duplicati :)
L’ObjectStorage, c’est la base de mon approche pour les backup perso que j’utilise depuis plus de 3 ans (sauf que j’utilise OVH au lieu de Scaleway) :
J’ai deux dossiers locaux à sauvegarder :
Pour gérer tout ça, j’utilise Duplicatiqui est configuré suivant :
Cela fonctionne plutôt bien pour un coût relativement bas par mois.
J’ai mis ça en place aussi sur le PC de mon père (pour lui, principalement des photos) et il est très satisfait.
Je suis allé voir les factures pour regarder, et en moyenne j’oscille entre 1.5 et 2€ par mois pour :
~55 Go de Hot Storage
~450 Go de Cold Storage
Autant dire que c’est imbattable niveau prix par rapport à toutes les autres solutions !
Je viens de comprendre l’intérêt de l’offre de Scaleway ( le coté immédiat à chaud + le coté sauvegarde à froid qui sont combinés).
Pour une sauvegarde depuis un NAS syno, pour cette offre combinée, vous préférez utiliser Cloud sync ou hyper backup ?
On en reparle bientôt ;)
Merci pour cette série d’articles.
Difficile de prendre une décision intelligente sur la sauvegarde hors-site quand on ne veut pas se plonger à fonds dans tous ces concepts. Synology C2 me paraît un peu cher pour un usage perso, mais ça a l’air overkill pour des sauvegardes « au cas où » (cambriolage, incendie ou grosse casse). Si vous pouvez nous donner des idées de tarifs selon le mode de tarification avec des scénarios exemples, ce serait super : sauvegarde incrémentale d’un volume de 1 To dont 50 Go sont modifiés par mois par exemple (chiffre complètement au pif). La tarification de Synology a l’avantage d’être très claire, mais du coup ça me paraît cher.
Vivement la suite !
TL;DR; c’est publié demain (mais sans exemple sur des volumes, chaque cas est différent et permet à tel ou tel d’être plus intéressant selon les besoins, chacun est assez grand pour utiliser une calculette). Mais on détaillera les grandes lignes avec assez d’info pour se faire une bonne idée de qui fait quoi et avec quels avantages/complexité de tarification
" />
J’ai hâte 
" />
Voilà
" />