S3 Files : Amazon transforme les buckets S3 en système de fichiers
S3 Files : aux frontières du stockage, les données sont ailleurs
Illustration : Flock
Le 09 avril à 14h10
Amazon Web Services vient d’annoncer le lancement de S3 Files, « un nouveau système de fichiers qui connecte de manière transparente n’importe quelle ressource de calcul AWS à Amazon Simple Storage Service (S3) ». Cette solution utilise d’autres technologies Amazon (EFS par exemple) et ne fonctionne donc que sur le S3 d’Amazon, pas avec d’autres stockages « S3 compatibles ».
S3 Files : Amazon transforme les buckets S3 en système de fichiers
S3 Files : aux frontières du stockage, les données sont ailleurs
Illustration : Flock
Amazon Web Services vient d’annoncer le lancement de S3 Files, « un nouveau système de fichiers qui connecte de manière transparente n’importe quelle ressource de calcul AWS à Amazon Simple Storage Service (S3) ». Cette solution utilise d’autres technologies Amazon (EFS par exemple) et ne fonctionne donc que sur le S3 d’Amazon, pas avec d’autres stockages « S3 compatibles ».
Logiciel
Logiciel
5 min
S3 est, pour rappel, du stockage objet lancé par Amazon il y a 20 ans et qui est depuis devenu un standard de fait largement utilisé à travers le monde. Next utilise du S3 par exemple pour le To de stockage offert avec votre abonnement (et plus en fonction de votre ancienneté). S3 a beau être lancé par Amazon, le stockage maison S3 déployé par les hébergeurs sur leur propre infrastructure ne dépend d’aucune manière d’Amazon, qui n’a donc aucun accès aux données.
Revenons au fonctionnement du stockage S3, qui utilise des objets et des buckets. Un objet représente n’importe quel type de donnée (texte, vidéo…) et les objets sont réunis dans des conteneurs appelés buckets. Pour aller plus loin, nous avons pour rappel publié un dossier complet sur l’histoire et le fonctionnement de S3.
Stockage S3 vs système de fichiers : des différences fondamentales
Le fonctionnement du stockage S3 est différent des systèmes de fichiers classiques sur plusieurs points, comme le rappelle Sébastien Stormacq d’AWS dans le billet d’annonce de S3 Files : « Mon analogie préférée était de comparer des objets S3 à des livres dans une bibliothèque (on ne peut pas modifier une page, il faut remplacer tout le livre) alors que des fichiers sur votre ordinateur peuvent être modifiés page par page ». Pour modifier quelques octets dans un objet de 5 Go, il faut réécrire la totalité des données.
Selon l’entreprise, son nouveau service est le premier à « offrir un accès complet et performant à vos données S3 par un système de fichiers ». Les modifications faites sur la version système de fichiers sont automatiquement répercutées dans le bucket S3 (et vice-versa), avec des contrôles sur la synchronisation. S3 Files peut être associé à plusieurs ressources, « permettant le partage de données entre les clusters sans duplication ».
Les buckets S3 sont ainsi accessibles depuis Elastic Compute Cloud (EC2), Container Service (ECS), Kubernetes Service (EKS) et des fonctions AWS Lambda. Dans sa foire aux questions, Amazon précise que seuls les « general purpose buckets » sont compatibles avec S3 Files, pas les Tables, Vectors ou « directory buckets ».
S3 Files surfe sur NFS 4.1 et utilise POSIX
Les objets S3 sont accessibles « sous forme de fichiers et de répertoires, prenant en charge toutes les opérations du Network File System (NFS) v4.1 + telles que la création, la lecture, la mise à jour et la suppression de fichiers ». Amazon ajoute que « S3 Files utilise les permissions POSIX pour les fichiers et les répertoires ».
Ce n’est pas juste une présentation sous la forme d’une arborescence comme peuvent déjà le faire des clients S3, mais un changement plus en profondeur pour avoir un « vrai » système de fichiers, avec la gestion qui va avec. L’accès simultané à des données est géré avec une cohérence NFS close-to-open.
Amazon revendique des performances élevées avec son S3 Files, qui est basé sur Amazon Elastic File System (EFS) avec une latence de l’ordre de la milliseconde pour les données actives, c’est-à-dire celles déjà présentes dans le cache de S3 Files.
La synchronisation peut prendre « quelques minutes »
Attention, par contre à la synchronisation des données avec S3 qui prend du temps, comme l’indique AWS dans son exemple : « Lorsque je fais des mises à jour de mes fichiers dans le système de fichiers, S3 gère et exporte automatiquement toutes les mises à jour sous forme de nouvel objet ou de nouvelle version d’un objet existant dans mon bucket S3 en quelques minutes. Les modifications apportées aux objets du bucket S3 sont visibles dans le système de fichiers en quelques secondes, mais peuvent parfois prendre une minute ou plus ».
S3 Files utilise AWS Identity and Access Management (IAM) pour la gestion des contrôles d’accès et du chiffrement, avec TLS 1.3 lors du transit et un chiffrement au repos via Amazon S3 managed keys (SSE-S3) ou une clé de l’utilisateur avec AWS Key Management Service (KMS). Le billet de blog donne des exemples et des détails techniques. De la documentation est disponible par là.
S3 Files est dès à présent disponible dans toutes les régions AWS. Le service n’est évidemment pas gratuit : « Vous payez pour la portion de données stockée dans votre système de fichiers S3, pour les opérations de lecture de petits fichiers et toutes les opérations d’écriture sur le système de fichiers, ainsi que pour les requêtes S3 lors de la synchronisation des données entre le système de fichiers et le bucket S3 ». Les tarifs sont détaillés sur cette page (en anglais seulement pour le moment).
Commentaires (12)
Abonnez-vous pour prendre part au débat
Déjà abonné ou lecteur ? Se connecter
Cet article est en accès libre, mais il est le produit d'une rédaction qui ne travaille que pour ses lecteurs, sur un média sans pub et sans tracker. Soutenez le journalisme tech de qualité en vous abonnant.
Accédez en illimité aux articles d'un média expert
Profitez d'au moins 1 To de stockage pour vos sauvegardes
Intégrez la communauté et prenez part aux débats
Partagez des articles premium à vos contacts
Abonnez-vousModifié le 9 avril à 16h16
Edit : @SébastienGavois est ton ami pour comprendre.
Edit 2 : le sous-titre aussi.
Le 9 avril à 14h48
Le 9 avril à 15h01
Tiens question : Le stockage de Moji (donc NXI) est il chiffré sur le mode E2E ?
Le 9 avril à 15h28
Le 9 avril à 16h00
Modifié le 9 avril à 17h07
J'ai pas encore réussi à passer le s3fs gocrypté monté depuis Next (encore merci pour ton tuto / script) proprement à un volume docker (... pour le monter en tant que local storage dans un Nextcloud).
Le 9 avril à 16h27
Le 9 avril à 23h00
Le 10 avril à 11h22
Le 10 avril à 12h02
Le 10 avril à 11h28
- S3FS (via FUSE)
- Mountpoint-S3 (Un remake de S3FS par AWS)
- JuiceFS (utilise S3 pour stocker les blocs des fichiers)
- Goofys (pas d’acces aléatoire, mais utile dans certains cas)
La nouveauté doit être les performances, d’habitude utiliser un FS par dessus du S3 c’est une mauvaise idée.
Modifié le 10 avril à 18h17
Je sais, je pinaille.
Signaler un commentaire
Voulez-vous vraiment signaler ce commentaire ?