Hier matin, on apprenait que SBG2 avait pris feu dans la nuit, au point d'être détruit. Il avait emporté avec lui une partie de SBG1. Un incident d'ampleur pour l'entreprise et ses clients, même s'il ne s'agit là que d'un des sites français du groupe. Une centaine de pompiers ont été mobilisés. Aucun blessé n'est à déplorer.
Comme à chaque événement de ce type, on a rapidement vu l'impact, avec de nombreux sites et services indisponibles. Certains sont vite revenus en ligne, comme celui de la plateforme open data du gouvernement. D'autres sont encore en panne, comme celui du CNNP qui, ironie de l'histoire, délivre les certifications APSAD.
D'autres ont simplement tout perdu, à l'image de Facepunch, éditeur du jeu Rust qui avait 25 de ses serveurs contenant la progression des joueurs dans les datacenters touchés. Aucune redondance ni sauvegarde n'avaient été mises en place, ils ont donc été remplacés.
De nombreuses questions se posent désormais sur ce qui a pu être à l'origine d'un tel incident, malgré les protections mises en place. Et bien que les experts en incendie poussent comme des champignons, notamment sur les réseaux sociaux, il faudra attendre les conclusions de l'enquête.
D'ici là, OVHcloud et ses clients vont être occupés à remettre en place leurs services. Dans une mise à jour publiée hier soir, la société a prévenu que les travaux nécessiteraient plusieurs semaines, avec un plan aux priorités établies.
Une communication détaillée avec une FAQ sera publiée dans la journée. Les sites de Gravelines et Roubaix sont mobilisés pour remettre en place les infrastructures perdues à Strasbourg avec des serveurs déjà en production. 10 000 nouveaux doivent être produits dans les semaines à venir.
L'équipe a accès au site depuis hier midi. Il doit désormais être sécurisé et nettoyé avant une remise en route, même pour les datacenters peu impactés (SBG3 et SBG4 sont saufs). SBG1 et SBG4 devraient revenir d'ici le 15 mars, SBG3 le 19 mars. Les services d'email de SBG2 étaient encore en cours de restauration hier soir.
OVHcloud invite ses clients à être méfiants avec les communications reçues par email, certains pouvant chercher à profiter de cette période pour envoyer des messages frauduleux. Il invite à suivre les publications de son site et de son compte Twitter.
Commentaires (40)
#1
#1.1
Je me demande si la première version de la brève incluait aussi “et dans les commentaires des sites d’actualité informatique” à la suite de cette phrase !
#1.2
On reste un espace en ligne comme un autre, même si ces mécaniques sont surtout amplifiées par les médias dit sociaux by design. Ce qui se produit ailleurs se produit aussi ici, mais ce n’est pas exclusif à nous, donc il n’y a pas de raison d’auto-centrer la remarque
#1.4
Je comprends bien, l’effet Dunning-Kruger est un biais cognitif qui ne touche pas que les INpactiens. Mais on a quand même quelques beaux spécimens ici !
#1.5
Commentaire à l’ironie cachée vraiment croustillante vu qu’il prétend connaître la supposée incompétence reprochée aux commentateurs qui n’ont fait, pour l’essentiel, qu’émettre des suppositions ou des évidences (sécurité incendie déficiente, ce qui est combustible prend feu, etc.).
On n’est jamais mieux servi que par soi-même je suppose.
Inclinons-nous quand même devant cette exemplaire auto attribution involontaire !
#1.6
Étant moi-même humain, il m’arrive d’être victime de ce biais cognitif. Comme nous tous. Mais oui, tu fais clairement partie de ceux que j’avais en tête en disant ça !
#1.7
C’est bien de l’admettre, d’autant que le commandant des opérations a reconnu (AFP) que « les planchers sont en bois, et le matériel informatique, bien chauffé ; ça va brûler », soit précisément ce qui a été (d)écrit dans l’autre fil.
Note aussi plus généralement que s’aventurer hors de son domaine de compétence conduit certes à faire des erreurs mais surtout à évoluer et ajouter à son stock de connaissances : attribuer un biais à ce processus est faire l’erreur fatale de confondre bilan et compte de résultats.
#1.8
Tu apprends de tes erreurs. C’est bien. Je pense que je vais faire la même chose.
#1.9
“De nombreuses questions se posent désormais sur ce qui a pu être à l’origine d’un tel incident, malgré les protections mises en place. Et bien que les experts en incendie poussent comme des champignons, notamment sur les réseaux sociaux, il faudra attendre les conclusions de l’enquête.”
Merci, j’ai ri…
#1.3
c’est ce que j’ai pensé en lisant ça XD
#2
+1, assez exaspérant de le constater.
#3
D’après ce que j’ai lu, les serveurs de jeu RUST ne concernaient que des serveurs temporaires qui étaient remis à zéro tous les mois. Le backup n’était donc pas prévu par design.
#4
Pourtant dans leur communications, il dise qu’il on perdu toute les données des joueurs de L’UE.
#4.1
Oui, mais en soit « ce n’est pas grave » car tous les joueurs sont reset entièrement soit hebdo, soit bi hebdo, ou lors des mises à jour du jeu.
Y’a aucune progression comme un RPG sur Rust. Donc très concrètement, pour eux, mis à part réinstaller des serveurs ce n’est pas très grave…
Des jeux comme Ark c’est plus chiant parce qu’un serveur peut rester up 1 an sans reset et là ça fout la mort.
Pour Rust c’est qu’un « full wipe » en avance en somme.
#4.2
Les serveurs jouables sont individuels, il y a simplement des serveurs officiels.
#5
Hmmm. Entre ça et d’autres data-centers qui prennent l’eau… Y’aura de quoi plaisanter quand l’enquête conclura.
Aller… je mets un jeton sur l’incendie d’origine électrique.
#5.1
cencore un Linky qui chauffe !
#5.2
+1
Plein, ca dépends quel prix on souhaite mettre
Il y a plusieurs types de détecteurs d’incendie : Température, fumée (optique), infrarouge (feu), gaz, etc. Chacun peuvent intervenir à un moment différent de l’incendie. Mais sans mesures permettant de retarder l’incendie, et sans mesure d’extinction, cela ne ressemblera qu’à un passager du Titanic voguant sur un canot de sauvetage et regardant désespérément sombrer le navire.
#5.3
Merci pour vos retours, c’est très enrichissant pour moi qui ne suis pas un expert du domaine.
#6
Bonjour, existe-t-il des matériaux/pièces à “retardement” d’incendie dans les datacenters ? merci
#7
Ca n’arriverait pas avec des datacenters submergés
:p ->[]
#8
#8.1
Comme te l’a dit “Billylebegue”. Il y a les gaz (ce bon vieux FM200 qu’on ne devrait plus vraiment retrouver de nos jours… ). Ce sont des dispositifs “déclenchés”. Donc sur alarme d’un capteur.
Aller… un complément avant que tu ne pose la question suivante.
En fait c’est pas vraiment la peine parce que ce sont les serveurs les plus dangereux et fragiles. Dans les DataCenter c’est principalement :
Maintenant il peut y avoir un incendie quand même du fait de la présence d’électricité (the famous “triphasé”). Éventuellement sur un défaut de climatisation qui ferait accumuler de la chaleur jusqu’à mise hors service automatique ou feu si défaillance. Mais ce qui prends feu ce ne sont pas les infrastructures inertes. Ce sont les équipements électriques et les serveurs.
Bref Tout est normé et on ne peut pas faire de DataCenter à moitié. Mais même avec toutes ces précautions il peut arriver des accidents/défaillances.
Ex: Un grand coup de bourre sur le réseau électrique et le panneau de distribution crame et ne fait plus office de bouclier pour ce qui est derrière. Les serveurs crament. Ca prends 3 secondes.
#8.2
Et tu as oublié un petit truc croustillant sur le triphasé : Une phase mal serrée sur l’arrivée du triphasé, HOP un arc électrique se forme, et on se retrouve avec du 380V dans les lignes en 220V. Les équipements encaissent (surprenant), surchauffent tant qu’à faire (surtout les alims et leurs charmants condensateurs prêts à exploser), et quand ca décide de péter, autant dire c’est d’une fulgurance mémorable…
#8.3
Ah ça, mon père électricien en sait quelque chose ! Cela s’était produit dans une usine, les dégâts ont été conséquents.
#9
Pas que dans ce genre de structure, ne serait-ce qu’un parking couvert/enterré les plafonds et murs ont un béton et des matériaux prévus pour retarder le plus possible la propagation de l’incendie dans le cas où un véhicule prendrait feu.
C’est pas miraculeux non plus, mais ça peut permettre à la structure de tenir le temps que les pompiers arrivent.
#9.1
Merci à vous (l’article sur la FDJ est intéressant). Oui mon idée était bien de retarder l’incendie le temps de l’arrivée des pompiers. Y aurait peut-être aussi un truc à faire avec des capteurs de température (genre un bond anormal, bien au dessus de ce que pourrait dégager un serveur par exemple), bref à explorer.
#10
On a des experts dans les commentaires de Next inpact. Et j’en fais partie, la preuve : le béton est conducteur de chaleur (la chaleur est l’un des trois éléments d’un incendie). Et je dirais aussi, les équipements électroniques sont composés de … ? plastique (comburant) et de métal (chaleur).
Le bois traité n’est pas plus comburant que le béton. C’est même plus isolant contre les incendies.
Voilà ma pierre aux commérages du web 2.0 #incendie #OVHcloud
#11
A part des serveurs de jeux vidéo (c’est triste pour eux mais bon, on s’en fout) il n’y a rien de plus grave sur les 29000 serveurs partis en fumée ? C’est confidentiel ou on pourra avoir une liste exhaustive des pertes ?
#11.1
Exhaustive, sérieusement ? Tu pars du principe que tous les possesseurs de serveurs qui ont été concernés sont prêts à l’annoncer publiquement, c’est peut-être un peu trop utopiste
#11.2
J’ai vu météociel.fr, jusqu’il y a peu, c’était une page 404
#11.3
Oui météociel a annoncé sur les réseaux sociaux depuis hier leur black out
#12
Nouveau bilan
https://twitter.com/olesovhcom/status/1370015661196460037
#13
Pour les curieux, voici un enregistrement de température d’un des serveurs (température CPU, j’imagine) : https://twitter.com/_Skunnyk_/status/1369638092810895366/photo/1
C’est assez glauque, mais montre bien ce qui s’est passé. Après il n’y a plus eu de données car les transmissions ont été coupées : se serveur s’en est allé dans le cloud…
#14
Du coup, on peut conclure que tout a cramé en 1h environ, largement de quoi faire un backup déclenché automatiquement lorsque la température augmente :)
#15
Meteociel, ce n’est pas une perte si le site ne fonctionne plus. Les mecs se prennent pour des dieux vivants, alors que quand ils ont raison sur le temps c’est qu’ils ne l’ont vraiment pas fait exprès…
#15.1
Je ne sais même pas qui ils sont
#15.2
Pour faire simple, c’est un gars de formation comptable, qui s’intéressait à la météo. il a fait un site “Météo” qui se basait originellement sur des stations météo amateur, sinon tout le reste ils le piquent à MétéoFrance et autres. Ce site à eu du succès, et du coup il a pris le melon.
Ce qui me fait rire, c’est que Meteociel est une société SASU enregistré sous le NAF Programmation informatique (6201Z) ce qui n’à rien à voir avec la météo
#16
#17
Selon certaines sources non officielles, ils seraient météorologues et concurrents de Meteo France. Dans les faits, ils sont plus proches de la divination à moitié foireuse..