Le 9 novembre, OVH subissait des incidents en cascade, menant à une perte de configuration sur des routeurs gérant ses liens optiques entre ses datacenters. En cause, un (vieux) bug logiciel dans les routeurs Cisco utilisés par l'hébergeur, qui les a depuis mis à jour.
La nuit dernière, l'entreprise a tenté de séparer en trois groupes ses équipements optiques de Roubaix, pour éviter une nouvelle panne générale de son réseau européen. À 20h50, Octave Klaba déclare que des équipements ont de nouveau perdu leur configuration, en préparant son intervention à 23h.
OVH a dû reconstruire les liens entre Roubaix et ses autres points de présence de zéro. Dans un tweet, il affirme que ces connexions sont tombées à 20h20, à cause d'un bug toujours présent dans les routeurs Cisco mis à jour.
Tous les liens seraient revenus vers 1h du matin. En attendant, l'hébergeur a abandonné sa maintenance, le temps de comprendre le problème avec le constructeur.
Commentaires (16)
#1
Bon les gars, ça va finir par se voir qu’on sait pas ce qu’on fait ^^
#2
C’est fou ça !
Comment une entreprise aussi grosse peut-elle négliger une telle intervention aussi lourde ? Des process auraient dû nécessiter la mise en place d’une maquette à l’identique en labo, et tester si ça marche, avant de le faire en production !
Autant une p’tite boîte, je comprendrais qu’on prenne des raccourcis, mais pas OVH !
Bref, OVH reste et restera de l’amateurisme, visiblement ils n’apprennent rien de leurs erreurs.
#3
sauf que c’est le matériel cisco qui est tout pourri, si leurs matos tien pas la route OVH peut pas suivre ! va falloir taper très très dur sur cisco la …
Après si je dis que ces routeurs cisco ne reset pas leurs configs suite a des bugs aléatoire on va me taxer de complotisme, mais des concurrents pourrai très bien exploiter des failles …
#4
#5
je vais filer le 06 de ma grand-mère @octave…
… y’ a moins de downtime chez elle avec sa ligne adsl que chez lui ; elle pourrait lui filer quelques conseils.
#6
Après OVH en soit je sais pas. Mais l’offre Kimsufi reste très compétitive. Alors je suis d’accord, le support client ne sert strictement à rien. Mais bon… pour quelques € par mois, tu as un truc potable, et si tu sais manager ton linux un minimum, t’as pas besoin d’eux.
#7
Ca fait des années que je suis chez OVH (depuis 2012 du mutu et depuis 2013 du VPS), et je n’ai eu que 2 interruption de service : celle de novembre, et une autre en fin de l’été (un soucis avec la machine hébergeant mon VPS) où OVH a été très bien : réponses claires et rapides du SAV, mise en relation avec le staff qui s’occupait du problème, résolution rapide.
" />
Bref, ça reste pour moi un très bon service, français qui plus est !
#8
” Pourquoi il n’y a que OVH qui a ce genre de problèmes avec les routeurs Cisco ? “ C est faux, tous ont les mêmes bug avec les mêmes constructeurs ( Cisco ou autres ) , si tu avais travaillé chez AWS tu le serais :)
” il suffit de regarder leur site “travaux.ovh.net” pour le comprendre, le nombre d’incidents est juste hallucinant. “ => C’est juste qu’avec les autres vous
n’avez pas autant de transparence sur les événements ou impacts .
Sais-tu ce qui c’est passé sur la panne mondiale d’Amazon le 27/02/2017 par exemple ??? moi j’etais down pendant 8 heures et je sais toujours pas pourquoi.
C’est vrai que c’est pénalisant pour nos services, mais je pense qu’il traverse une mauvaise passe.
Peace
#9
Je l’ai bien sentie passer la panne… Je bossais sur une application hébergée sur un VPS sur un datacenter Canadien d’OVH et la bande passante se chiffrait en Kb/s… Back to the 90s…
#10
A voir le fin mot de l’histoire quand même. Pour l’instant on a que la version d’OVH, pas celle de Cisco, peut-être y-a-t-il eu une fausse manip (ce qui est vite arrivé avec ce genre de routeur). De plus, à la base c’est OVH qui a utilisé du matériel Cisco au delà de ses capacités prévues, en envoyant sur une seule baie un trafic trop important.
Ce n’est pas pour rien qu’ils se dépêchent de vite scinder en 3 leur backbone après leur incident de novembre, ils avaient abusé et Cisco leur a bien fait comprendre qu’il fallait qu’ils régularisent et passe à la caisse (à 1M$ l’unité :p). Sauf que du coup ça c’est sans doute un peu fait dans la précipitation, d’où la possibilité que ce problème viennent d’abord d’OVH plutôt que du constructeur…
#11
J’ai remarqué une petite baisse de régime chez Soyoustart/Roubaix hier soir, je pensais pas à une nouvelle panne.
" />
J’éspère que ça va pas devenir une habitude
#12
Attention l’infra réseau d’un opérateur c’est pas celle d’une petite entreprise et il n’est pas toujours possible de reproduire une maquette d’un environnement en prod, de plus aussi complexe. ça arrive aussi aux autres SFR,Orange,etc… Concernant le matériel, il n’est pas toujours aisé d’être up to date surtout quand les équipements sont en production. Dernier points, les downtime, force est de constater que OVH comme les autres respectent les SLA.
#13
Attention ça va finir par se voir que OVH n’est pas crédible..
#14
Ben quoi, octave a dit pardon sur Twitter. Les gens, toujours à râler :(
#15
Tout à fait.
ça me rappel le problème de juin/juillet :
“Note baie est toute cassée, on a appelé le constructeur car son matériel est pourri”
quelques heures plus tard
“Oops, désolé, on n’avait pas remarqué qu’il y avait la clim qui coulait sur la baie, désolé ^^‘”
#16
je suis chez infomaniak je récupéré pas la tva il y en a pas en suisse
avantage pas de panne depuis 12 ans bloquante
personne forme sur leur produit
transparent sur tout les panne et on sait tout de suite que cela vien d’ orange
comme on a des problème de messagerie
j”ai un contrat de 2006 ou je suis pas limite en adresse mail j’en plus de 200
taille des boite mail illimitée
vraiment un plus pour infomaniak je travail plus avec 1and1 et ovh depuis l’ongtemp
impossible avoir un sav compétant chez eu j’ai trop de client qui on des probleme avec eu alors pas de probleme infomaniak