« Internet est coupé, je n'ai plus rien qui fonctionne ? » est peut-être une question que vous avez entendue hier soir. En réalité, tous les services Facebook étaient inaccessibles : le réseau social, Instagram, Messenger et WhatsApp qui font partie des services les plus utilisés au monde.
Si certains ont pensé à une attaque, il n’en était rien. Il s’agissait bien d’une panne, consécutive au déploiement d’une mise à jour d’entretien pour les routeurs de l’entreprise. Elle était si énorme que même les équipements internes étaient inaccessibles, bloquant notamment les techniciens car leurs badges n’étaient plus validés par les systèmes de sécurité.
Que s’est-il passé ? La mise à jour a entrainé une suppression de toutes les routes BGP (Border Gateway Protocol). Le BGP est au cœur de l’architecture d’Internet, puisque si l’on part du principe qu’il s’agit d’un réseau de réseaux, BGP en est la colle : il assure la visibilité entre les éléments. Sans ces routes, les serveurs DNS de l’entreprise ont été rendus inaccessibles et le reste du monde n’a plus su où trouver les services Facebook.
La cascade de problèmes a commencé vers 17h40 (heure française) : les routes BGP disparaissent et les serveurs DNS de Facebook ne répondent plus. Rapidement tout s’enchaine et l’intégralité des services deviennent inaccessibles, quelle que soit la plateforme. Cloudflare, dit s'être aperçu que le résolveur DNS 1.1.1.1 n’arrivait plus à résoudre facebook.com, au point de se demander s'il n'y avait pas un problème de son côté. Les équipes comprennent vite cependant que la panne vient de Facebook.
Cette panne a de multiples conséquences pour d’autres services et infrastructures, dont celles de Cloudflare et de Google. Les DNS maisons, respectivement 1.1.1.1 et 8.8.8.8, enregistrent des pics colossaux de requêtes, les utilisateurs tentant de passer par eux pour accéder aux services Facebook. L’activité est jusqu’à 30 fois supérieure à la normale, avec de nombreux échecs à la clé.
Dans son bilan de l’incident, Cloudflare indique également une hausse conséquente des requêtes vers d’autres services, comme Twitter, Signal ou même TikTok. Signal a confirmé hier soir, tweetant que des millions de personnes avaient fraichement débarqué sur le service, avec quelques soucis à la clé.
Tout a commencé à revenir doucement à l’ordre aux alentours de minuit. Mark Zuckerberg a publié peu de temps après des excuses : « Désolé pour l’interruption, je sais combien vous vous appuyez sur nos services pour rester connectés avec les personnes à qui vous tenez ». Dans un court billet, Facebook confirme que tout est revenu à la normale et renouvelle ses excuses.
La société indique qu’il faudra encore du temps pour analyser les conséquences de cette panne, et s’assurer que les conditions qui l’ont engendrée ne se reproduisent plus. Cette panne a le mérite de remettre un éclairage cru sur Facebook en tant que SPOF (Single Point Of Failure). Non seulement Messenger et WhatsApp sont les deux messageries les plus utilisées au monde, mais de nombreux autres services utilisent ou proposent Connect pour simplifier l’authentification.
Le fait que la disparition d’un acteur unique ait de telles répercussions invite à la réflexion.
Commentaires (80)
#1
« Internet est coupé, je n’ai plus rien qui fonctionne ? » On se serait cru chez moi hier soir… c’est effrayant à quel point Facebook est devenu le point d’entrée pour internet…
#1.1
e nfait pas tant ue ça, les gens recherchent www.facebook.com sur www.google.fr
#2
Les gens ont perdu le fil entre internet en tant que réseau et les services qui y sont.
Ma femme me demandait si la box déconnait parce qu’elle arrivait pas à aller sur Instagram… alors qu’on regardait Netflix peinards et que j’étais à côté en train de surfer…
#3
Rien remarqué.
#4
https://nitter.net/GGreg/status/1445094583319334926
#5
Cela invite en effet à la réflexion, trop de monopole et trop de gens comptent sur ses services.
De même, heureusement que NXI est là pour combler mon ignorence
#6
Il n’y a pas que “les gens” qui ont perdu le fil entre internet et les services… il y a aussi ceux ayant perdu le fil tout court.
Donc, on “regarde Netflix peinard” mais, dans le même temps, l’un cherche à se connecter sur Instagram et l’autre surf…
Ouais. Magnifique.
Bon, je taquine mais mais c’est assez triste quand même…
#7
C’était #quitfacebookday et on ne m’a rien dit ?
(m’en fout j’y suis pas)
#8
Il n’y a pas eu de panne d’internet chez moi hier soir.
#9
Perso, j’ai rien remarqué… Je n’utilise pas les rézosocio.
Donc je dirais que le fait que vous soyez accro à Facebook, Twitter, Signal et TikTok devrait vous pousser à la réflexion.
#9.1
Signal est un réseau social ? Je croyais que c’était juste une appli de messagerie. ;-)
#10
Attends c’est rien ça, et ça arrive de vouloir faire plusieurs choses en même temps, un jour ma mère m’a raconté qu’elle était chez une amie, son fils était avec sa copine, un moment ils étaient dos à dos en train de chatter sur leurs smartphones, peut-être étaient-ils carrément en train de s’envoyer des messages alors qu’ils étaient ensemble, ça m’a rappelé un épisode de American Dad
#10.1
Combien de fois ça m’est arrivé de chatter avec une personne à 2 mètres de moi parce que dans la conversation il y avait également une personne à 400 km. Y’a quoi de drôle la dedans ?
#10.2
“Bouh les jeunes ils savent plus communiquer, ils sont tous tellement obnubilés par leur
journalwalkmangameboytéléphonefacebooktiktok qu’ils ne voient plus du tout ce qui se passe autour d’eux!”(mention à choisir selon la décennie contre laquelle vous voulez râler)
#10.3
et oui, les gens se moquent du monde actuel, mais cela ne change rien. Il y a toujours eu des moyens de communication depuis très longtemps (par exemple: les dessins dans les cavernes, les signaux de fumée).
Certaines personnes préférant communiquer via ces méthodes qu’avec un inconnu ou une personne qu’ils n’aiment pas à côté d’eux.
#10.4
Depuis la démocratisation du smartphone avec accès pas cher à internet les jeunes ne ce parlent vraiment plus… Heureusement qu’il y à encore des résistant mais ça forme deux groupe vraiment très distinct.
Les accroc au smartphone ne sont ni plus ni moins que des drogués au réseaux sociaux.
#10.5
Yes… Ça me rappelle une photo des années 30/40/50 avec 20 personnes dans un véhicule (bus ou metro, je sait plus)… Tous le nez dans leur journal
#11
#11.1
De rien.
Si les gens étaient capables de s’en tenir au temps en temps, à la rigueur, force est de constater que c’est peu le cas.
Personnellement je trouve que c’est un manque de savoir vivre/politesse/cequevousvoulez d’avoir quelqu’un collé à son écran lors d’une conversation.
De toute façon j’ai réglé le problème il y a longtemps
#11.2
Sauf s’ils discutent tous les trois ensembles.
#11.3
Parce qu’une discussion peut se tenir à trois et pas seulement à deux ?
#12
Les GTB/GTC ne sont pas autonome pour les accès des techniciens ?!
Ils ont rampé dans les faux planché ou le circuit de refroidissement pour entrer ?
==== vie perso ====
J’ai reçu Telegram par ma compagne me disant qu’internet déconnait.
Je lui ai répondu par Telegram que non : rocket league fonctionnait très bien pour moi; que c’était ses m qui ne fonctionnaient plus
Heureusement que télégram ne dépend pas de facebook, nous n’aurions eu que nos cordes vocales pour communiquer… L’horreur !
#13
Que 6h ? Dommage !
#13.1
Pour une detox, une semaine serait bien.
#14
Peut-être qu’ils ne voulaient pas prendre le risque d’être entendus, tout bêtement. Ou whatever autre raison valable.
Chacun gère ses intéractions sociales comme il/elle veut, et c’est pas parce que les usages changent que c’est forcément mal ou risible.
#15
De même, sauf si la personne me dit que c’est important je veux bien attendre.
En chat groupé ? Pourquoi pas oui, ça peut donc être un mixte des deux
J’avoue que c’est un bon point auquel je n’avais pas pensé.
#16
Heureusement que le scandale Cambridge Analytica était le début de la fin de Facebook !
Je trouve ça vraiment idiot de n’utiliser que Facebook Connect. En plus de perdre l’accès à tous ses services si Facebook est down, c’est aussi un joli carnage si on fait piquer ses identifiants.
#17
Pas facile d’expliquer l’humour :
watch?v=e5HlLlTuOnQ
Cependant, ce cas là est franchement risible, n’en déplaise aux «nouveau Talibans».
#17.1
En quoi deux ados qui utilisent leur smartphone dos à dos est risible ? C’est une situation qui n’a même pas vocation à être drôle ou humoristique. Surtout que dans la situation décrite il ne sait même pas si les mômes échangent entre eux c’est juste une supposition pour faire rentrer un exemple dans son argumentaire.
#17.2
Je n’explique pas l’humour. Si tu veux tenter de comprendre tu regardes le lien que j’ai en grande partie donnée plus haut…
Si c’est une situation qui devient courante, ça ne lui enlève rien de son caractère absurde.
Enfin, tu ne me diras jamais de quoi j’ai le droit de rire ou non.
#17.3
Rigoler de deux personnes dos à dos qui échangent sur Smartphone c’est drôle mais ce n’est pas la réalité de la situation qu’il décrit. Il décrit juste deux ados qui sont dos à dos sur un smartphone le reste est une invention. Si du vent te faire rire bien à toi.
#17.4
Ne confond pas ton cas, avec celui qui est rapporté :
En fait on ne sait pas précisément et c’est drôle, n’en déplaise aux pissent-vinaigre.
#17.5
D’accord j’avais pas compris. Je m’excuse. Chacun est effectivement libre de rire de situations fantasmées.
#18
Un truc qui m’a fait halluciner hier : la mention que l’accès aux bâtiments (aka: contrôle d’accès) se repose sur les services DNS facebook. Ce qu’il ne faut JAMAIS faire : le contrôle d’accès se doit toujours d’être sur un réseau séparé, ne serait-ce que pour un souci de sécurité.
Hier soir, j’ai vu mention que les ingés de FB ne parvenaient pas à rentrer dans les bâtiments et/ou dans les salles serveurs, faute de systèmes injoignables.
#18.1
Ce ne sont pas les serveurs DNS qui ont foiré, ce sont les routeurs qui se sont échangé des tables de routages foireuses par BGP après un upgrade. Même si le contrôle physique est sur un réseau distinct, les routeurs ont merdé pareil sur ce réseau-là.
#19
6h de répit c’est peu.
On va attendre les 120 journées pour crier Ô victoire.
#20
#21
Disons que tu n’es pas inscrit. De là à dire que tu n’y es pas….
#21.1
ouch ! la piqûre salé x)
#22
C’est vrai que les conversations coquines entre deux ados doivent forcément être entendu par tout le monde…
Je ne sais pas ce qu’ils s’envoyaient, cela avait sans doute une raison avec le fait qu’ils utilisent leur smartphone. On peut me dire qu’ils pouvaient se montrer des photos en était l’un à côté de l’autre sur un seul smartphone, avoir une conversation secrète en se chuchotant des mots à l’oreille.
Et alors, s’ils préfèrent être comme ça pour être plus tranquille, ils ont le droit et je les comprend tout à fait. C’est loin d’être drôle.
Ce qui serait amusant, c’est que le fils et la mère s’échangent des messages classique par smartphone alors qu’il sont l’un à côté de l’autre. Exemple: “met la table”
#23
Je n’ai nullement voulu paraître vexant avec mon exemple, la situation m’a paru à première vue quelque peu absurde, mais FennNaten m’a donné un bon contre-argument, peut-être qu’ils ne voulaient tout simplement chatter à voix haute pour ne pas être entendue, un point qui m’était sortie de la tête
C’est un meilleur exemple en effet.
#24
Sur BFM TV, ce non événement a visiblement plus d’importance que les écoliers qui ne pouvaient participer à leurs cours.
#25
Donc ceux qui ne pensent pas comme toi sont des pisse-vinaigre… Intéressant.
En fait la situation n’est ni absurde, ni drole, il s’agit simplement d’un moyen de communication entre 2 personnes que tu n’as pas l’habitude d’utiliser. Et certaines personnes qui ont du mal à se mettre à la place des autres, n’arrivent pas à comprendre … les autres.
2 ados dos à dos avec un téléphone peuvent:
Autant de situations ni absurdes, ni droles
Le commentaire le plus intelligent de la journée
#26
Il ne s’agit pas d’un non événement.
Au contraire même, cela a touché des millions de personnes, peut être pas toi mais beaucoup d’autres: il est donc normal d’en parler.
Et au contraire il faut en parler, ne serait-ce que pour montrer ce qui est dit dans la news: le SPOF.
Dans des pays comme l’Inde ou le Brésil, Whatsapp supplante presque le téléphone classique et est utilisé pour tout ou presque.
Pour d’autres personnes, FB est la porte d’entrée du Web: lien, vidéo, identifiant, etc.
#26.1
Tu as manqué le fond de mon message. Je dis que la chaîne n’a pas assez parlé de celui des écoliers, par comparaison avec cet événement ci.
Je suis d’accord qu’il est normal d’en parler, mais il n’est pas normal que d’autres sujets passent à la trappe sur la même chaîne.
#27
Faux: il s’agit simplement de 2 temps distincts dans leur vie.
Qui peut parler H24 avec quelqu’un ? il n’y a simplement pas suffisamment de sujets pour cela.
Il y a 30 ans on disait la même chose de la télé, il y a 50 de la radio, etc. etc.
#27.1
Je pense que tu manque d’imagination et de patience…
C’est surement ça qui te pousse à chaque fois poster des commentaires très binaires.
Il y à 30 ans quand j’avais 20 minutes de transport et qu’ont était à court de sujet avec un pote alors ont regardais simplement le décors. Ça permet de développer l’imagination et la patience. Et même à plusieurs tout le monde ne participait pas en permanence.
Et si le trajet était effectué en solo alors c’était patience + imagination forcée.
Maintenant les gamins ne font même plus l’effort de ce parler car la plupart à les yeux rivé sur un écran. Ceux en solo regardent rarement le paysage car la aussi rivé sur l’écran.
Et avec la 5g ça va être encore bien pire quand il y aura le forfait qui ira bien pour avoir de la vidéo à gogo. Plus besoin de réfléchir ton écran le fait pour toi. Plus besoin de lire, juste regarder. Je te parle même pas de l’impact des vidéos courtes sur le cerveaux des gamins.
Quand ces gamins la auront des gamins, ça sera surement la dernière génération…
#28
Pareil ici : rien vu du tout
#29
Tu es vraiment mal comprenant, à une époque je pensais que tu jouais au troll, mais en fait il semble que ce soit une incapacité de comprendre ce que tu lis, du coup tu comprends de travers.
Une panne de courant durant 24 heures et ce sera encore plus drôle de voir des gens hystériques par ce qu’ils ne savent pas vivre sans leur mobile.
Le commentaire le plus drôle de ce fil, par ce qu’en donnant des points tu montres que tu te crois malin, facile en comprenant de travers.
#29.1
24h sans tel me dérangerait pas, par contre boulot me ferait chier vu que c’est 100% ordinateur. Si pas de courant, faudra que je pense à prendre un bouquin ou canard a lire.
#30
Il regarde BFMTV et se rend compte que ce n’est pas un baromètre des choses importantes pour lui.
#RévélationChoquante
#31
Tout va bien, Zuckerberg s’est excusé. Il est très fort pour ça.
#32
+1 avec un paquet de 0 derrière.
#33
#34
Ouf, son équipe peut enfin travailler normalement et repasser à la préparation des prochaines excuses.
#35
Avec son physique de victime ça passe bien.
#36
6h, c’est trop court pour apprécier la chose. En plus, personne ne m’a prévenu, c’est dommage.
#37
Va peut être falloir que j’ouvre un compte pour être aussi au courant de ce qui se passe.
#38
Aucun problème sur Mastodon.
(vive la décentralisation et le Fediverse)
#39
Wow, y a quand même beaucoup d’élites qui regardent le bas peuple d’en haut sur NXI :)
#40
Si seulement cela pouvait être permanent…
#41
Facebook a embauché du personnel de Microsoft , le spécialiste des mises à jour foireuses ?
#42
Même les pires conn*ries que j’ai pu faire au taf, ça n’a pas duré si longtemps…
#43
Je suis Groot. 😁
#44
Hé ! Ho ! Reste poli s’il te plait.
#45
yes, mais il a pas tord, le controle d’access ne devrait pas dependre d’elements exterieurs
#45.1
ben… Le contrôle d’accès ne dépend pas d’éléments extérieurs. Il dépend de routeurs sur un réseau interne. Si ces routeurs déconnent, même s’ils sont dans un réseau totalement séparé (et ils le sont, ne croyons pas être plus malins que les gestionnaires IT de Facebook, merci de ne pas systématiquement présumer que ce sont des imbéciles) hé bien le lecteur de badge ne peut plus envoyer le message à l’ouvre-porte, même en connaissant son adresse IP…
#46
S’ils sont bel et bien sur un réseau séparé, alors les gars de l’IT ont quand même salement merdé en balançant une maj à la fois sur le réseau de prod et le réseau oob…
Mais ne t’en fais pas, l’imbécilité retombera sans aucun doute sur le stagiaire ;)
#46.1
Tout ceci n’est que pure supposition. Rien ne dit qu’ils ont fait une connerie monumentale. Peut-être que le problème ne s’est pas manifsté tant que “seulement” 80% des routeurs étaient migrés, peut-être que c’est deux heures après que tous les routeurs fussent migrés que la panne s’est déclenchée. Vous n’en savez rien, mais vous êtes tous persuadés que si c’était vous qui aviez été le responsable IT, vous auriz fait ce qu’il fallait.
#47
Ben si le réseau prod et le réseau oob étaient séparés (comme on le fait en DC ou chez les telcos en general), une modif sur la prod n’aurait tout simplement pas pu impacter le réseau oob.
Mais en effet, peut être que les réseaux sont bien séparés puisque le réel problème n’était à priori pas là.
En l’occurrence le probleme ici cest que l’identification pour rentrer dans les locaux se faisait via le réseau de prod, au lieu d’être sur un système indépendant (comme en DC) avec “backdoor” via un oob.
C’est ça pour moi la connerie.
#47.1
Où as-tu lu que l’identification n’était pas sur un système indépendant ? Ou bien est-ce juste une supposition de ta part ?
#48
Tout ça pour dire qu’au final ils ont payé les conséquences de la centralisation qu’ils essaient d’imposer.
#49
Ok ce n’est pas clairement dit…:
https://www.mail-archive.com/[email protected]/msg67266.html
https://twitter.com/sheeraf/status/1445099150316503057
Mais si le système est indépendant la coïncidence est plus qu’étrange!
Et de mémoire (1) les employés doivent utiliser des identifiants FB pour accéder à leurs postes en interne, du coup ça ne m’étonnerai pas qu’ils aient la même méthode pour accéder aux bâtiments.
(1) : pas infaillible, potentiellement biaisé, et surtout j’ai la flemme / pas le temps de retrouver les sources la tout de suite, et peut-être que ce n’est plus le cas depuis ;)
#49.1
Mwoui, alors. Mais quand-même, il semble que c’est un peu gros comme SPOF. Ce n’est pas parce qu’ils doivent utiliser leur identifiant FB sur leur badge que les portes en interne sont connectées au SSO public de facebook.com
Je continue à penser qu’ils ont un serveur d’identité interne qui ne sert que pour les employés, et que lui aussi était affecté par la panne des routeurs.
Ou alors de fait ils sont très cons.
#50
Le système d’accès ne serait donc pas indépendant
#50.1
Même s’il est totalement indépendant, même si la liste des accès autorisés est répliquée dans chaque lecteur de badge, il nécessite des routeurs… Ce serait étonnant que tout passe par un long 10base2 de 20km qui court dans tout le bâtiment.
#51
Le syndrome du commentateur de canapé (pas toi, mais certains à qui tu réponds).
Connu mais c’est tellement ça les commentateurs régulièrement :
https://www.commitstrip.com/fr/2016/06/02/thank-god-for-commenters/
#51.1
C’est là qu’on est pas d’accord : si le système d’accès passe par des routeurs servants d’autres réseaux (par exemple le réseau de prod sur lequel on pousse une maj foireuse), il n’est pas indépendant.
M’enfin bon je pense que c’est une question de point de vu sur où on place la barre pour définir l’indépendance d’un système.. et chez moi c’est assez strict
Et concernant ton histoire de 10base2, en l’occurrence ça ne m’étonnerai pas que dans certains endroit, ce soit un ‘simple’ bus qui court sur quelques km : je ne sais pas si c’est la norme mais je connais plus d’un site industriel où les systèmes de détection incendie / intrusion fonctionnent comme ça, sans aucun équipement de routage.
Le fauteuil de mon bureau est plus confort que mon canap’
Et saches que si je me permet de spéculer, c’est parce que j’ai des connaissance sur le sujet de part mon taf, même si je suis plus dans le milieu industriel “pur”.
Et ici, sous forme de critique, j’essaie surtout de comprendre ce qui a pu réellement mener à cette situation, pour m’en protéger et en protéger mes clients. Je lirai bien le post mortem de l’incident plutôt que de spéculer, mais j’ai comme l’impression qu’il n’y en aura pas…
#51.2
Moi je pense que les routeurs de contrôle d’accès sont physiquement déconnectés de la prod fb.com (probablement pas au point d’être airgappés, mais aucun routeur d’accès n’a de câble direct vers un routeur de prod). Ils ont testé sur un banc de test, ça a marché, ils sont venus avec une clé usb et pushé le nouveau firmware sur les routeurs du réseau du contrôle d’accès.
Ceci pendant qu’une autre équipe pushait sur les routeurs prod du réseau public de facebook.com.
Et c’est à ce moment que Murphy s’est mis à rigoler.
Mais, évidemment, ça aussi c’est pure spéculation.
#52
Le pire c’est que pour une boite de cette taille, et avec l’ami Murphy planqué au réfectoire, même sans réel problème de communication interservices, le coup des 2 interventions simultanées ce serait pas impossible… mais bon encore une fois sans post-mortem..
Mais en vrai si un jour on apprends que c’est ce qu’il s’est passé, j’arrête de croire aux fantômes des réseaux (je suis actuellement en autoformation d’exorcisme
) et je veux bien me remettre à accepter les coïncidences! 
Sacré Murphy quand même, il doit avoir de sacrés abdos avec les tranches de rire qu’il se paye!