Facebook indique que l’origine de sa panne lundi incluait une tâche de maintenance de routine qui a mal tourné qui a rendu ses serveurs DNS indisponibles, mais tout d’abord, l’ensemble du réseau fédérateur de Facebook s’était écrasé.
Pour Pour aggraver les choses, la perte du DNS a rendu difficile pour les ingénieurs de Facebook d’accéder aux gadgets dont ils avaient besoin à partir d’un autre emplacement afin de rétablir le réseau. Ils ont donc dû se rendre dans les centres de données pour redémarrer manuellement les systèmes.
Cela a ralenti les choses, mais elles ont été beaucoup plus réduites car les centres d’information ont des protections en place pour rendre la falsification difficile – pour n’importe qui. « Ils sont difficiles d’accès, et dès que vous y êtes, le matériel et les routeurs sont conçus pour être difficiles à modifier même lorsque vous y avez physiquement accès », selon un site de blog Facebook composé par Santosh Janardhan, le vice-président de l’ingénierie et de l’infrastructure de l’entreprise.
Il a fallu du temps, une fois les systèmes ramenés, le réseau est revenu.
La restauration des services destinés aux clients qui s’exécutent sur le réseau a été un autre processus prolongé, car les réactiver à un moment donné pouvait provoquer une autre série de plantages. « Des centres de données spécifiques signalaient des baisses de la consommation d’énergie de l’ordre de dizaines de mégawatts, et inverser soudainement une telle baisse de la consommation d’énergie pourrait tout mettre en danger, des systèmes électriques aux caches », a écrit Janardhan.
In tout, Facebook était en panne pendant sept heures et 5 minutes.
Entretien de routine désagréable
Pour commencer la panne, Facebook mettait simplement une partie du réseau de la fondation hors ligne pour l’entretien. « Au cours de ces travaux de maintenance réguliers, une commande a été émise dans le but d’évaluer la disponibilité de la capacité dorsale mondiale, ce qui a accidentellement supprimé toutes les connexions de notre réseau de base, détachant avec succès les centres d’information Facebook dans le monde entier », a écrit Janardhan.
Ce n’était pas la stratégie, et Facebook avait même un outil en place pour comprendre les commandes qui pourraient déclencher un échec aussi dévastateur, mais cela n’a pas fonctionné. « Nos systèmes sont développés pour examiner des commandes comme celles-ci afin d’éviter de telles erreurs, mais un bogue car l’outil d’audit l’a empêché d’arrêter la commande de manière appropriée », selon Janardhan.
Lorsque cela s’est produit, le DNS a été condamné.
Le DNS était un point de défaillance unique
Une réponse automatique au crash de la dorsale semble être ce qui a détruit le DNS, selon Angelique Medina, responsable du marketing des articles chez Cisco ThousandEyes, qui assure le suivi du trafic Web et des interruptions.
Le DNS, ou service de noms de sites d’annuaires, réagit aux questions sur la façon d’assimiler les noms Web aux adresses IP, et Facebook héberge ses propres serveurs de noms DNS. « Ils ont une architecture dans laquelle leur service DNS est augmenté ou réduit en fonction de l’accessibilité du serveur », explique Medina. « Et lorsque la disponibilité du serveur est devenue absolument nulle en raison du fait que le réseau est tombé en panne, ils ont mis hors service tous leurs serveurs DNS. »
Cette mise hors service a été réalisée par les serveurs de noms DNS de Facebook envoyant des messages au protocole d’entrée de frontière Internet ( BGP) qui continuent à comprendre les routes à utiliser pour atteindre des adresses IP spécifiques. Les routes sont régulièrement commercialisées auprès des routeurs pour qu’ils continuent d’exister sur la façon de diriger correctement le trafic.
Les serveurs DNS de Facebook ont envoyé des messages BGP qui ont désactivé les routes commercialisées pour eux-mêmes, ce qui rend difficile la résolution du trafic. quoi que ce soit sur le réseau fédérateur de Facebook. « Le résultat final était que nos serveurs DNS sont devenus inaccessibles même s’ils étaient toujours fonctionnels. Cela a rendu impossible pour le reste d’Internet de découvrir nos serveurs », a écrit Janardhan.
Même si les serveurs DNS étaient toujours accessibles depuis Internet, les consommateurs de Facebook auraient perdu le service parce que le réseau qu’ils tentaient d’atteindre s’était écrasé. Malheureusement pour Facebook, ses propres ingénieurs ont également perdu l’accès aux serveurs DNS, qui étaient nécessaires à leurs plates-formes de gestion à distance pour atteindre les systèmes de fondation en panne.
« Ils n’utilisent pas leur service DNS simplement pour leur client -face aux maisons Web », déclare Medina. « Ils l’utilisent également pour leurs propres outils et systèmes internes. En le supprimant complètement, cela a empêché leurs opérateurs de réseau ou leurs ingénieurs d’accéder aux systèmes dont ils avaient besoin pour résoudre le problème. »
A une architecture plus robuste aurait des services DNS doubles afin que l’un puisse sauvegarder l’autre, a-t-elle déclaré. Par exemple, Amazon, dont AWS fournit un service DNS, utilise 2 services externes – Dyn et UltraDNS – pour son DNS, selon Medina.
Leçons à découvrir
Le incident révèle ce que les meilleures pratiques de mise en réseau suggèrent comme une lacune de l’architecture de Facebook. « Pourquoi leur DNS a-t-il été un point de défaillance unique ici ? » elle dit. S’il y avait une défaillance DNS sans DNS de sauvegarde, une interruption prolongée pourrait en résulter, « je pense donc qu’avoir un DNS redondant est un gros avantage. »
Une autre observation générale est celle de Medina concernant les interruptions d’autres fournisseurs de services. « Souvent, avec ces interruptions, il existe de nombreuses interdépendances au sein de leur réseau qu’une personne, un petit problème dans une partie de son architecture de service totale rencontre un problème, et après cela, cela a en quelque sorte cet effet en cascade », déclare-t-elle.
« De nombreuses entreprises tirent parti de nombreux services internes, et ce faisant, il peut y avoir des effets inattendus. C’est peut-être plus pour les techniciens, mais je pense que cela mérite d’être mentionné. »
.
Toute l’actualité en temps réel, est sur L’Entrepreneur
