Entre 14:46 et 20:31 UTC le 11 novembre (de 22:46 ce soir-là à 04:31 le lendemain matin, heure de Pékin), la région AWS de Tokyo (ap-northeast-1) a connu des erreurs d'API et des échecs de lancement d'instances, puis des problèmes de connectivité pour les nouvelles instances et pour celles dont la configuration réseau avait été modifiée, principalement dans une seule zone de disponibilité, apne1-az1, pendant environ 5 heures 45 minutes. La page d'événement d'AWS recense 37 services touchés, dont Lightsail, ELB, NAT Gateway, RDS, ECS et EKS. AWS a souligné à plusieurs reprises que les instances déjà en cours d'exécution n'étaient pas affectées : les machines ont continué de tourner, et ce qui a cassé, ce sont les opérations de création ou de modification.

La chronologie des avis d'AWS (UTC)

  • 15:40 : premier avis ; taux d'erreurs d'API élevés, avec des échecs de lancement concentrés dans apne1-az1.
  • 16:40 : cause racine identifiée. Les alarmes CloudWatch pour EC2 et EBS dans la zone touchée passaient à l'état Insufficient Data, si bien que les alarmes configurées pour se déclencher sur cet état pouvaient sonner ; l'API DescribeInstanceStatus renvoyait aussi Insufficient Data, et AWS a conseillé aux clients de s'appuyer sur leur propre supervision. Les lancements de tâches ECS et Fargate échouaient, le provisionnement ELB était retardé, et les workflows de création et de dissociation de NAT Gateway échouaient.
  • 17:38 : premiers signes de rétablissement ; les données CloudWatch remontent de nouveau correctement.
  • 18:54 : nouveau problème : des soucis de connectivité pour les instances nouvellement créées ou modifiées dans apne1-az1, touchant le lancement de nouvelles instances, la création de nouveaux clusters, les groupes Auto Scaling, les passerelles et les points de terminaison de passerelle VPC ; la connectivité vers les ressources existantes et le trafic entre instances n'étaient pas affectés.
  • 19:54 : AWS a conseillé aux clients de lancer les nouvelles instances dans les deux zones saines, apne1-az2 et apne1-az3, et de ne pas effectuer de modifications susceptibles d'affecter la connectivité des instances existantes dans la zone touchée, comme attacher ou détacher des interfaces réseau ou des passerelles, ou modifier le peering VPC.
  • 21:11 : résolu.

Ce que dit le résumé de clôture, et ce qu'il passe sous silence

Selon le résumé de clôture d'AWS, la première période d'impact s'est étendue de 14:46 à 17:46 et s'est traduite par une limitation des API (throttling) ou des erreurs 5XX et par des échecs de lancement ; certains appels RunInstances renvoyaient un succès, mais les instances ne démarraient jamais et passaient directement à l'état TERMINATED. Pendant la seconde période, une fois les API rétablies, les instances nouvellement lancées et les instances existantes dont la configuration réseau avait été modifiée ne parvenaient pas à se connecter, ce qu'AWS attribue à des retards dans un sous-système interne chargé de propager les changements réseau des instances EC2, retards liés à la cause racine sous-jacente ; tout était résolu à 20:31. AWS recommande de relancer les requêtes ayant échoué. Quant à la nature réelle de la cause racine, le résumé n'en dit rien, et au 18 novembre la page des résumés post-incident d'AWS ne contient aucune entrée pour cet événement ; la plus récente reste celle de l'incident de US East d'octobre 2025.

Les leçons pour vos propres serveurs

  • Lorsqu'une région rencontre des problèmes, ce qui casse en premier, ce sont souvent des opérations comme le lancement de machines et les modifications réseau. Si vous comptez sur l'auto-scaling, ou si vous prévoyez de lancer des machines pendant un incident, vos scripts doivent prévoir des nouvelles tentatives et un moyen de basculer vers une autre zone ou une autre région.
  • « Pas de données » ne veut dire ni « en panne » ni « tout va bien ». Traitez ces deux états séparément dans vos alertes, et gardez une supervision qui sonde depuis l'extérieur, par exemple des pings et des requêtes de pages programmés depuis une autre machine ; voir tester la latence et la perte de paquets avec ping et mtr.
  • Ne touchez pas à la configuration réseau pendant un incident. Cette fois, AWS a explicitement déconseillé d'attacher ou de détacher des interfaces et de modifier le peering ; modifier une machine saine peut la déconnecter.
  • Gardez dans une autre région une copie de secours de vos services importants, prête à démarrer à tout moment, par exemple Tokyo en principal et Singapour en secours ; voir notre nœud de Singapour et les stratégies de sauvegarde d'un VPS, et pour le choix des nœuds, choisir un nœud à faible latence.