11 月 11 日の 14:46 から 20:31 UTC(北京時間では同日夜 22:46 から翌朝 04:31)にかけて、AWS 東京リージョン(ap-northeast-1)で API エラーとインスタンスの起動失敗が発生し、続いて新しいインスタンスと、ネットワーク構成を変更したインスタンスで接続の問題が起きました。影響は主に 1 つのアベイラビリティーゾーン apne1-az1 に集中し、約 5 時間 45 分続きました。AWS のイベントページには、Lightsail、ELB、NAT Gateway、RDS、ECS、EKS を含む 37 のサービスが影響を受けたと記載されています。AWS は、すでに稼働していたインスタンスは影響を受けていないと繰り返し強調しました。マシンは動き続けており、壊れたのは何かを作成したり変更したりする操作でした。
AWS の通知に見る経過(UTC)
- 15:40:最初の通知です。API のエラー率が上昇しており、起動の失敗は apne1-az1 に集中していました。
- 16:40:根本原因を特定したとの発表です。影響を受けたゾーンでは EC2 と EBS の CloudWatch アラームが Insufficient Data(データ不足)の状態に移行していたため、この状態で発報するよう設定したアラームが鳴る可能性がありました。DescribeInstanceStatus API も Insufficient Data を返しており、AWS は顧客に自前の監視を頼りにするよう伝えました。ECS と Fargate のタスク起動は失敗し、ELB のプロビジョニングは遅延し、NAT Gateway の作成と関連付け解除のワークフローも失敗していました。
- 17:38:回復の兆しが見え始め、CloudWatch のデータが再び正しく報告されるようになりました。
- 18:54:新たな問題として、apne1-az1 で新規作成または変更されたインスタンスに接続の問題が発生しました。新しいインスタンスの起動、新しいクラスターの作成、Auto Scaling グループ、ゲートウェイ、VPC ゲートウェイエンドポイントに影響しましたが、既存のリソースへの接続とインスタンス間のトラフィックは影響を受けませんでした。
- 19:54:AWS は、新しいインスタンスは正常な 2 つのゾーン apne1-az2 と apne1-az3 で起動するよう勧め、ネットワークインターフェイスやゲートウェイのアタッチ・デタッチ、VPC ピアリングの変更など、影響を受けたゾーンにある既存インスタンスの接続に響く変更をしないよう呼びかけました。
- 21:11:解決済みとされました。
最終報告に書かれていること、書かれていないこと
AWS の最終報告によると、最初の影響期間は 14:46 から 17:46 までで、API のスロットリングや 5XX エラー、起動の失敗として現れました。一部の RunInstances 呼び出しは成功を返したものの、インスタンスは起動せず、そのまま TERMINATED になりました。2 つ目の期間では、API が回復した後も、新しく起動したインスタンスと、ネットワーク構成を変更した既存インスタンスが接続できませんでした。AWS はこれを、EC2 インスタンスのネットワーク変更の反映を担う内部サブシステムの遅延によるもので、根本原因に関連していると説明しており、すべてが解決したのは 20:31 でした。AWS は失敗したリクエストの再試行を推奨しています。根本原因が実際に何だったのかは報告に書かれておらず、11 月 18 日時点で AWS のイベント後の概要(Post-Event Summaries)のページにもこの件の項目はありません。最新の項目は今も 2025 年 10 月の米国東部のイベントです。
自分のサーバーへの教訓
- リージョンに障害が起きると、最初に壊れるのはマシンの起動やネットワークの変更といった操作であることが多いものです。オートスケーリングに頼っている場合や、障害中にマシンを起動するつもりの場合は、スクリプトに再試行の仕組みと、別のゾーンやリージョンに切り替える手段を用意しておく必要があります。
- 「データなし」は「ダウン」でも「正常」でもありません。アラートではこの 2 つの状態を区別して扱い、外部から確認する監視も用意しておきましょう。たとえば別のマシンから定期的に ping を送ったりページをリクエストしたりする方法で、ping と mtr で遅延とパケットロスをテストする方法で説明しています。
- 障害中はネットワーク構成に触らないでください。今回 AWS は、インターフェイスのアタッチ・デタッチやピアリングの変更をしないよう明確に呼びかけていました。正常に動いているマシンでも、変更すると接続が切れることがあります。
- 重要なサービスは、いつでも起動できるバックアップを別のリージョンに置いておきましょう。たとえば東京をメイン、シンガポールを待機系にする構成です。シンガポールノードとVPS のバックアップ戦略を、ノードの選び方については低遅延ノードの選び方をご覧ください。