11 月 11 日 14:46 到 20:31 UTC(北京時間當晚 22:46 到次日 04:31),AWS 東京區(ap-northeast-1)先後出現介面報錯、新實例啟動失敗,以及新實例和改過網路設定的實例連不上網,問題主要集中在一個可用區 apne1-az1,前後約 5 小時 45 分鐘。AWS 的事件頁面列出了 37 項受影響的服務,包括 Lightsail、ELB、NAT 閘道、RDS、ECS 和 EKS。AWS 多次強調已經在執行的實例不受影響:機器本身照常執行,出問題的是建立和變更這類操作。
AWS 通告裡的時間軸(UTC)
- 15:40:首條通告,介面錯誤率上升,啟動失敗集中在 apne1-az1。
- 16:40:已找到根本原因。受影響可用區裡 EC2 和 EBS 的 CloudWatch 警示轉入「資料不足」(Insufficient Data),按這個狀態報警的警示可能觸發;DescribeInstanceStatus 介面也回傳資料不足,AWS 讓客戶以自己的監控資料為準。ECS 和 Fargate 任務啟動失敗,ELB 建立變慢,NAT 閘道的建立和解除關聯失敗。
- 17:38:出現恢復跡象,CloudWatch 資料恢復正常。
- 18:54:出現新問題:apne1-az1 裡新建或修改過的實例連線異常,影響新開實例、新建叢集、自動擴展群組、閘道和 VPC 閘道終端節點;已有資源的連線和實例之間的通訊不受影響。
- 19:54:AWS 建議客戶到另外兩個正常的可用區 apne1-az2、apne1-az3 開新實例,並且不要對受影響可用區裡的現有實例做會影響連線的改動,例如掛載或卸除網路卡和閘道、修改 VPC 對等連線。
- 21:11:宣布問題解決。
結案說明講了什麼、沒講什麼
按 AWS 的結案說明,第一段影響是 14:46 到 17:46,表現為介面限流或回傳 5XX 錯誤、實例啟動失敗,有些 RunInstances 呼叫回傳成功,實例卻沒起來,直接變成 TERMINATED。第二段是在介面恢復之後,新開的實例和改過網路設定的現有實例連不上,原因是負責下發 EC2 實例網路變更的內部子系統出現延遲,AWS 說這和根本原因有關;20:31 問題完全解決。AWS 建議客戶重試失敗的請求。至於根本原因到底是什麼,說明裡沒有寫;截至 11 月 18 日,AWS 的事後總結頁面上也沒有這次事件,最新一篇仍是 2025 年 10 月美東那次。
對自己的伺服器有什麼啟發
- 區域出問題時,最先壞的往往是開新機器、改網路這類操作。依賴自動擴充容量、或者打算出事時臨時開機的,指令碼要能重試,也要能換到別的可用區或區域。
- 「沒有資料」既不等於「當機」,也不等於「正常」。警示要把這兩種狀態分開處理,並且準備一套從外部探測的監控,比如在另一台機器上定時 ping 和請求網頁,方法見用 ping 和 mtr 測延遲與丟包。
- 故障期間別去動網路設定。AWS 這次明確建議不要掛卸網路卡、不要改對等連線,正常執行的機器一改反而可能斷開。
- 重要的業務在另一個地區留一份隨時能啟動的備份,比如東京為主、新加坡為備,見新加坡節點和VPS 備份策略;怎麼挑節點見如何選擇低延遲節點。