11 月 11 日 14:46 到 20:31 UTC(北京时间当晚 22:46 到次日 04:31),AWS 东京区(ap-northeast-1)先后出现接口报错、新实例启动失败,以及新实例和改过网络配置的实例连不上网,问题主要集中在一个可用区 apne1-az1,前后约 5 小时 45 分钟。AWS 的事件页面列出了 37 项受影响的服务,包括 Lightsail、ELB、NAT 网关、RDS、ECS 和 EKS。AWS 多次强调已经在运行的实例不受影响:机器本身照常运行,出问题的是创建和变更这类操作。
AWS 通告里的时间线(UTC)
- 15:40:首条通告,接口错误率上升,启动失败集中在 apne1-az1。
- 16:40:已找到根本原因。受影响可用区里 EC2 和 EBS 的 CloudWatch 告警转入「数据不足」(Insufficient Data),按这个状态报警的告警可能触发;DescribeInstanceStatus 接口也返回数据不足,AWS 让客户以自己的监控数据为准。ECS 和 Fargate 任务启动失败,ELB 创建变慢,NAT 网关的创建和解除关联失败。
- 17:38:出现恢复迹象,CloudWatch 数据恢复正常。
- 18:54:出现新问题:apne1-az1 里新建或修改过的实例连接异常,影响新开实例、新建集群、自动扩缩组、网关和 VPC 网关终端节点;已有资源的连接和实例之间的通信不受影响。
- 19:54:AWS 建议客户到另外两个正常的可用区 apne1-az2、apne1-az3 开新实例,并且不要对受影响可用区里的现有实例做会影响连接的改动,例如挂载或卸载网卡和网关、修改 VPC 对等连接。
- 21:11:宣布问题解决。
结案说明讲了什么、没讲什么
按 AWS 的结案说明,第一段影响是 14:46 到 17:46,表现为接口限流或返回 5XX 错误、实例启动失败,有些 RunInstances 调用返回成功,实例却没起来,直接变成 TERMINATED。第二段是在接口恢复之后,新开的实例和改过网络配置的现有实例连不上,原因是负责下发 EC2 实例网络变更的内部子系统出现延迟,AWS 说这和根本原因有关;20:31 问题完全解决。AWS 建议客户重试失败的请求。至于根本原因到底是什么,说明里没有写;截至 11 月 18 日,AWS 的事后总结页面上也没有这次事件,最新一篇仍是 2025 年 10 月美东那次。
对自己的服务器有什么启发
- 区域出问题时,最先坏的往往是开新机器、改网络这类操作。依赖自动扩容、或者打算出事时临时开机的,脚本要能重试,也要能换到别的可用区或区域。
- 「没有数据」既不等于「宕机」,也不等于「正常」。告警要把这两种状态分开处理,并且准备一套从外部探测的监控,比如在另一台机器上定时 ping 和请求网页,方法见用 ping 和 mtr 测延迟与丢包。
- 故障期间别去动网络配置。AWS 这次明确建议不要挂卸网卡、不要改对等连接,正常运行的机器一改反而可能断开。
- 重要的业务在另一个地区留一份随时能启动的备份,比如东京为主、新加坡为备,见新加坡节点和VPS 备份策略;怎么挑节点见如何选择低延迟节点。