Antara 14:46 dan 20:31 UTC pada 11 November (22:46 malam itu hingga 04:31 pagi keesokannya, waktu Beijing), Rantau Tokyo AWS (ap-northeast-1) mengalami ralat API, kegagalan pelancaran instans, dan kemudian masalah kesambungan bagi instans baharu serta instans yang konfigurasi rangkaiannya telah diubah, kebanyakannya dalam satu Zon Ketersediaan, apne1-az1, selama kira-kira 5 jam 45 minit. Halaman peristiwa AWS menyenaraikan 37 perkhidmatan yang terjejas, termasuk Lightsail, ELB, NAT Gateway, RDS, ECS dan EKS. AWS menegaskan berulang kali bahawa instans yang sedang berjalan tidak terjejas: mesin-mesin itu terus berjalan, dan yang rosak ialah operasi yang mencipta atau mengubah sesuatu.

Garis Masa dalam Notis AWS (UTC)

  • 15:40: notis pertama; kadar ralat API meningkat, dengan kegagalan pelancaran tertumpu di apne1-az1.
  • 16:40: punca utama dikenal pasti. Penggera CloudWatch untuk EC2 dan EBS dalam zon terjejas beralih ke keadaan Insufficient Data, jadi penggera yang ditetapkan untuk berbunyi pada keadaan itu boleh tercetus; API DescribeInstanceStatus juga memulangkan Insufficient Data, dan AWS meminta pelanggan bergantung pada pemantauan mereka sendiri. Pelancaran tugas ECS dan Fargate gagal, penyediaan ELB tertangguh, dan aliran kerja untuk mencipta dan memutuskan perkaitan NAT Gateway gagal.
  • 17:38: tanda awal pemulihan; data CloudWatch kembali dilaporkan dengan betul.
  • 18:54: masalah baharu: isu kesambungan bagi instans yang baru dicipta atau diubah suai di apne1-az1, yang menjejaskan pelancaran instans baharu, penciptaan kluster baharu, kumpulan Auto Scaling, get laluan dan titik akhir get laluan VPC; kesambungan kepada sumber sedia ada dan trafik antara instans tidak terjejas.
  • 19:54: AWS menasihati pelanggan supaya melancarkan instans baharu di dua zon yang sihat, apne1-az2 dan apne1-az3, dan tidak membuat perubahan yang akan menjejaskan kesambungan kepada instans sedia ada di zon terjejas, seperti memasang atau menanggalkan antara muka rangkaian atau get laluan dan mengubah VPC peering.
  • 21:11: selesai.

Apa yang Dikatakan oleh Ringkasan Penutup, dan Apa yang Tidak Disebut

Menurut ringkasan penutup AWS, tempoh kesan pertama berlangsung dari 14:46 hingga 17:46 dan muncul sebagai pendikitan API atau ralat 5XX serta pelancaran yang gagal; sesetengah panggilan RunInstances memulangkan kejayaan, tetapi instans itu tidak pernah bermula dan terus beralih ke TERMINATED. Dalam tempoh kedua, selepas API pulih, instans yang baru dilancarkan dan instans sedia ada yang konfigurasi rangkaiannya diubah tidak dapat bersambung; AWS mengaitkannya dengan kelewatan dalam satu subsistem dalaman yang bertanggungjawab menyebarkan perubahan rangkaian instans EC2, yang berkaitan dengan punca utama yang mendasarinya; semuanya selesai pada 20:31. AWS mengesyorkan agar permintaan yang gagal dicuba semula. Apakah sebenarnya punca utama itu, ringkasan tersebut tidak menyatakannya, dan setakat 18 November halaman ringkasan pasca peristiwa AWS tidak mempunyai entri untuk peristiwa ini; yang terkini masih peristiwa US East pada Oktober 2025.

Pengajaran untuk Pelayan Anda Sendiri

  • Apabila sesuatu rantau bermasalah, perkara pertama yang rosak selalunya ialah operasi seperti melancarkan mesin dan mengubah rangkaian. Jika anda bergantung pada penskalaan automatik, atau merancang untuk melancarkan mesin semasa insiden, skrip anda memerlukan percubaan semula dan cara untuk beralih ke zon atau rantau lain.
  • "Tiada data" tidak bermaksud "mati" mahupun "baik". Kendalikan kedua-dua keadaan itu secara berasingan dalam amaran anda, dan kekalkan pemantauan yang menguji dari luar, contohnya ping berjadual dan permintaan halaman dari mesin lain, seperti yang diterangkan dalam menguji kependaman dan kehilangan paket dengan ping dan mtr.
  • Jangan usik konfigurasi rangkaian semasa insiden. Kali ini AWS secara jelas menasihatkan agar tidak memasang atau menanggalkan antara muka dan tidak mengubah peering; mengubah mesin yang sihat boleh memutuskan sambungannya.
  • Simpan sandaran bagi perkhidmatan penting di rantau lain yang boleh anda mulakan pada bila-bila masa, contohnya Tokyo sebagai rantau utama dan Singapura sebagai rantau siap sedia; lihat nod Singapura kami dan strategi sandaran VPS, dan untuk memilih nod, memilih nod berkependaman rendah.