Rantau London Google Cloud Kehilangan Satu Zon akibat Gangguan Bekalan Elektrik Selama 6 Jam 10 Minit — Penjana Tidak Pernah Hidup, dan Dua Zon yang Sihat Turut Terjejas

Pada 22 Oktober, Google Cloud menyiarkan laporan insiden awal di halaman statusnya bagi rantau europe-west2 (London): gangguan berlaku dari 23:00 waktu Pasifik AS pada 19 Oktober (07:00 BST pada 20 Oktober) hingga 05:10 waktu Pasifik AS pada 20 Oktober (13:10 BST), iaitu 6 jam 10 minit keseluruhannya. Nod kami tidak berada di Eropah, tetapi laporan itu menjelaskan sesuatu yang sering terlepas pandang: apa yang boleh dan tidak boleh dilindungi oleh "beberapa zon ketersediaan" dalam satu rantau.

Apa yang Berlaku: Daripada Gangguan Grid kepada Seluruh Zon Hilang Kuasa

• Pada 22:53 waktu Pasifik AS (06:53 BST), kemudahan yang menempatkan zon ketersediaan europe-west2-b dilanda gangguan grid elektrik. Seperti yang direka, beban beralih kepada bateri UPS sementara penjana diesel di tapak dihidupkan.
• Kedua-dua sistem automasi PLC (pengawal logik boleh atur cara), utama dan sandaran, yang mengawal penjana gagal memulakan permulaan dan pemindahan automatik, jadi penjana tidak pernah mengambil alih beban. Mulai 23:00 bateri UPS kehabisan, dan pelayan fizikal, fabrik pensuisan rangkaian serta storan setempat zon itu kehilangan kuasa.
• Sebaik sahaja bekalan grid pulih, jurutera di tapak memulihkan bekalan utiliti yang stabil dalam masa 1 jam, kemudian menetapkan semula dan menguji pengawal automasi penjana; Google memulakan semula infrastruktur langkah demi langkah dan secara beransur-ansur memasukkan semula trafik ke zon b.
• Kebanyakan perkhidmatan pulih dalam 5 jam 29 minit pertama (menjelang 12:29 BST). Compute Engine mengambil masa lebih lama: penciptaan VM baharu disambung semula pada 12:46, dan menjelang 13:10 lebih daripada 99% VM kembali sihat.

Mengapa Zon a dan c Terjejas Walaupun Tidak Hilang Kuasa

Laporan itu menamakan dua punca. Pertama, beban kerja dari zon b berpusu-pusu ke zon a dan c lalu menghabiskan kapasiti yang tinggal, menyebabkan barisan menunggu, failover pangkalan data yang lebih perlahan dan ralat 500 / 503 yang berselang-seli. Kedua, satah kawalan sesetengah perkhidmatan melakukan pengesahan segerak merentas zon, dan komponen yang diperlukan oleh pengesahan itu berada di zon b yang telah hilang kuasa, jadi panggilan API tamat masa. Produk yang dinamakan dalam laporan sebagai terjejas secara tidak dijangka termasuk BigQuery, Looker, Compute Engine, GKE, Regional Persistent Disk dan Cloud SQL. Sumber yang dihoskan sepenuhnya di zon b langsung tidak dapat dicapai. Laporan akhir bersama langkah pencegahan belum diterbitkan.

Satu lagi butiran: kemas kini status yang paling awal pada malam itu menyatakan masa mula 23:08 waktu Pasifik AS, yang sebenarnya ialah masa pemantauan Google mengeluarkan amaran; laporan awal menggunakan 23:00. Apabila membaca halaman status penyedia awan, jangkakan beberapa kemas kini pertama akan diperbetulkan oleh laporan kemudian.

Pengajaran untuk Satu atau Beberapa VPS

• Simpan sandaran di rantau lain. Sandaran di kemudahan atau rantau yang sama tidak dapat dicapai bersama-sama data asal apabila seluruh tapak hilang kuasa. Lihat strategi sandaran VPS.
• Untuk perkhidmatan penting, sediakan mesin di rantau kedua — ia boleh jadi mesin siap sedia sejuk yang kecil — dan tetapkan TTL yang pendek pada rekod DNS supaya anda boleh beralih apabila berlaku masalah; lihat panduan asas DNS dan memilih nod pusat data berkependaman rendah.
• Petakan kebergantungan anda. Zon a dan c menghadapi masalah kerana perkara yang mereka bergantung padanya berada di zon b. Untuk memetakan kebergantungan perkhidmatan anda sendiri, lihat risiko kebergantungan sebagai corak gangguan utama separuh pertama 2026, dan untuk dua insiden Azure pada akhir September, lihat ringkasan kami tentang ulasan insiden tersebut.

Kemas kini, 7 November 2026: Google Cloud menyiarkan laporan insiden akhirnya pada 4 November. Ia meletakkan kesan utama pada 6 jam 8 minit dan menerangkan mengapa penjana tidak pernah bermula: kemudahan itu bergantung pada satu bekalan utiliti semasa penyelenggaraan, dan penderiaan voltan rendah pengawal terletak di hulu pemutus litar yang terbuka pada bekalan satu lagi, jadi ia melihat sumber yang sihat. Lihat artikel susulan kami.