Google menerbitkan dua panduan berkaitan perangkakan dalam seminggu. Pada 11 November, satu catatan blog Search Central menerangkan cara memindahkan laman ke CDN tanpa membebankan pelayan asal atau menyekat Googlebot, dan pada 17 November, dokumentasi perangkakan menerima halaman baharu "Allow Google-Agent traffic" yang menerangkan cara membenarkannya melalui CDN, tembok api dan perkhidmatan pengesanan bot. Jika anda mengehos laman pada VPS di belakang CDN atau WAF, kedua-duanya wajar dibaca.
Mengapa Pelayan Asal Menjadi Lebih Sibuk Selepas Berpindah ke CDN
- Google menetapkan had kapasiti perangkakannya (hostload) berdasarkan kelajuan dan kestabilan pelayan anda: apabila respons menjadi lebih perlahan, ia memperlahankan perangkakan, dan apabila respons pantas dan konsisten serta ada permintaan perangkakan, had itu meningkat secara beransur-ansur.
- Sebaik sahaja domain anda dihalakan ke CDN, masa sambungan dan respons menurun dengan ketara; bagi Google, ini kelihatan seolah-olah pelayan anda baru dinaik taraf perkakasannya, jadi kadar rangkak mula meningkat.
- Tetapi CDN baharu bermula dengan cache yang kosong. Pelawat manusia tertumpu pada beberapa halaman seperti halaman utama dan artikel popular, yang cepat disimpan dalam cache; perangkak pula sebaliknya, menelusuri sejumlah besar URL satu demi satu, dan setiap URL yang belum disimpan dalam cache melalui CDN terus ke pelayan asal. Sehingga cache dipanaskan, CDN belum lagi menjadi perisai dan pelayan asal masih memikul beban yang berat.
Tiga Saranan Google
- Jika anda menyekat bot, benarkan perangkak yang disahkan dalam CDN dan tembok api anda. Kebanyakan CDN dan WAF mempunyai suis atau peraturan terurus untuk membenarkan bot yang diketahui atau disahkan, dan perangkak Google boleh dikenal pasti melalui julat IP yang diterbitkannya; lebih baik lagi, sasarkan bot tertentu yang tidak diingini dengan robots.txt atau peraturan, dan bukannya menyekat semua trafik automatik. Jika anda menghidupkan cabaran CAPTCHA di seluruh laman tanpa pengecualian, perangkak Google tidak dapat melepasinya, dan lama-kelamaan halaman anda tercicir daripada hasil carian.
- Panaskan cache anda sebelum bertukar: sebelum menghalakan semua trafik melalui CDN baharu, minta halaman yang paling banyak trafiknya, halaman yang bakal mencapai puncak trafik (seperti promosi) dan URL yang paling kerap dirangkak melalui CDN pada kadar yang terkawal.
- Jika pelayan asal benar-benar tidak mampu menampung beban, kembalikan 429 atau 503 untuk tempoh yang singkat (beberapa jam, atau paling lama 1 hingga 2 hari) untuk memperlahankan perangkak; butirannya ada dalam laporan kami tentang panduan Google untuk mengurangkan kadar rangkak secara kecemasan.
Apa Itu Google-Agent dan Cara Membenarkannya
Google-Agent ialah nama yang digunakan oleh ejen AI yang dihoskan pada infrastruktur Google apabila ejen itu melayari web dan melakukan tindakan atas permintaan pengguna. Ia ialah pengambil (fetcher) yang dicetuskan oleh pengguna, dan dokumentasi Google menyatakan bahawa kerana pengambilan sebegini diminta oleh pengguna, pengambil jenis ini secara amnya mengabaikan peraturan robots.txt. Sama ada untuk membenarkannya atau tidak terpulang kepada anda; halaman Google ditulis untuk pemilik laman yang mahu membenarkannya masuk. Anda mengenal pastinya melalui pengepala User-Agent yang mengandungi Google-Agent dan IP sumber dalam julat yang tersenarai dalam user-triggered-agents.json yang diterbitkan Google; Google juga sedang bereksperimen dengan Web Bot Auth, iaitu menandatangani permintaan dengan HTTP Message Signatures (RFC 9421) dan menambah pengepala Signature-Agent: g="https://agent.bot.goog". Jika permintaan masih disekat selepas anda membenarkannya, Google menyenaraikan perkara berikut untuk disemak:
- Susunan peraturan: peraturan benarkan mesti diletakkan sebelum sekatan ASN awan atau pusat data yang luas, peraturan bot terurus dan peraturan kategori seperti "block AI agents".
- Jenis cabaran: kecualikan juga CAPTCHA interaktif dan cabaran JavaScript, bukan sekadar sekatan terus, termasuk widget pengesahan yang muncul pada kotak carian atau semasa penghantaran borang.
- Liputan: benarkan lebih daripada halaman utama, termasuk carian dalam laman, penapis, halaman butiran, tambah ke troli, tempahan dan titik akhir XHR, GraphQL dan api.* di belakangnya.
- Had kadar per IP: permintaan daripada ramai pengguna berkongsi IP keluar yang sama, jadi peraturan had kadar per IP (termasuk alat yang anda jalankan sendiri, seperti fail2ban) patut mengecualikan julat ini.
- Kemas kini IP dan proksi: pastikan peraturan IP sentiasa selaras dengan
user-triggered-agents.json, dan pastikan pengimbang beban dan proksi songsang mengekalkan IP klien asal, User-Agent dan pengepala yang berkaitan dengan tandatangan.
Untuk asas CDN, lihat apa itu CDN, dan untuk menyediakan Cloudflare, lihat mempercepat dan melindungi laman web anda dengan Cloudflare.