Cloudflare menerbitkan dua catatan berkaitan perangkak secara berturut-turut bulan ini. Catatan 16 Oktober mengumumkan bahawa ia kini menilai secara berterusan sama ada bot disahkan (Verified bots) berkelakuan baik: mengesahkan identiti hanya memberitahu siapa sesebuah bot, manakala kepercayaan bergantung pada apa yang dilakukannya selepas itu. Catatan 15 Oktober berkongsi hasil awal daripada perintis penyelidikan bersama OpenAI yang bermula pada Julai 2026. Kedua-duanya berkait langsung dengan cara pemilik tapak berurusan dengan perangkak.

Skor Kepercayaan Melihat Dua Perkara

  • Adakah bot mematuhi robots.txt? Sistem itu menyemak sama ada trafik sebenar sesebuah bot dari semasa ke semasa selaras dengan keutamaan robots.txt yang diterbitkan oleh tapak (berdasarkan RFC 9309). Pelanggaran terpencil yang sekali-sekala tidak banyak memberi kesan; yang diambil kira ialah corak berulang mengabaikan keutamaan tapak. Cloudflare juga menegaskan bahawa robots.txt hanya menetapkan peraturan minimum — apa yang tidak dilarangnya tidak bermakna dibenarkan.
  • Adakah ia memperlahankan diri selepas HTTP 429? Kod 429 (Too Many Requests) ialah isyarat langsung daripada tapak supaya kadar permintaan dikurangkan. Sistem itu menyemak sama ada bot memperlahankan diri, berhenti seketika atau terus pada kadar yang sama — memperlahankan diri secara konsisten menaikkan kepercayaan, manakala berulang kali mengabaikan isyarat itu menurunkannya.
  • Hasilnya ialah "jalur kepercayaan" yang boleh dijelaskan, bukannya penghakiman kekal terhadap sesebuah bot. Cloudflare sudah menggunakan sistem ini secara dalaman, akan berkongsi skornya secara terbuka di Radar, dan merancang untuk menawarkannya kepada semua pelanggan, yang akan dapat memilih ambang kepercayaan untuk menentukan cara trafik bot disahkan dikendalikan. Sebagai contoh, catatan itu mengimbas kembali bahawa pada 2025 ia mengeluarkan bot Perplexity daripada senarai bot disahkan selepas bot itu cuba memintas kawalan tapak.

Perintis Bersama OpenAI: Membantu ChatGPT Menemui Halaman yang Tiada Siapa Pautkan

  • Perintis itu bermula pada Julai 2026 dengan kohort penyertaan kira-kira 1% daripada rangkaian Cloudflare. Cloudflare menyediakan isyarat daripada rangkaiannya kepada perangkak carian OpenAI, dan OpenAI menilai serta menyusun kedudukan halaman secara bebas. Setakat ini, ia telah membolehkan OpenAI menemui dan mengindeks ratusan juta halaman web baharu.
  • Cloudflare menyatakan penyelidikan itu menggunakan metadata tentang halaman untuk carian dan penemuan, bukan kandungan halaman untuk melatih model, dan isyarat tentang sesuatu halaman tidak memberi kebenaran untuk mengaksesnya; pilihan pemilik tapak tetap terpakai.
  • Catatan itu juga menyebut bahawa penemuan halaman baharu mungkin meningkatkan rangkakan pada mulanya semasa halaman itu dinilai dan diindeks. Ia mendapati banyak tapak mengalihkan hampir apa-apa alamat ke halaman utama, atau menyajikan kandungan yang sama pada beberapa alamat, yang membazirkan kerja perangkak; menapis kes sebegini mengurangkan beban pada pelayan asal.

Apa yang Boleh Dilakukan Pemilik Tapak Sekarang

Pastikan robots.txt tepat — ia kini menjadi peraturan untuk enjin carian dan juga bukti yang digunakan Cloudflare untuk menilai sama ada sesebuah perangkak boleh dipercayai — dan kembalikan 404 yang sebenar bagi halaman yang tidak wujud, bukannya mengalihkan semuanya ke halaman utama. Jika pelayan anda benar-benar tidak dapat menampung beban, kembalikan 429 atau 503 bersama Retry-After; cara melakukannya dan kosnya dibincangkan dalam penulisan semula panduan kecemasan kadar rangkak oleh Google pada 6 Oktober. Untuk mengetahui terlebih dahulu siapa yang merangkak, baca log akses seperti yang diterangkan dalam mendiagnosis penggunaan CPU 100% pada VPS; untuk kesan perangkak AI terhadap lebar jalur, lihat artikel ini; untuk sekatan lalai perangkak AI oleh Cloudflare, lihat perubahan mulai 15 September; dan untuk meletakkan tapak anda di belakang Cloudflare, lihat mempercepat dan melindungi laman web VPS dengan Cloudflare.