Pada 1 Julai 2026, Cloudflare mengumumkan satu tetapan lalai yang akan membentuk semula trafik bagi laman kandungan: bermula 15 September 2026, halaman yang memaparkan iklan akan menyekat perangkak AI "kegunaan campuran" secara lalai. Pada masa yang sama, eksperimen Pay Per Crawl sebelum ini diperluas menjadi model Pay Per Use.

Siapa disekat dan siapa tidak

Cloudflare membahagikan tingkah laku perangkak kepada tiga kategori, dan pembahagian itulah kunci memahami perubahan ini:

  • Search: mengumpul dan mengindeks kandungan untuk menjawab soalan kemudian — masih dibenarkan.
  • Agent: tingkah laku automatik yang bertindak dalam masa nyata bagi pihak seseorang — disekat secara lalai pada halaman beriklan.
  • Training: mengambil kandungan untuk melatih atau memperhalus model — disekat secara lalai pada halaman beriklan.

Tetapan lalai baharu ini terpakai kepada pelanggan baharu, laman baharu yang ditambah pelanggan sedia ada, dan semua pelanggan peringkat percuma sedia ada. Dengan kata lain, ramai pemilik laman bebas akan melihat perubahan tingkah laku pada 15 September tanpa menyentuh apa-apa. Pemilik laman boleh menindih tetapan lalai dalam konfigurasi mereka. Rakan pelancaran Pay Per Use termasuk Ceramic.ai (membayar penerbit apabila kandungan muncul dalam hasil carian) dan You.com (membayar apabila ejen mencapai kandungan premium).

Apa maksudnya bagi laman hos sendiri

Jika anda menyiarkan iklan dan sebahagian besar pendedahan anda datang daripada jawapan serta ejen AI, tetapan lalai ini boleh mengurangkan beban pelayan dan pendedahan anda serentak. Bil jalur lebar kelihatan lebih baik; peluang dipetik dalam jawapan AI menurun — sedangkan petikan sedang menjadi saluran trafik tersendiri. Jika anda tidak menyiarkan iklan dan menjana pendapatan melalui produk atau perkhidmatan sendiri, tetapan lalai tidak mengubah keadaan anda secara automatik, dan andalah yang perlu memutuskan siapa untuk dibenarkan.

Empat perkara yang berbaloi dilakukan sekarang

  • Ukur sebelum memutuskan: daripada log Nginx/Apache, pecahkan permintaan dan jalur lebar mengikut User-Agent bagi GPTBot, ClaudeBot, PerplexityBot, CCBot dan Bytespider, lalu bandingkan kos itu dengan rujukan yang setiap satunya benar-benar hantar kembali.
  • Peringkatkan capaian dan bukan menutup terus: benarkan perangkak carian yang masih menjadi saluran pendedahan; hadkan perangkak latihan semata-mata; larang terus laluan pentadbiran, ruang ahli dan halaman penapis berulang.
  • Kekalkan titik kawalan anda sendiri: robots.txt hanyalah persetujuan budi bahasa. Gunakan limit_req dan limit_conn Nginx berdasarkan User-Agent atau IP, dan pulangkan 403 apabila wajar, dan bukannya menyerahkan seluruh dasar kepada tetapan lalai platform huluan.
  • Perhatikan data rujukan sekitar tarikh itu: rekod garis dasar sebelum dan selepas 15 September, kemudian putuskan sama ada hendak terus menyekat atau membuka semula.

Mengapa ini menjadikan VPS lebih bernilai

Sebaik sahaja "siapa yang dibenarkan memerangkak saya" menjadi keputusan perniagaan yang aktif, anda perlu capaian ke lapisan tempat ia dikonfigurasikan. Pada pengehosan kongsi anda tidak boleh menulis peraturan hadan kadar, tidak boleh melihat log penuh, dan tidak boleh menerapkan dasar mengikut User-Agent. Pada VPS sendiri, semuanya milik anda. Pelan SharkCloud menyertakan IP khusus dan spesifikasi sumber yang jelas, dengan nod di Hong Kong, Jepun dan AS untuk mengehos berhampiran audiens anda — supaya suisnya kekal di tangan anda.