Pada 30 Oktober, Google Search Central dan Microsoft Bing sama-sama mengumumkan sokongan untuk sintaks robots.txt bersama bagi menyatakan "jangan gunakan kandungan saya untuk melatih AI". Ia berasal daripada Internet-Draft yang diserahkan oleh K. Kelley dari Anthropic pada hari yang sama kepada kumpulan kerja AI Preferences (AIPREF) IETF, dan terasnya ialah "token dasar" baharu, __usage_ai-training: laman menulisnya sekali dan semua penyedia AI yang mengambil bahagian mematuhinya, tanpa perlu menulis peraturan berasingan untuk perangkak setiap syarikat. Menurut Search Engine Journal, OpenAI juga berkata ia akan mematuhinya; SEJ menyatakan bahawa ini masih draf individu, bukan pemiawaian rasmi IETF, dan tiada satu pun daripada tiga syarikat itu menyokongnya lagi.

Sintaks dan Peraturannya

  • Ia ialah kumpulan robots.txt biasa tanpa arahan baharu. Mengecualikan seluruh laman daripada latihan ditulis sebagai User-Agent: __usage_ai-training diikuti Disallow: /; contoh dalam draf menambah Allow: /press-kit/, bermakna hanya folder itu boleh digunakan untuk latihan.
  • Kumpulan kad bebas seperti User-Agent: * tidak dikira sebagai pilihan latihan, dan fail tanpa kumpulan __usage_ai-training tidak menyatakan sebarang pilihan.
  • Ia menyatakan cara kandungan boleh digunakan dan bukan arahan merangkak: untuk mengehadkan siapa yang merangkak dan sepantas mana, teruskan menggunakan kumpulan khusus setiap perangkak. Penghurai lama yang tidak mengenali token ini menganggapnya sebagai nama perangkak yang tidak dikenali dan mengabaikannya, jadi peraturan sedia ada berfungsi seperti biasa.

Bagaimana Google dan Bing Akan Melaksanakannya

  • Google: apabila laman menggunakan token ini untuk menolak latihan dan tidak menyatakan Google-Extended secara berasingan, Google merancang untuk menganggapnya seolah-olah Google-Extended tidak dibenarkan; peraturan Google-Extended sedia ada terus berfungsi. Google menyatakan bahawa laman yang membenarkan Google-Extended layak muncul dalam jawapan dan menerima klik melalui grounding dalam Gemini Apps, jadi menolak latihan dengan token ini juga bermakna melepaskan grounding dalam Gemini Apps di pihak Google, satu perkara yang turut dibangkitkan oleh SEJ. Google menyasarkan sokongan, bersama penyedia AI lain, pada 2027.
  • Bing: dipatuhi ketika halaman dirangkak mulai 1 Februari 2027. Selain pilihan latihan dalam robots.txt, terdapat bentuk peringkat halaman, <meta name="Bingbot" content="ai-training:disallow"> atau pengepala X-Robots-Tag: Bingbot: ai-training:disallow, serta pilihan grounding AI yang berasingan dengan pilihan Allow, DisallowExtended dan Disallow. Tiada satu pun yang mengubah kelayakan laman untuk hasil carian biasa Bing.
  • Pilihan baharu Bing menggantikan NoArchive dan NoCache: laman yang menggunakan tag tersebut patut bertukar menjelang 1 Mac 2027, selepas itu ia tidak lagi dibaca sebagai pilihan latihan atau grounding, dan mulai 15 Disember 2026 laman sebegini juga boleh merekodkan tetapan peralihan dalam Bing Webmaster Tools.

Apa yang Boleh Dilakukan Pemilik Laman Sekarang

Tentukan dahulu apa yang anda mahu. Untuk kekal dalam hasil carian tetapi menolak latihan, tambah kumpulan di atas dan jangan usik peraturan merangkak untuk Googlebot dan Bingbot; untuk dipetik dalam jawapan AI, jangan sekat Google-Extended dan biarkan pilihan grounding Bing pada lalai Allow. Selepas menyunting robots.txt, ingat amaran Bing bahawa tetapan hanya berkuat kuasa sebaik sahaja halaman itu dirangkak semula; memberitahunya melalui IndexNow meningkatkan peluang rangkak semula tetapi tidak menjamin tarikhnya. Bacaan latar: skor kepercayaan Cloudflare untuk perangkak dalam artikel ini, sekatan lalai perangkak AI olehnya di sini, carian AI tanpa klik dalam artikel ini, dan kos lebar jalur perangkak AI di sini.