10 月 30 日、Google 検索セントラルと Microsoft Bing はそろって、「自分のコンテンツを AI の学習に使わないで」と伝えるための共通の robots.txt の記法を支持すると発表しました。これは Anthropic の K. Kelley 氏が同じ日に IETF の AI Preferences（AIPREF）ワーキンググループに提出したインターネットドラフトに基づくもので、中心にあるのは新しい「ポリシートークン」__usage_ai-training です。サイトが一度書けば参加するすべての AI 事業者がそれに従い、各社のクローラーごとにルールを書き分ける必要がなくなります。Search Engine Journal によると OpenAI も従う意向を示していますが、同誌（SEJ）は、これはまだ個人のドラフトで IETF の正式な標準化ではなく、3 社ともまだ実際には対応していないと指摘しています。
記法とルール
- 新しいディレクティブはなく、通常の robots.txt のグループです。サイト全体を学習の対象外にするには
User-Agent: __usage_ai-trainingに続けてDisallow: /と書きます。ドラフトの例ではさらにAllow: /press-kit/を加え、そのフォルダーだけ学習に使ってよいことを示しています。 User-Agent: *のようなワイルドカードのグループは、AI 学習についての意思表示とはみなされません。また__usage_ai-trainingのグループがないファイルは、何の意思表示もしていないことになります。- これはコンテンツの使い方についての意思表示であり、クロールの指示ではありません。誰がどれだけの速さでクロールするかを制限したいなら、引き続き各クローラー向けのグループを使います。このトークンを認識しない古いパーサーは、知らないクローラー名として無視するので、既存のルールはこれまでどおり機能します。
Google と Bing の扱い
- Google：サイトがこのトークンで学習を拒否し、Google-Extended を個別に指定していない場合、Google はそれを Google-Extended が禁止されたものとして扱う予定です。既存の Google-Extended のルールは引き続き有効です。Google は、Google-Extended を許可しているサイトは Gemini アプリの回答に表示され、グラウンディングを通じてクリックを得る対象になると説明しています。つまりトークンで学習を拒否すると、Google 側では Gemini アプリでのグラウンディングも手放すことになり、SEJ も同じ点を指摘しています。Google は他の AI 事業者とともに 2027 年の対応を目指しています。
- Bing：2027 年 2 月 1 日から、ページをクロールする際に適用します。robots.txt での学習の設定に加えて、ページ単位の書き方として
<meta name="Bingbot" content="ai-training:disallow">またはヘッダーX-Robots-Tag: Bingbot: ai-training:disallowがあり、さらに Allow、DisallowExtended、Disallow を選べる AI グラウンディングの設定が別にあります。いずれも Bing の通常の検索結果に載る資格には影響しません。 - Bing の新しい設定は NoArchive と NoCache に取って代わります。これらのタグを使っているサイトは 2027 年 3 月 1 日までに切り替えるべきで、それ以降は学習やグラウンディングの意思表示として読まれなくなります。また 2026 年 12 月 15 日からは、そうしたサイトは Bing Webmaster Tools で移行用の設定を登録することもできます。
サイト運営者が今できること
まず何を望むのかを決めましょう。検索結果には残りつつ学習には使われたくないなら、上のグループを加え、Googlebot と Bingbot のクロールのルールには手を付けないことです。AI の回答で引用されたいなら、Google-Extended をブロックせず、Bing のグラウンディングの設定は既定の Allow のままにします。robots.txt を編集した後は、Bing の注意点を覚えておいてください。設定はページを再クロールして初めて有効になり、IndexNow で通知すれば再クロールの可能性は高まるものの、日時は保証されません。背景としては、Cloudflare のクローラーの信頼スコアはこちらの記事、AI クローラーの既定でのブロックはこちら、AI 検索によるゼロクリックはこちらの記事、AI クローラーによる帯域の負担はこちらを参照してください。