10 月 30 日，Google 搜尋中心和微軟 Bing 同一天發文，宣布支援一種統一的 robots.txt 寫法，用來表達「我的內容不許拿去訓練 AI」。它來自 Anthropic 的 K. Kelley 當天提交給 IETF AI 偏好（AIPREF）工作小組的網際網路草案，核心是一個新的「策略標記」__usage_ai-training：網站寫一次，所有參與的 AI 公司都按它處理，不用再給每家爬蟲分別寫規則。按 Search Engine Journal 的報導，OpenAI 也表示會遵守；它同時提醒，這還是個人草案，不代表 IETF 的正式標準，目前三家都還沒真正開始執行。

寫法和規則

  • 寫法就是普通的 robots.txt 規則組，不增加新指令。整站禁止訓練是 User-Agent: __usage_ai-training 加 Disallow: /；草案的例子是在此基礎上加 Allow: /press-kit/，表示只有這個目錄允許訓練。
  • User-Agent: * 這種萬用字元規則組不算對 AI 訓練表態；檔案裡沒有 __usage_ai-training 組，就等於沒有表達偏好。
  • 它只表達內容用途，不是抓取指令：要限制誰來抓、抓多快，仍然用各家爬蟲自己的規則組。認不出這個標記的舊解析器會把它當成一個不認識的爬蟲名而忽略，現有規則的效果不變。

Google 和 Bing 各自怎麼執行

  • Google：網站用這個標記拒絕訓練、又沒有單獨寫 Google-Extended 時，Google 打算把它當作禁止了 Google-Extended 來處理；原有的 Google-Extended 照常有效。Google 說明，允許 Google-Extended 的網站有資格在 Gemini 應用的回答裡出現、透過引用獲得點擊；所以用這個標記拒絕訓練，在 Google 這邊也意味著放棄 Gemini 應用裡的引用，SEJ 也指出了這一點。Google 的目標是 2027 年與其他 AI 公司一起支援。
  • Bing：2027 年 2 月 1 日起抓取時執行。除了 robots.txt 裡的訓練偏好，還新增頁面級寫法：<meta name="Bingbot" content="ai-training:disallow"> 或回應標頭 X-Robots-Tag: Bingbot: ai-training:disallow；另有單獨的「AI 引用」（grounding）偏好，可選 Allow、DisallowExtended 和 Disallow。這些設定不影響網站在 Bing 普通搜尋結果裡的資格。
  • Bing 的新偏好會取代原來的 NoArchive / NoCache：在用這兩個標籤的網站要在 2027 年 3 月 1 日前改用新寫法，之後它們不再被當作訓練或引用偏好；這類網站從 2026 年 12 月 15 日起還可以在 Bing 站長工具裡登記過渡設定。

站長現在可以做什麼

先想清楚要什麼：想留在搜尋結果裡、但不許拿去訓練，就加上面那組規則，同時別動 Googlebot、Bingbot 的抓取規則；想在 AI 回答裡被引用，就別封鎖 Google-Extended，Bing 的引用偏好保持預設的 Allow。改完 robots.txt 後，Bing 提醒設定要等它重新抓取才生效，用 IndexNow 通知能提高重新抓取的機會，但不保證時間。相關背景：Cloudflare 給爬蟲打信任分見這篇，它預設攔截 AI 爬蟲見這裡，AI 搜尋帶來的零點擊見這篇，AI 爬蟲吃頻寬的問題見這裡。