10 月 30 日，谷歌搜索中心和微软必应同一天发文，宣布支持一种统一的 robots.txt 写法，用来表达「我的内容不许拿去训练 AI」。它来自 Anthropic 的 K. Kelley 当天提交给 IETF AI 偏好（AIPREF）工作组的互联网草案，核心是一个新的「策略标记」__usage_ai-training：网站写一次，所有参与的 AI 公司都按它处理，不用再给每家爬虫分别写规则。按 Search Engine Journal 的报道，OpenAI 也表示会遵守；它同时提醒，这还是个人草案，不代表 IETF 的正式标准，目前三家都还没真正开始执行。
写法和规则
- 写法就是普通的 robots.txt 规则组，不增加新指令。整站禁止训练是
User-Agent: __usage_ai-training加Disallow: /；草案的例子是在此基础上加Allow: /press-kit/，表示只有这个目录允许训练。 User-Agent: *这种通配组不算对 AI 训练表态；文件里没有__usage_ai-training组，就等于没有表达偏好。- 它只表达内容用途，不是抓取指令：要限制谁来抓、抓多快，仍然用各家爬虫自己的规则组。认不出这个标记的旧解析器会把它当成一个不认识的爬虫名而忽略，现有规则的效果不变。
谷歌和必应各自怎么执行
- 谷歌：网站用这个标记拒绝训练、又没有单独写 Google-Extended 时，谷歌打算把它当作禁止了 Google-Extended 来处理；原有的 Google-Extended 照常有效。谷歌说明，允许 Google-Extended 的网站有资格在 Gemini 应用的回答里出现、通过引用获得点击；所以用这个标记拒绝训练，在谷歌这边也意味着放弃 Gemini 应用里的引用，SEJ 也指出了这一点。谷歌的目标是 2027 年与其他 AI 公司一起支持。
- 必应：2027 年 2 月 1 日起抓取时执行。除了 robots.txt 里的训练偏好，还新增页面级写法：
<meta name="Bingbot" content="ai-training:disallow">或响应头X-Robots-Tag: Bingbot: ai-training:disallow；另有单独的「AI 引用」（grounding）偏好，可选 Allow、DisallowExtended 和 Disallow。这些设置不影响网站在必应普通搜索结果里的资格。 - 必应的新偏好会取代原来的 NoArchive / NoCache：在用这两个标签的网站要在 2027 年 3 月 1 日前改用新写法，之后它们不再被当作训练或引用偏好；这类网站从 2026 年 12 月 15 日起还可以在必应站长工具里登记过渡设置。
站长现在可以做什么
先想清楚要什么：想留在搜索结果里、但不许拿去训练，就加上面那组规则，同时别动 Googlebot、Bingbot 的抓取规则；想在 AI 回答里被引用，就别屏蔽 Google-Extended，必应的引用偏好保持默认的 Allow。改完 robots.txt 后，必应提醒设置要等它重新抓取才生效，用 IndexNow 通知能提高重新抓取的机会，但不保证时间。相关背景：Cloudflare 给爬虫打信任分见这篇，它默认拦截 AI 爬虫见这里，AI 搜索带来的零点击见这篇，AI 爬虫吃带宽的问题见这里。