Cloudflare 本月接连发了两篇和爬虫有关的文章。10 月 16 日那篇宣布，它开始持续评估「认证爬虫」（Verified bots）守不守规矩：核实身份只能说明一个爬虫是谁，能不能信任要看它之后怎么做。10 月 15 日那篇公布了它和 OpenAI 从 2026 年 7 月开始的研究试点的早期结果。两件事都直接关系到站长怎么和爬虫打交道。
信任分看两件事
- 是否遵守 robots.txt。系统看爬虫一段时间内的实际流量是否和站点公布的 robots.txt 偏好一致（依据 RFC 9309）。偶发的个别违规影响不大，看的是反复无视站点偏好的模式。Cloudflare 还特别说明：robots.txt 只规定了最低要求，没写禁止并不代表就是允许。
- 收到 HTTP 429 之后会不会减速。429（Too Many Requests）是站点要求访问者降低请求频率的直接信号。系统看爬虫收到之后是放慢、暂停，还是照原来的速度继续——一贯减速会提高信任，反复无视会降低信任。
- 结果是一个可以解释的「信任区间」，而不是对某个爬虫的永久判决。Cloudflare 已经在内部使用这套系统，之后会在 Radar 上公开这些分数，并计划向所有客户开放，由客户自己选择用什么信任门槛来处理认证爬虫的流量。文章举例说，2025 年它就因为 Perplexity 的爬虫设法绕过站点的限制，把它从认证爬虫名单里移除了。
和 OpenAI 的试点：帮 ChatGPT 找到「没人链接」的页面
- 试点从 2026 年 7 月开始，参与的约占 Cloudflare 全网的 1%。Cloudflare 把网络中观察到的信号提供给 OpenAI 的搜索爬虫，页面怎么评估和排序由 OpenAI 自己决定。到目前为止，这让 OpenAI 发现并收录了数亿个新网页。
- Cloudflare 说明，研究用的是关于网页的元数据，用于搜索和发现，不是把网页内容拿去训练模型；关于某个页面的信号也不等于获得了访问许可，站长的选择始终有效。
- 文章也提到，新页面被发现后，在评估和收录阶段抓取量一开始可能会增加。它还发现，很多网站把几乎任何地址都重定向到首页，或者同一份内容有好几个地址，这会浪费爬虫的工作量，把这类情况过滤掉可以减轻源站的负担。
站长现在可以做的
把 robots.txt 写准确——它现在既是搜索引擎的规则，也是 Cloudflare 判断一个爬虫是否可信的依据；不存在的页面返回真正的 404，不要统统重定向到首页。服务器真的被压得扛不住时，返回 429 或 503 并带上 Retry-After，具体做法和代价见谷歌 10 月 6 日改写的紧急降速文档。想先弄清楚是谁在抓，可以按 VPS CPU 占用 100% 怎么排查里的方法看访问日志；AI 爬虫对带宽的影响见这篇，Cloudflare 默认拦截 AI 爬虫的变化见 9 月 15 日那篇，网站接入 Cloudflare 的方法见用 Cloudflare 给 VPS 网站加速与防护。