谷歌在一周里发了两份和抓取有关的指南:11 月 11 日,搜索中心博客发文讲网站换上 CDN 时怎样既不压垮源站、也不把 Googlebot 拦在外面;11 月 17 日,抓取文档新增「允许 Google-Agent 流量」一页,讲怎样在 CDN、防火墙和防机器人服务里给它放行。用 VPS 建站、前面套了 CDN 或 WAF 的,两份都值得一看。
为什么换上 CDN 后源站反而更忙
- 谷歌按服务器的响应速度和稳定程度调整抓取上限(hostload):响应越来越慢就减速;响应又快又稳、而且有抓取需求时,上限会逐步提高。
- 域名一指向 CDN,连接和响应时间大幅下降,在谷歌看来就像服务器刚升级了硬件,于是抓取速度开始往上调。
- 可新的 CDN 缓存是空的。普通访客集中在首页、热门文章这些少数页面,很快就缓存好了;爬虫恰好相反,要把网站上大量网址挨个走一遍,每个还没缓存的网址都会穿过 CDN 打到源站。所以在缓存热起来之前,CDN 还挡不住压力,源站仍在扛大头。
谷歌给的三条做法
- 要拦机器人,就在 CDN 和防火墙里放行已验证的爬虫。大多数 CDN 和 WAF 都有「允许已知 / 已验证机器人」的开关或托管规则,谷歌的爬虫可以按它公布的 IP 段识别;更好的做法是用 robots.txt 或规则针对具体不想要的机器人,而不是拦掉所有自动化流量。全站开了人机验证(CAPTCHA)又不做豁免的话,谷歌的爬虫过不了验证,时间一长页面会逐渐掉出搜索结果。
- 切换前先预热缓存:在把全部流量切到新 CDN 之前,按可控的速度通过 CDN 请求一遍流量最高的页面、即将迎来高峰的页面(比如促销页)和最常被抓取的网址。
- 源站实在扛不住时,可以在一小段时间里(几个小时,最多 1 到 2 天)返回 429 或 503 让爬虫减速,细节见我们对谷歌紧急降低抓取速度指南的报道。
Google-Agent 是什么、怎么放行
Google-Agent 是谷歌托管的 AI 代理替用户浏览网页、执行操作时使用的名字。它属于「用户触发的抓取器」,谷歌的文档写明,这类请求是用户发起的,所以一般不遵守 robots.txt。要不要放行由你决定,谷歌这一页是写给愿意让它访问的站长的。识别方法是请求头 User-Agent 里含有 Google-Agent,来源 IP 在谷歌公布的 user-triggered-agents.json 范围内;谷歌还在试验 Web Bot Auth,用 HTTP 消息签名(RFC 9421)给请求签名,并带上 Signature-Agent: g="https://agent.bot.goog" 请求头。放行之后还被拦的,谷歌列了这几处要查:
- 规则顺序:放行规则要排在按云服务商或数据中心 ASN 屏蔽、托管机器人规则,以及「屏蔽 AI 代理」这类分类规则的前面。
- 验证类型:除了直接拦截,交互式 CAPTCHA 和 JavaScript 质询也要跳过,包括搜索框、提交表单时弹出的验证组件。
- 覆盖范围:不只首页,站内搜索、筛选、详情页、加入购物车、预订,以及背后的 XHR、GraphQL 和 api.* 接口都要放行。
- 按 IP 限速:很多用户的请求共用同一批出口 IP,按单个 IP 限速的规则(包括你自己装的 fail2ban 这类工具)要豁免这些地址段。
- IP 段同步和代理:IP 规则要跟着
user-triggered-agents.json更新;负载均衡和反向代理要保留原始客户端 IP、User-Agent 和签名相关的请求头。
CDN 的基础知识见什么是 CDN,Cloudflare 的接入方法见用 Cloudflare 加速和保护网站。