Google 在一週裡發了兩份和抓取有關的指南:11 月 11 日,搜尋中心部落格發文講網站換上 CDN 時怎樣既不壓垮原始伺服器、也不把 Googlebot 攔在外面;11 月 17 日,抓取文件新增「允許 Google-Agent 流量」一頁,講怎樣在 CDN、防火牆和防機器人服務裡給它放行。用 VPS 建站、前面套了 CDN 或 WAF 的,兩份都值得一看。
為什麼換上 CDN 後原始伺服器反而更忙
- Google 按伺服器的回應速度和穩定程度調整抓取上限(hostload):回應越來越慢就減速;回應又快又穩、而且有抓取需求時,上限會逐步提高。
- 網域一指向 CDN,連線和回應時間大幅下降,在 Google 看來就像伺服器剛升級了硬體,於是抓取速度開始往上調。
- 可新的 CDN 快取是空的。普通訪客集中在首頁、熱門文章這些少數頁面,很快就快取好了;爬蟲恰好相反,要把網站上大量網址挨個走一遍,每個還沒快取的網址都會穿過 CDN 打到原始伺服器。所以在快取熱起來之前,CDN 還擋不住壓力,原始伺服器仍在扛大頭。
Google 給的三條做法
- 要攔機器人,就在 CDN 和防火牆裡放行已驗證的爬蟲。大多數 CDN 和 WAF 都有「允許已知 / 已驗證機器人」的開關或託管規則,Google 的爬蟲可以按它公布的 IP 區段識別;更好的做法是用 robots.txt 或規則針對具體不想要的機器人,而不是攔掉所有自動化流量。全站開了人機驗證(CAPTCHA)又不做豁免的話,Google 的爬蟲過不了驗證,時間一長頁面會逐漸掉出搜尋結果。
- 切換前先預熱快取:在把全部流量切到新 CDN 之前,按可控的速度透過 CDN 請求一遍流量最高的頁面、即將迎來高峰的頁面(比如促銷頁)和最常被抓取的網址。
- 原始伺服器實在扛不住時,可以在一小段時間裡(幾個小時,最多 1 到 2 天)回傳 429 或 503 讓爬蟲減速,細節見我們對 Google 緊急降低抓取速度指南的報導。
Google-Agent 是什麼、怎麼放行
Google-Agent 是 Google 託管的 AI 代理替使用者瀏覽網頁、執行操作時使用的名字。它屬於「使用者觸發的抓取器」,Google 的文件寫明,這類請求是使用者發起的,所以一般不遵守 robots.txt。要不要放行由你決定,Google 這一頁是寫給願意讓它存取的站長的。識別方法是請求標頭 User-Agent 裡含有 Google-Agent,來源 IP 在 Google 公布的 user-triggered-agents.json 範圍內;Google 還在試驗 Web Bot Auth,用 HTTP 訊息簽名(RFC 9421)給請求簽名,並帶上 Signature-Agent: g="https://agent.bot.goog" 請求標頭。放行之後還被攔的,Google 列了這幾處要查:
- 規則順序:放行規則要排在按雲端服務商或資料中心 ASN 封鎖、託管機器人規則,以及「封鎖 AI 代理」這類分類規則的前面。
- 驗證類型:除了直接攔截,互動式 CAPTCHA 和 JavaScript 質詢也要跳過,包括搜尋框、提交表單時彈出的驗證元件。
- 覆蓋範圍:不只首頁,站內搜尋、篩選、詳情頁、加入購物車、預訂,以及背後的 XHR、GraphQL 和 api.* 介面都要放行。
- 按 IP 限速:很多使用者的請求共用同一批出口 IP,按單個 IP 限速的規則(包括你自己裝的 fail2ban 這類工具)要豁免這些位址區段。
- IP 區段同步和代理:IP 規則要跟著
user-triggered-agents.json更新;負載平衡和反向代理要保留原始用戶端 IP、User-Agent 和簽名相關的請求標頭。
CDN 的基礎知識見什麼是 CDN,Cloudflare 的設定方法見用 Cloudflare 加速和保護網站。