Cloudflare 本月接連發了兩篇和爬蟲有關的文章。10 月 16 日那篇宣布，它開始持續評估「認證爬蟲」（Verified bots）守不守規矩：核實身份只能說明一個爬蟲是誰，能不能信任要看它之後怎麼做。10 月 15 日那篇公布了它和 OpenAI 從 2026 年 7 月開始的研究試點的早期結果。兩件事都直接關係到站長怎麼和爬蟲打交道。
信任分看兩件事
- 是否遵守 robots.txt。系統看爬蟲一段時間內的實際流量是否和網站公布的 robots.txt 偏好一致（依據 RFC 9309）。偶發的個別違規影響不大，看的是反覆無視網站偏好的模式。Cloudflare 還特別說明：robots.txt 只規定了最低要求，沒寫禁止並不代表就是允許。
- 收到 HTTP 429 之後會不會減速。429（Too Many Requests）是網站要求訪客降低請求頻率的直接訊號。系統看爬蟲收到之後是放慢、暫停，還是照原來的速度繼續——一貫減速會提高信任，反覆無視會降低信任。
- 結果是一個可以解釋的「信任區間」，而不是對某個爬蟲的永久判決。Cloudflare 已經在內部使用這套系統，之後會在 Radar 上公開這些分數，並計畫向所有客戶開放，由客戶自己選擇用什麼信任門檻來處理認證爬蟲的流量。文章舉例說，2025 年它就因為 Perplexity 的爬蟲設法繞過網站的限制，把它從認證爬蟲名單裡移除了。
和 OpenAI 的試點：幫 ChatGPT 找到「沒人連結」的頁面
- 試點從 2026 年 7 月開始，參與的約佔 Cloudflare 整個網路的 1%。Cloudflare 把網路中觀察到的訊號提供給 OpenAI 的搜尋爬蟲，頁面怎麼評估和排序由 OpenAI 自己決定。到目前為止，這讓 OpenAI 發現並收錄了數億個新網頁。
- Cloudflare 說明，研究用的是關於網頁的中繼資料，用於搜尋和發現，不是把網頁內容拿去訓練模型；關於某個頁面的訊號也不等於獲得了存取許可，站長的選擇始終有效。
- 文章也提到，新頁面被發現後，在評估和收錄階段抓取量一開始可能會增加。它還發現，很多網站把幾乎任何網址都重新導向到首頁，或者同一份內容有好幾個網址，這會浪費爬蟲的工作量，把這類情況過濾掉可以減輕原始伺服器的負擔。
站長現在可以做的
把 robots.txt 寫準確——它現在既是搜尋引擎的規則，也是 Cloudflare 判斷一個爬蟲是否可信的依據；不存在的頁面回傳真正的 404，不要統統重新導向到首頁。伺服器真的被壓得扛不住時，回傳 429 或 503 並帶上 Retry-After，具體做法和代價見谷歌 10 月 6 日改寫的緊急降速文件。想先弄清楚是誰在抓，可以按 VPS CPU 佔用 100% 怎麼排查裡的方法看存取記錄；AI 爬蟲對頻寬的影響見這篇，Cloudflare 預設攔截 AI 爬蟲的變化見 9 月 15 日那篇，網站接入 Cloudflare 的方法見用 Cloudflare 給 VPS 網站加速與防護。