Cloudflare は今月、クローラーに関する記事を立て続けに 2 本公開しました。10 月 16 日の記事では、認証済みボット（Verified bots）が行儀よく振る舞っているかを継続的に評価し始めたと発表しました。身元の確認でわかるのはボットが誰かということだけで、信頼できるかどうかはその後の振る舞い次第だという考え方です。10 月 15 日の記事では、2026 年 7 月に始めた OpenAI との研究パイロットの初期結果を紹介しました。どちらも、サイト運営者がクローラーとどう付き合うかに直接関わる話です。
信頼度は 2 つの点で判断される
- robots.txt を守っているか。システムは、ボットの実際のトラフィックが一定期間にわたって、サイトが公開している robots.txt の意向（RFC 9309 に基づく）と一致しているかを確認します。単発の違反はあまり問題にされず、重視されるのはサイトの意向を繰り返し無視するパターンです。Cloudflare は、robots.txt が定めるのは最低限のルールにすぎず、禁止されていないことがそのまま許可されているわけではない、とも指摘しています。
- HTTP 429 を受け取った後に速度を落とすか。429（Too Many Requests）は、リクエストの頻度を下げてほしいというサイトからの直接の合図です。システムは、ボットがそれを受けて速度を落とすのか、一時停止するのか、それとも同じペースで続けるのかを見ます。一貫して速度を落とせば信頼は上がり、合図を繰り返し無視すれば下がります。
- 結果は、ボットに対する恒久的な判定ではなく、説明可能な「信頼の幅」として示されます。Cloudflare はすでに社内でこの仕組みを使っており、今後はスコアを Radar で公開し、すべての顧客に提供する計画です。顧客は、認証済みボットのトラフィックをどう扱うかを決める信頼のしきい値を自分で選べるようになります。記事は例として、2025 年に Perplexity のボットがサイトの制御を回避しようとしたため、認証済みボットのリストから外したことを挙げています。
OpenAI とのパイロット：誰もリンクしていないページを ChatGPT が見つけられるように
- パイロットは 2026 年 7 月に始まり、Cloudflare のネットワーク全体の約 1% が参加しています。Cloudflare はネットワーク上の信号を OpenAI の検索クローラーに提供し、ページの評価と順位付けは OpenAI が独自に行います。これまでに OpenAI は数億の新しいウェブページを発見してインデックスに登録しました。
- Cloudflare によると、この研究で使うのは検索と発見のためのページに関するメタデータで、モデルの学習のためにページの内容を提供するものではありません。また、あるページについての信号がそのページへのアクセス許可になるわけではなく、サイト運営者の選択は引き続き尊重されます。
- 記事は、新しいページが見つかると、評価とインデックス登録の段階で最初はクロールが増えることがあるとも述べています。また、多くのサイトがほぼどんな URL もトップページにリダイレクトしたり、同じ内容を複数の URL で配信したりしていて、クローラーの作業が無駄になっていることもわかりました。こうしたものを除外すれば、オリジンサーバーの負荷を減らせます。
サイト運営者が今できること
robots.txt を正確に保ちましょう。いまや robots.txt は検索エンジン向けのルールであると同時に、Cloudflare がクローラーの信頼性を判断する材料でもあります。存在しないページには、すべてをトップページにリダイレクトするのではなく、本当の 404 を返してください。サーバーがどうしても持ちこたえられないときは、Retry-After を付けて 429 か 503 を返します。そのやり方とコストは Google が 10 月 6 日に書き直したクロール頻度の緊急対応ガイドで取り上げました。まず誰がクロールしているのかを知るには、VPS の CPU 使用率 100% の調べ方で紹介した方法でアクセスログを確認しましょう。AI クローラーが帯域に与える影響はこちらの記事、Cloudflare による AI クローラーの既定ブロックは 9 月 15 日からの変更を、サイトを Cloudflare の配下に置く方法は Cloudflare で VPS のサイトを高速化・保護する方法をご覧ください。