Google はクロール関連のガイドを 1 週間に 2 つ公開しました。11 月 11 日には Search Central ブログの記事で、オリジンサーバーに過負荷をかけたり Googlebot を締め出したりせずにサイトを CDN に移行する方法を解説し、11 月 17 日にはクロールのドキュメントに「Allow Google-Agent traffic」(Google-Agent のトラフィックを許可する)というページが加わりました。このページは、CDN、ファイアウォール、ボット検出サービスで Google-Agent を通過させる方法を説明しています。VPS でサイトをホストし、CDN や WAF の背後に置いているなら、どちらも読んでおく価値があります。

CDN に移行するとオリジンが忙しくなる理由

  • Google はクロール能力の上限(hostload)を、サーバーの速さと安定性に応じて決めています。応答が遅くなるとクロールを減速し、応答が速く安定していてクロールの需要もあれば、上限を徐々に引き上げます。
  • ドメインを CDN に向けると、接続時間と応答時間が大幅に短くなります。Google からはサーバーのハードウェアがアップグレードされたように見えるため、クロールの頻度が上がり始めます。
  • しかし、新しい CDN のキャッシュは最初は空です。人間の訪問者はトップページや人気記事など少数のページに集中するので、それらはすぐにキャッシュされます。クローラーはその逆で、大量の URL を 1 つずつたどっていき、まだキャッシュされていない URL はすべて CDN を素通りしてオリジンに届きます。キャッシュが温まるまでは、CDN はまだ盾にならず、重い処理を担うのは依然としてオリジンです。

Google の 3 つの推奨事項

  • ボットをブロックしている場合は、CDN とファイアウォールで検証済みのクローラーを許可してください。ほとんどの CDN や WAF には、既知のボットや検証済みのボットを許可するスイッチやマネージドルールがあり、Google のクローラーは Google が公開している IP 範囲で識別できます。さらに望ましいのは、自動化されたトラフィックをすべてブロックするのではなく、robots.txt やルールで不要な特定のボットに的を絞ることです。例外を設けずにサイト全体で CAPTCHA チャレンジを有効にすると、Google のクローラーはそれを通過できず、時間とともにページが検索結果から消えていきます。
  • 切り替える前にキャッシュを温めておきます。すべてのトラフィックを新しい CDN 経由にする前に、アクセスの最も多いページ、トラフィックのピークを控えたページ(キャンペーンなど)、最も頻繁にクロールされる URL を、ペースを抑えながら CDN 経由でリクエストしておきましょう。
  • オリジンがどうしても耐えられない場合は、短期間(数時間、長くても 1〜2 日)だけ 429 または 503 を返してクローラーを減速させます。詳しくは、クロール頻度を緊急に下げるための Google のガイドを取り上げたこちらの記事をご覧ください。

Google-Agent とは何か、どう許可するか

Google-Agent は、Google のインフラ上でホストされる AI エージェントが、ユーザーの依頼を受けてウェブを閲覧したり操作を実行したりするときに使う名前です。これはユーザーが起動するフェッチャー(user-triggered fetcher)で、Google のドキュメントによると、こうした取得はユーザーの依頼によるものなので、この種のフェッチャーは一般に robots.txt のルールを無視します。許可するかどうかはサイト運営者の判断で、Google のページは受け入れたい運営者に向けて書かれています。識別には、Google-Agent を含む User-Agent ヘッダーと、Google が公開している user-triggered-agents.json の範囲内にある送信元 IP を使います。Google は Web Bot Auth も試験中で、HTTP Message Signatures(RFC 9421)でリクエストに署名し、Signature-Agent: g="https://agent.bot.goog" ヘッダーを付けています。許可した後もリクエストがブロックされる場合に確認すべき点として、Google は次のものを挙げています。

  • ルールの順序:許可ルールは、クラウドやデータセンターの ASN を広くブロックするルール、マネージドボットルール、「block AI agents」(AI エージェントをブロック)のようなカテゴリールールよりも前に置く必要があります。
  • チャレンジの種類:完全なブロックだけでなく、対話型の CAPTCHA や JavaScript チャレンジもスキップさせます。検索ボックスやフォーム送信の際に表示される認証ウィジェットも対象です。
  • 対象範囲:トップページだけでなく、サイト内検索、絞り込み、詳細ページ、カートへの追加、予約、そしてそれらの裏にある XHR、GraphQL、api.* のエンドポイントも許可します。
  • IP ごとのレート制限:多数のユーザーからのリクエストが同じ送信元 IP を共有するため、IP ごとのレート制限ルール(fail2ban など、自分で動かしているツールを含む)では、これらの範囲を除外してください。
  • IP の更新とプロキシ:IP ルールを user-triggered-agents.json と同期させ、ロードバランサーやリバースプロキシが元のクライアント IP、User-Agent、署名関連のヘッダーを保持するようにしてください。

CDN の基本はCDN とはを、Cloudflare の設定はCloudflare でサイトを高速化・保護する方法をご覧ください。