2026 年 7 月 1 日、Cloudflare は内容を扱うサイトの流入構造を変えうる既定値を発表しました。2026 年 9 月 15 日以降、広告を表示するページでは「混合用途」の AI クローラーが既定で遮断されます。同時に、これまでの Pay Per Crawl（取得ごとの支払い）の実験は、より広い Pay Per Use（利用ごとの支払い）へと発展します。

誰が遮断され、誰がされないのか

Cloudflare はクローラーの振る舞いを三つに分けており、この区分が新しい既定値を理解する鍵です。

  • Search（検索）：後で問いに答えるために内容を集めて索引を作る——引き続き許可。
  • Agent（代理）：AI 代理が実時間で誰かの代わりに動く——広告のあるページでは既定で遮断。
  • Training（学習）：モデルの学習や微調整のために内容を取得する——広告のあるページでは既定で遮断。

新しい既定値は、新規の顧客、既存顧客が新たに追加するサイト、そして現存するすべての無償利用者に適用されます。つまり多くの個人運営者は、何もしなくても 9 月 15 日以降に振る舞いが変わります。所有者は設定で既定値を上書きできます。Pay Per Use の最初の提携先には Ceramic.ai（内容が検索結果に現れた際に支払う）と You.com（代理が有料の内容にアクセスした際に支払う）が含まれます。

自前サイトにとっての意味

広告を出していて、露出の相当部分が AI の回答や AI 代理から来ているなら、この既定値はサーバーの負荷と露出を同時に減らしうるものです。帯域の請求は軽くなりますが、AI の回答で引用される機会も減ります——そして引用は静かに独自の流入経路になりつつあります。広告を出さず自社の製品や役務で収益を得ているなら、既定値が自動で状況を変えることはなく、誰を許可するかは自分で決めることになります。

いま手を打てる四つのこと

  • 決める前に測る：Nginx や Apache のログから、GPTBot、ClaudeBot、PerplexityBot、CCBot、Bytespider ごとの要求数と帯域を切り分け、それぞれが実際に返してくる引き込みと比べてください。
  • 門を閉ざすのではなく段階を付ける：露出をもたらす検索型は許可し、純粋な学習型は制限し、管理画面、会員領域、重複する絞り込みページは端から拒否します。
  • 自分の制御点を持つ：robots.txt は紳士協定です。Nginx の limit_req と limit_conn を User-Agent か IP で効かせ、必要なら 403 を返す。方針全体を上流の既定値に委ねないことです。
  • その前後で引き込みの数字を見る：9 月 15 日の前と後で基準値を取り、遮断を続けるか開くかを決めてください。

なぜこれが VPS の価値を高めるのか

「誰に取得を許すか」が能動的な経営判断になった以上、それを設定する層に手が届く必要があります。共用ホスティングでは速度制限の規則を書けず、完全なログも見られず、User-Agent 単位の方針も適用できません。自分の VPS なら、すべてが自分のものです。SharkCloud のプランは専用 IP と明確な資源の仕様を備え、香港、日本、米国のノードで利用者の近くに置けます——切り替えの手を自分の側に残せます。