Google a publié deux guides liés à l'exploration en une semaine. Le 11 novembre, un article du blog Search Central a expliqué comment migrer un site vers un CDN sans submerger le serveur d'origine ni bloquer Googlebot, et le 17 novembre, la documentation sur l'exploration s'est enrichie d'une page « Allow Google-Agent traffic » qui explique comment le laisser passer à travers les CDN, les pare-feu et les services de détection de bots. Si vous hébergez un site sur un VPS derrière un CDN ou un WAF, les deux méritent d'être lus.

Pourquoi l'origine est plus sollicitée après le passage à un CDN

  • Google fixe sa limite de capacité d'exploration (hostload) en fonction de la rapidité et de la stabilité de votre serveur : quand les réponses ralentissent, il ralentit, et quand elles sont rapides et régulières, et qu'il existe une demande d'exploration, la limite augmente progressivement.
  • Dès que votre domaine pointe vers un CDN, les temps de connexion et de réponse chutent nettement, ce qui, aux yeux de Google, ressemble à une mise à niveau matérielle de votre serveur : le rythme d'exploration commence donc à grimper.
  • Mais un nouveau CDN démarre avec un cache vide. Les visiteurs humains se concentrent sur quelques pages, comme la page d'accueil et les articles populaires, qui sont vite mises en cache ; les robots d'exploration font l'inverse et parcourent un grand nombre d'URL une par une, et chaque URL pas encore en cache traverse le CDN jusqu'à l'origine. Tant que les caches ne sont pas chauds, le CDN ne fait pas encore office de bouclier et c'est toujours l'origine qui porte l'essentiel de la charge.

Les trois recommandations de Google

  • Si vous bloquez des bots, autorisez les robots vérifiés dans votre CDN et votre pare-feu. La plupart des CDN et des WAF disposent d'une option ou d'une règle gérée pour autoriser les bots connus ou vérifiés, et les robots de Google s'identifient grâce aux plages d'IP qu'il publie ; mieux encore, ciblez des bots indésirables précis avec robots.txt ou des règles, plutôt que de bloquer tout le trafic automatisé. Si vous activez des défis CAPTCHA sur tout le site sans exemptions, les robots de Google ne peuvent pas les franchir, et vos pages finissent par disparaître des résultats de recherche.
  • Préchauffez vos caches avant de basculer : avant de faire passer tout le trafic par le nouveau CDN, demandez à travers le CDN, à un rythme maîtrisé, vos pages les plus visitées, celles qui vont connaître un pic de trafic (comme les promotions) et vos URL les plus fréquemment explorées.
  • Si l'origine ne tient vraiment pas la charge, renvoyez des codes 429 ou 503 pendant une courte période (quelques heures, ou 1 à 2 jours au maximum) pour ralentir les robots ; les détails se trouvent dans notre article sur le guide de Google consacré à la réduction d'urgence du rythme d'exploration.

Ce qu'est Google-Agent et comment l'autoriser

Google-Agent est le nom utilisé par les agents d'IA hébergés sur l'infrastructure de Google lorsqu'ils naviguent sur le Web et effectuent des actions à la demande d'un utilisateur. Il s'agit d'un outil de récupération déclenché par l'utilisateur (user-triggered fetcher), et la documentation de Google indique que, ces récupérations étant demandées par un utilisateur, ces outils ignorent généralement les règles de robots.txt. L'autoriser ou non relève de votre choix ; la page de Google s'adresse aux propriétaires de sites qui veulent le laisser entrer. On l'identifie par un en-tête User-Agent contenant Google-Agent et par une IP source comprise dans les plages du fichier user-triggered-agents.json publié par Google ; Google expérimente aussi Web Bot Auth, qui signe les requêtes avec HTTP Message Signatures (RFC 9421) et ajoute un en-tête Signature-Agent: g="https://agent.bot.goog". Si les requêtes sont toujours bloquées après que vous l'avez autorisé, Google énumère les points suivants à vérifier :

  • L'ordre des règles : la règle d'autorisation doit passer avant les blocages larges par ASN de cloud ou de centre de données, les règles de bots gérées et les règles par catégorie comme « bloquer les agents d'IA ».
  • Les types de défis : exemptez-le aussi des CAPTCHA interactifs et des défis JavaScript, pas seulement des blocages purs et simples, y compris des widgets de vérification qui apparaissent sur les champs de recherche ou à l'envoi de formulaires.
  • La couverture : autorisez bien plus que la page d'accueil, y compris la recherche interne, les filtres, les pages de détail, l'ajout au panier, la réservation, ainsi que les points de terminaison XHR, GraphQL et api.* qui se trouvent derrière.
  • Les limites de débit par IP : les requêtes de nombreux utilisateurs partagent les mêmes IP de sortie ; les règles de limitation de débit par IP (y compris celles des outils que vous gérez vous-même, comme fail2ban) doivent donc exempter ces plages.
  • Les mises à jour d'IP et les proxys : synchronisez vos règles d'IP avec user-triggered-agents.json, et assurez-vous que les répartiteurs de charge et les proxys inverses conservent l'IP d'origine du client, le User-Agent et les en-têtes liés à la signature.

Pour les bases du CDN, voir ce qu'est un CDN, et pour configurer Cloudflare, voir accélérer et protéger votre site avec Cloudflare.