Cloudflare a publié ce mois-ci deux articles consécutifs consacrés aux robots d'exploration. Celui du 16 octobre annonce que l'entreprise évalue désormais en continu le comportement des robots vérifiés (Verified bots) : vérifier l'identité d'un robot indique seulement qui il est, alors que la confiance dépend de ce qu'il fait ensuite. Celui du 15 octobre présente les premiers résultats d'un projet pilote de recherche mené avec OpenAI depuis juillet 2026. Les deux touchent directement à la façon dont les propriétaires de sites traitent avec les robots.
Le score de confiance repose sur deux critères
- Le robot respecte-t-il robots.txt ? Le système vérifie si le trafic observé d'un robot reste, dans la durée, conforme aux préférences robots.txt publiées par un site (selon la RFC 9309). Les violations isolées et ponctuelles pèsent peu ; ce qui compte, ce sont les comportements répétés de mépris des préférences du site. Cloudflare souligne aussi que robots.txt ne fixe que des règles minimales : ce qu'il n'interdit pas n'est pas pour autant autorisé.
- Ralentit-il après un HTTP 429 ? Un 429 (Too Many Requests) est la demande directe d'un site de réduire le rythme des requêtes. Le système vérifie si le robot ralentit, fait une pause ou continue au même rythme : ralentir de façon constante augmente la confiance, ignorer le signal de façon répétée la diminue.
- Le résultat prend la forme d'une « fourchette de confiance » explicable plutôt que d'un jugement définitif sur un robot. Cloudflare utilise déjà ce système en interne, publiera les scores sur Radar et prévoit de l'ouvrir à tous ses clients, qui pourront choisir le seuil de confiance servant à décider du traitement du trafic des robots vérifiés. À titre d'exemple, l'article rappelle qu'en 2025 l'entreprise a retiré le robot de Perplexity de sa liste de robots vérifiés après qu'il a tenté de contourner les contrôles mis en place par des sites.
Le pilote avec OpenAI : aider ChatGPT à trouver les pages vers lesquelles personne ne pointe
- Le pilote a commencé en juillet 2026 avec une cohorte représentant environ 1 % du réseau de Cloudflare. Cloudflare fournit des signaux issus de son réseau au robot de recherche d'OpenAI, qui évalue et classe les pages de manière indépendante. À ce jour, cela a permis à OpenAI de découvrir et d'indexer des centaines de millions de nouvelles pages web.
- Cloudflare précise que la recherche utilise des métadonnées sur les pages à des fins de recherche et de découverte, et non le contenu des pages pour entraîner des modèles, et qu'un signal concernant une page ne vaut pas autorisation d'y accéder : les choix des propriétaires de sites continuent de s'appliquer.
- L'article note aussi que la découverte de nouvelles pages peut dans un premier temps augmenter l'exploration, le temps de les évaluer et de les indexer. Il constate que de nombreux sites redirigent presque n'importe quelle adresse vers leur page d'accueil, ou servent le même contenu à plusieurs adresses, ce qui gaspille le travail des robots ; filtrer ces cas réduit la charge sur les serveurs d'origine.
Ce que les propriétaires de sites peuvent faire dès maintenant
Tenez votre robots.txt exact : c'est désormais à la fois la règle du jeu pour les moteurs de recherche et un élément dont Cloudflare se sert pour juger si un robot est digne de confiance. Renvoyez un vrai 404 pour les pages qui n'existent pas plutôt que de tout rediriger vers la page d'accueil. Si votre serveur ne tient vraiment plus, renvoyez 429 ou 503 avec Retry-After ; la marche à suivre et ce qu'elle coûte sont détaillés dans la réécriture, le 6 octobre, du guide de Google sur la réduction d'urgence de l'exploration. Pour savoir d'abord qui explore votre site, consultez les journaux d'accès comme décrit dans diagnostiquer un CPU à 100 % sur un VPS ; pour l'impact des robots d'IA sur la bande passante, voir cet article ; pour le blocage par défaut des robots d'IA par Cloudflare, voir le changement du 15 septembre ; et pour placer votre site derrière Cloudflare, voir accélérer et protéger un site sur VPS avec Cloudflare.