Le 30 octobre, Google Search Central et Microsoft Bing ont tous deux annoncé leur soutien à une syntaxe robots.txt commune pour dire « n'utilisez pas mon contenu pour entraîner l'IA ». Elle provient d'un Internet-Draft que K. Kelley, d'Anthropic, a soumis le même jour au groupe de travail AI Preferences (AIPREF) de l'IETF, et repose sur un nouveau « jeton de politique », __usage_ai-training : un site l'écrit une fois et tous les fournisseurs d'IA participants le respectent, sans avoir à rédiger des règles distinctes pour le robot de chaque entreprise. Selon Search Engine Journal, OpenAI affirme aussi qu'il le respectera ; SEJ rappelle qu'il ne s'agit encore que d'un brouillon individuel et non d'une normalisation officielle de l'IETF, et qu'aucune des trois entreprises ne le prend encore en charge.

La syntaxe et les règles

  • Il s'agit d'un groupe robots.txt ordinaire, sans nouvelle directive. Exclure tout le site de l'entraînement s'écrit User-Agent: __usage_ai-training suivi de Disallow: / ; l'exemple du brouillon ajoute Allow: /press-kit/, ce qui signifie que seul ce dossier peut servir à l'entraînement.
  • Un groupe générique comme User-Agent: * ne compte pas comme une préférence d'entraînement, et un fichier sans groupe __usage_ai-training n'exprime aucune préférence.
  • Il exprime la manière dont le contenu peut être utilisé et n'est pas une directive d'exploration : pour limiter qui explore et à quelle vitesse, continuez d'utiliser le groupe propre à chaque robot. Les anciens analyseurs qui ne reconnaissent pas le jeton le traitent comme un nom de robot inconnu et l'ignorent, si bien que les règles existantes fonctionnent comme avant.

Comment Google et Bing l'appliqueront

  • Google : lorsqu'un site utilise le jeton pour refuser l'entraînement sans préciser Google-Extended séparément, Google prévoit de le traiter comme si Google-Extended était interdit ; les règles Google-Extended existantes continuent de fonctionner. Google indique que les sites qui autorisent Google-Extended peuvent apparaître dans les réponses et recevoir des clics grâce à l'ancrage (grounding) dans les applications Gemini ; refuser l'entraînement avec le jeton revient donc aussi à renoncer à l'ancrage dans les applications Gemini côté Google, ce que relève également SEJ. Google vise une prise en charge, avec d'autres fournisseurs d'IA, en 2027.
  • Bing : appliqué lors de l'exploration des pages à partir du 1er février 2027. Outre la préférence d'entraînement dans robots.txt, il existe une forme au niveau de la page, <meta name="Bingbot" content="ai-training:disallow"> ou l'en-tête X-Robots-Tag: Bingbot: ai-training:disallow, ainsi qu'une préférence d'ancrage IA distincte avec les options Allow, DisallowExtended et Disallow. Aucune ne modifie l'éligibilité d'un site aux résultats de recherche classiques de Bing.
  • Les nouvelles préférences de Bing remplacent NoArchive et NoCache : les sites qui utilisent ces balises doivent basculer d'ici le 1er mars 2027, après quoi elles ne seront plus lues comme des préférences d'entraînement ou d'ancrage, et à partir du 15 décembre 2026 ces sites pourront aussi enregistrer un réglage de transition dans Bing Webmaster Tools.

Ce que les propriétaires de sites peuvent faire dès maintenant

Décidez d'abord de ce que vous voulez. Pour rester dans les résultats de recherche tout en refusant l'entraînement, ajoutez le groupe ci-dessus et ne touchez pas à vos règles d'exploration pour Googlebot et Bingbot ; pour être cité dans les réponses de l'IA, ne bloquez pas Google-Extended et laissez la préférence d'ancrage de Bing sur sa valeur par défaut, Allow. Après avoir modifié robots.txt, gardez en tête la mise en garde de Bing : un réglage ne prend effet qu'une fois la page explorée à nouveau ; une notification via IndexNow augmente les chances d'une nouvelle exploration, sans garantir de date. Pour aller plus loin : les scores de confiance de Cloudflare pour les robots dans cet article, son blocage par défaut des robots d'IA ici, la recherche IA « zéro clic » dans cet article, et le coût en bande passante des robots d'IA ici.