L'année 2026 a marqué un tournant historique pour le web : les requêtes automatisées ont dépassé pour la première fois celles des humains. Les données du secteur situent les robots à environ 57,5 % du trafic HTML, contre 42,5 % pour les personnes réelles. La part qui progresse le plus vite est celle des crawlers d'entraînement et d'indexation d'IA — passée de 2,6 % à 10,1 % du trafic en huit mois seulement, le seul GPTBot d'OpenAI croissant de plus de 300 %.

Pourquoi votre facture d'hébergement a augmenté

Beaucoup d'éditeurs constatent le même phénomène étrange : les visiteurs humains stagnent, mais la bande passante et le CPU grimpent et les pages ralentissent. Il ne s'agit généralement pas d'une attaque, mais de crawlers d'IA effectuant des explorations profondes. Un seul cycle de crawler d'entraînement peut consommer une part notable de la bande passante mensuelle d'un site, et pour les sites riches en contenu le trafic supplémentaire des crawlers d'IA peut atteindre plusieurs téraoctets par mois.

Le plus douloureux, c'est le retour sur investissement

Quand un moteur de recherche classique vous explore, il vous rend la pareille en classement et en clics. Les crawlers d'IA, pas forcément. Des mesures ont montré que certains grands crawlers d'IA récupèrent des centaines de milliers de pages pour chaque visiteur renvoyé. Vous payez, de fait, pour une exploration qui ne vous ramène presque personne.

Quatre réponses concrètes

  • Sachez d'abord qui vous explore : analysez le champ User-Agent de vos journaux Nginx/Apache et mesurez le nombre de requêtes et la bande passante de GPTBot, ClaudeBot, PerplexityBot, CCBot, Bytespider et consorts. Ne devinez pas.
  • Utilisez robots.txt pour graduer l'accès, pas pour claquer la porte : autorisez les crawlers de recherche qui vous apportent de la visibilité, restreignez les crawlers purement d'entraînement, et interdisez explicitement les répertoires que vous ne voulez jamais voir entraînés — chemins d'administration, espaces membres, pages de filtres dupliquées.
  • Limitez le débit côté serveur : robots.txt n'est qu'un accord de bonne foi. Pour les crawlers qui l'ignorent, utilisez limit_req et limit_conn de Nginx en fonction du User-Agent ou de l'IP, et renvoyez un 403 lorsque cela se justifie.
  • Isolez les humains de la charge des crawlers : activez la mise en cache des pages et un CDN pour que les crawlers touchent le cache plutôt que votre application et votre base à chaque requête.

Ce que cela implique pour le choix d'hébergement

Quand les robots deviennent majoritaires, l'hébergement mutualisé devient plus fragile : un site voisin pris d'assaut vous ralentit aussi, et les dépassements peuvent déclencher un bridage ou une facturation surprise. Un VPS dédié vous donne vos propres CPU, mémoire et bande passante — quand une vague de crawlers arrive, vous pouvez limiter le débit, bloquer et réajuster le cache vous-même au lieu d'attendre un ticket de support.

Les offres SharkCloud incluent des IP dédiées et des spécifications de ressources clairement énoncées, avec des nœuds à Hong Kong, au Japon et aux États-Unis pour héberger au plus près de votre audience — afin de garder coût et performance entre vos mains.