Un labyrinthe plutôt qu'un mur
Plutôt que de bloquer frontalement les crawlers IA, Cloudflare a choisi une approche inédite : les piéger. Lancé le 19 mars 2025, AI Labyrinth génère des pages leurres convaincantes qui attirent les bots non autorisés dans un réseau de liens sans fin, gaspillant leurs ressources de calcul sur du contenu sans valeur.
L'outil utilise Workers AI avec un modèle open source pour créer du contenu pré-généré, stocké dans le service R2 de Cloudflare. Les pages contiennent des faits scientifiques vérifiés — pas de désinformation — mais sont totalement hors sujet par rapport au site protégé. Un crawler légitime qui respecte les directives nofollow ignore ces liens ; un bot qui ne les respecte pas s'enfonce dans le labyrinthe.
50 milliards de requêtes bots par jour
L'ampleur du problème justifie la solution. Cloudflare observe plus de 50 milliards de requêtes de crawlers IA par jour sur son réseau, soit environ 1 % du trafic web total. Le déséquilibre entre crawl et trafic référé est massif : ClaudeBot (Anthropic) effectue environ 71 000 requêtes pour chaque clic renvoyé vers les sites sources.
Depuis le 1er juillet 2025, Cloudflare a franchi un cap supplémentaire : tous les nouveaux domaines bloquent les crawlers IA par défaut. Trois options sont proposées : ne pas bloquer, bloquer sur toutes les pages, ou bloquer uniquement sur les pages contenant de la publicité.
Double fonction : piège et radar
AI Labyrinth ne se contente pas de gaspiller les ressources des bots. Il sert aussi d'outil de détection : aucun humain réel ne s'enfoncerait quatre liens profond dans un labyrinthe de contenu généré. Chaque bot qui mord à l'hameçon est identifié et ajouté à une liste de mauvais acteurs, enrichissant la base de données de Cloudflare pour l'ensemble de ses clients.
Les liens leurres sont intégrés via une transformation HTML personnalisée, invisibles pour les visiteurs humains grâce à des attributs de style appropriés. Les balises noindex protègent le SEO du site en empêchant l'indexation par les moteurs de recherche légitimes.
Un outil gratuit, une portée massive
AI Labyrinth est disponible pour tous les clients Cloudflare, y compris le plan gratuit. L'activation se fait en un clic dans le tableau de bord (Security > Settings). Étant donné que Cloudflare protège environ 20 % du web public, l'impact potentiel est considérable.
La stratégie de Cloudflare évite la course détection/évasion classique : au lieu d'identifier et bloquer chaque bot (ce qui pousse les attaquants à s'adapter), elle rend le scraping non autorisé coûteux et improductif. Une approche que l'industrie surveille de près.
