Common Crawl sous pression : le robots.txt ne suffit plus face aux IA

Les éditeurs américains viennent de déplacer le débat sur le crawl IA. Le sujet n’est plus seulement de bloquer un robot. Ils demandent à Common Crawl d’arrêter la collecte, de ne plus distribuer leurs contenus et de supprimer les données déjà archivées.

C’est une différence majeure. Et pour les responsables SEO, elle impose de distinguer trois choses souvent mélangées : le crawl, l’archivage et l’usage par un modèle d’IA.

Common Crawl, la plomberie invisible des modèles

Common Crawl archive le Web depuis 2007 et collecte plusieurs milliards de pages chaque mois. Ses fichiers sont gratuits et utilisés par des chercheurs, des outils d’analyse et des entreprises qui entraînent des modèles de langage.

Digital Content Next, qui représente notamment l’Associated Press, Bloomberg, NPR, Fox et le New York Times, lui a adressé une mise en demeure. La News/Media Alliance mène une démarche parallèle. Plus de 900 sites d’actualité figureraient déjà dans une demande groupée d’exclusion.

Leur position est simple : le droit d’auteur ne fonctionne pas en opt-out. Selon eux, ce n’est pas à l’éditeur de découvrir chaque crawler puis de le bloquer. C’est à celui qui copie et redistribue le contenu d’obtenir une autorisation.

Cette bataille dépasse la presse. Un comparateur, un site juridique, une base documentaire ou un média spécialisé produit aussi des données coûteuses. Si ces données nourrissent des réponses qui remplacent la visite, le modèle économique se dégrade.

Bloquer CCBot ne supprime rien du passé

Pour empêcher les prochains passages de Common Crawl, la règle technique reste courte :

User-agent: CCBot
Disallow: /

Mais ce fichier robots.txt ne retire pas les pages déjà collectées. Il ne constitue pas non plus une licence et ne contrôle pas les téléchargements réalisés à partir d’anciennes archives.

Common Crawl explique que ses fichiers WARC ont été conçus comme des ensembles immuables. Modifier rétroactivement des archives distribuées depuis des années est donc complexe. L’organisation peut filtrer des URL dans ses index publics et cesser les futurs crawls. Elle ne peut pas rappeler magiquement toutes les copies déjà téléchargées.

Voilà le vrai problème. Beaucoup d’entreprises pensent avoir réglé la question après l’ajout de trois lignes dans robots.txt. En réalité, elles ont fermé la porte aujourd’hui après avoir laissé circuler des copies hier.

Le SEO doit piloter les accès, pas cocher une case

Je déconseille les blocages globaux décidés en quinze minutes. Googlebot, CCBot, GPTBot et les agents de récupération ne remplissent pas la même fonction. Les bloquer produit des effets différents.

Un audit sérieux doit répondre à quatre questions :

1. Quels robots accèdent réellement au serveur ? Les logs font foi, pas une liste copiée sur LinkedIn.
2. Quelles sections ont une valeur sensible ? Un catalogue public et une base premium ne se gèrent pas pareil.
3. Quel bénéfice reçoit-on en échange du crawl ? Indexation, citation, trafic, visibilité de marque ou rien de mesurable ?
4. Le blocage est-il appliqué au bon niveau ? Robots.txt donne une consigne. Un WAF peut refuser techniquement l’accès.

Il faut aussi conserver une preuve datée des règles, surveiller les changements de user-agent et comparer les volumes servis. Sur un gros site, quelques robots peuvent consommer des millions de requêtes sans envoyer un seul visiteur.

Mon avis : l’opt-out technique est déjà dépassé

Le robots.txt a été pensé pour organiser le crawl, pas pour arbitrer le droit d’auteur à l’échelle de l’IA. Lui faire porter cette responsabilité est absurde.

À court terme, les éditeurs doivent segmenter leurs contenus, analyser leurs logs et bloquer les usages sans contrepartie lorsqu’ils sont identifiables. À moyen terme, le marché ira vers des permissions explicites, des licences et des accès authentifiés. Le simple user-agent déclaré de bonne foi ne peut pas rester l’unique frontière.

Pour le SEO, la conclusion est moins spectaculaire mais plus utile : être crawlable ne garantit plus d’être visible, cité ou rémunéré. Chaque accès automatisé doit désormais avoir une finalité connue. Sinon, ce n’est pas une stratégie de visibilité. C’est une distribution gratuite sans tableau de bord.

Sources : Search Engine Journal, News/Media Alliance, Press Gazette.