robots.txt pour les robots IA : quoi autoriser

La plupart des sites qui disparaissent des réponses de ChatGPT se sont fait ça tout seuls. Quelqu’un a lu un titre sur le scraping par l’IA, collé un bloc de règles Disallow: / dans le robots.txt, et fermé la porte aux robots qui récupèrent les pages quand un client pose une question.

La correction prend dix minutes, à condition de savoir que chaque entreprise d’IA exploite plusieurs robots, et qu’ils n’ont pas le même rôle.

Table des matières

Robots d’entraînement et robots de réponse, ce n’est pas la même chose

Toutes les grandes entreprises d’IA séparent désormais leur exploration selon l’usage. J’ai vérifié la documentation de chaque éditeur avant d’écrire ceci.

Deux précisions sur ce tableau. Google-Extended n’a pas de chaîne user agent propre, donc il n’apparaît jamais dans les logs de votre serveur. Et ChatGPT-User fait exception : comme c’est une personne qui demande la page, OpenAI dit qu’il peut ne pas suivre le robots.txt du tout.

La décision : trois configurations

1. Porte ouverte. Tout autoriser. C’est ce que j’applique sur ce site, avec chaque robot ci-dessus en Allow: /. Je veux être cité, et je préfère être cité que protégé.

2. Hors de l’entraînement, dans les réponses. Bloquez GPTBot, ClaudeBot et Google-Extended. Autorisez OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User et PerplexityBot. Cela convient aux éditeurs qui vendent leurs archives ou craignent la réutilisation, et veulent quand même apparaître quand quelqu’un pose une question.

3. Porte fermée. Tout bloquer. À réserver au cas où la visibilité dans l’IA ne vous apporte rien, par exemple un produit d’étude payant vendu par appel commercial. Tous les autres sacrifient leur visibilité pour une impression de contrôle.

Pour le client d’une agence ou un commerce local, la 1 ou la 2 est presque toujours la bonne. La 3 est rarement une décision réellement réfléchie.

Le fichier pour l’option 2

Ajoutez ces lignes à votre robots.txt existant. Ne remplacez pas le fichier : votre ligne de sitemap et vos règles pour Googlebot et Bingbot doivent rester.

# Training: opted out
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

# Search and live answers: allowed
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: PerplexityBot
Allow: /

Si vous préférez ne pas l’éditer à la main, le générateur de robots.txt pour l’IA propose un interrupteur par robot et vous donne les lignes prêtes à coller.

Vérifier que ça marche vraiment

1. Ouvrez https://votredomaine.com/robots.txt dans un navigateur. Il doit se charger en texte brut à la racine du domaine, une fois par sous-domaine.
2. Passez votre site dans le vérificateur d’accès des robots IA pour voir quels robots vos règles laissent entrer.
3. Patientez. OpenAI indique qu’il peut falloir environ 24 heures après une mise à jour du robots.txt pour que ses systèmes s’ajustent.
4. Vérifiez que votre pare-feu ou votre CDN ne bloque pas quand même les robots. Un Allow dans le robots.txt ne sert à rien si une règle anti-bot renvoie un 403 au même robot. C’est la première chose que je chercherais quand un site « autorise » les robots IA sans obtenir de citations.

Ce qu’il ne faut pas faire

• Ne bloquez pas par adresse IP. La documentation d’Anthropic avertit que le blocage par IP peut ne pas garantir l’exclusion, car il peut empêcher le robot de lire votre robots.txt.
• Ne traitez pas le robots.txt comme une sécurité. C’est une demande que respectent les robots identifiés et bien élevés. Les scrapers qui l’ignorent demandent des règles côté serveur.
• N’utilisez pas le robots.txt pour retirer des pages de Google. C’est le rôle de noindex.
• Crawl-delay n’est pas standard. Anthropic dit le prendre en charge pour ClaudeBot. Ne supposez pas que tous les robots le font.

Un autre fichier à publier

Une fois les portes ouvertes, dites aux robots où sont les bonnes pages. C’est le rôle de llms.txt, et mon analyse pour savoir s’il fait vraiment bouger les citations dit ce que j’en attends. Pour savoir si tout cela paie, mesurez votre trafic de recherche IA.