robots.txt para rastreadores de IA: o que permitir

A maioria dos sites que somem das respostas do ChatGPT fez isso consigo mesma. Alguém leu uma manchete sobre scraping de IA, colou um bloco de regras Disallow: / no robots.txt e fechou a porta também para os bots que buscam páginas quando um cliente faz uma pergunta.

A correção leva dez minutos, mas é preciso saber que cada empresa de IA opera mais de um bot e que eles fazem trabalhos diferentes.

Índice

Bots de treinamento e bots de resposta não são a mesma coisa

Hoje toda grande empresa de IA separa o rastreamento por finalidade. Conferi a documentação de cada fornecedor antes de escrever isto.

Duas coisas sobre essa tabela. O Google-Extended não tem uma string de user agent própria, então nunca aparece nos logs do seu servidor. E o ChatGPT-User é o caso fora da regra: como uma pessoa pediu a página, a OpenAI diz que ele pode nem seguir o robots.txt.

A decisão: três configurações

1. Porta aberta. Permitir tudo. É o que uso neste site, com todos os bots acima em Allow: /. Quero ser citado, e prefiro ser citado a ser protegido.

2. Fora do treinamento, dentro das respostas. Bloqueie GPTBot, ClaudeBot e Google-Extended. Permita OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User e PerplexityBot. Serve para editores que vendem o próprio acervo ou temem o reaproveitamento, mas querem aparecer quando alguém pergunta.

3. Porta fechada. Bloquear todos. Só faça isso se a visibilidade em IA não vale nada para você, por exemplo um produto de pesquisa pago e vendido por ligação comercial. Todos os outros trocam descoberta por uma sensação de controle.

Para o cliente de uma agência ou um negócio local, quase sempre acerta a 1 ou a 2. A 3 raramente é uma decisão que alguém realmente pensou.

O arquivo para a opção 2

Acrescente estas linhas ao seu robots.txt atual. Não substitua o arquivo: a linha do sitemap e suas regras para Googlebot e Bingbot precisam ficar.

# Training: opted out
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

# Search and live answers: allowed
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: PerplexityBot
Allow: /

Se preferir não editar na mão, o gerador de robots.txt para IA tem um botão por bot e entrega as linhas prontas para colar.

Confira se funciona de verdade

1. Abra https://seudominio.com/robots.txt no navegador. Ele precisa carregar como texto simples na raiz do domínio, uma vez por subdomínio.
2. Passe seu site pelo verificador de acesso de rastreadores de IA para ver quais bots suas regras deixam entrar.
3. Espere. A OpenAI diz que seus sistemas podem levar cerca de 24 horas para se ajustar depois de uma atualização do robots.txt.
4. Verifique se o firewall ou a CDN não estão bloqueando os bots mesmo assim. Um Allow no robots.txt não adianta se uma regra de proteção contra bots devolve 403 ao mesmo rastreador. É a primeira coisa que eu procuraria quando um site «permite» bots de IA e continua sem citações.

O que não fazer

• Não bloqueie por endereço IP. A documentação da Anthropic avisa que o bloqueio por IP pode não garantir a exclusão, porque pode impedir o bot de ler seu robots.txt.
• Não trate o robots.txt como segurança. É um pedido que bots identificados e bem-comportados respeitam. Scrapers que o ignoram exigem regras no servidor.
• Não use o robots.txt para tirar páginas do Google. Isso é trabalho do noindex.
• Crawl-delay não é padrão. A Anthropic diz que o ClaudeBot o suporta. Não presuma que todos os bots suportam.

Mais um arquivo que vale publicar

Com as portas abertas, diga aos bots onde estão as páginas boas. É para isso que serve o llms.txt, e meu artigo sobre se ele realmente move as citações mostra o que espero dele. Para saber se tudo isso está rendendo, meça seu tráfego de busca com IA.