robots.txt para rastreadores de IA: qué permitir

La mayoría de los sitios que desaparecen de las respuestas de ChatGPT se lo hicieron a sí mismos. Alguien leyó un titular sobre el scraping de IA, pegó un bloque de reglas Disallow: / en el robots.txt y cerró también la puerta a los bots que buscan páginas cuando un cliente hace una pregunta.

Arreglarlo lleva diez minutos, pero hay que saber que cada empresa de IA maneja más de un bot y que cada uno hace un trabajo distinto.

Tabla de contenidos

Los bots de entrenamiento y los de respuesta no son lo mismo

Todas las grandes empresas de IA separan hoy su rastreo por finalidad. Revisé la documentación de cada proveedor antes de escribir esto.

Dos cosas sobre esa tabla. Google-Extended no tiene cadena de user agent propia, así que nunca aparece en los logs de tu servidor. Y ChatGPT-User es el caso raro: como lo pidió una persona, OpenAI dice que quizá ni siquiera siga el robots.txt.

La decisión: tres configuraciones

1. Puerta abierta. Permitirlo todo. Es lo que uso en este sitio, con cada bot de arriba en Allow: /. Quiero que me citen, y prefiero que me citen a que me protejan.

2. Fuera del entrenamiento, dentro de las respuestas. Bloquea GPTBot, ClaudeBot y Google-Extended. Permite OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User y PerplexityBot. Le sirve a los editores que venden su archivo o temen la reutilización, y aun así quieren aparecer cuando alguien pregunta.

3. Puerta cerrada. Bloquearlos todos. Solo si la visibilidad en IA no te aporta nada, por ejemplo un producto de investigación de pago que se vende por llamada comercial. Todos los demás cambian descubribilidad por una sensación de control.

Para el cliente de una agencia o un negocio local, casi siempre acierta la 1 o la 2. La 3 rara vez es una decisión que alguien haya pensado de verdad.

El archivo para la opción 2

Añade estas líneas a tu robots.txt actual. No reemplaces el archivo: la línea del sitemap y tus reglas para Googlebot y Bingbot tienen que quedarse.

# Training: opted out
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

# Search and live answers: allowed
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: PerplexityBot
Allow: /

Si prefieres no editarlo a mano, el generador de robots.txt para IA tiene un interruptor por bot y te da las líneas listas para pegar.

Comprueba que funciona de verdad

1. Abre https://tudominio.com/robots.txt en el navegador. Debe cargarse como texto plano desde la raíz del dominio, una vez por subdominio.
2. Pasa tu sitio por el verificador de acceso de rastreadores de IA para ver qué bots dejan entrar tus reglas.
3. Espera. OpenAI dice que sus sistemas pueden tardar unas 24 horas en ajustarse tras actualizar el robots.txt.
4. Comprueba que tu firewall o CDN no esté bloqueando a los bots de todos modos. Un Allow en robots.txt no sirve si una regla de protección contra bots devuelve un 403 al mismo rastreador. Es lo primero que revisaría cuando un sitio «permite» bots de IA y sigue sin recibir citas.

Lo que no debes hacer

• No bloquees por dirección IP. La documentación de Anthropic advierte que bloquear IP puede no darte una exclusión fiable, porque puede impedir que el bot lea tu robots.txt.
• No trates robots.txt como seguridad. Es una petición que respetan los bots conocidos y bien educados. Los scrapers que la ignoran necesitan reglas en el servidor.
• No uses robots.txt para sacar páginas de Google. Eso es trabajo de noindex.
• Crawl-delay no es estándar. Anthropic dice que lo admite en ClaudeBot. No supongas que todos los bots lo hacen.

Un archivo más que vale la pena publicar

Con las puertas abiertas, dile a los bots dónde están las páginas buenas. Para eso sirve llms.txt, y mi análisis sobre si mueve las citas de verdad cuenta qué espero de él. Para saber si todo esto da resultado, mide tu tráfico de búsqueda con IA.