robots.txt для ИИ-краулеров: что разрешить, а что нет

Большинство сайтов, пропавших из ответов ChatGPT, сделали это с собой сами. Кто-то прочитал заголовок про ИИ-скрейпинг, вставил в robots.txt блок правил Disallow: / и заодно закрыл дверь ботам, которые забирают страницы, когда клиент задаёт вопрос.

Исправить это можно за десять минут, но нужно знать, что у каждой ИИ-компании больше одного бота и они выполняют разные задачи.

Содержание

Боты обучения и боты ответов — это разные вещи

Сегодня каждая крупная ИИ-компания разделяет краулинг по назначению. Перед тем как писать, я сверился с документацией каждого вендора.

Два замечания к таблице. У Google-Extended нет собственной строки user agent, поэтому в логах сервера его никогда не видно. А ChatGPT-User — исключение: раз страницу запросил человек, OpenAI говорит, что бот может вообще не следовать robots.txt.

Решение: три варианта настройки

1. Открытая дверь. Разрешить всё. Так настроен этот сайт: у каждого бота выше стоит Allow: /. Я хочу, чтобы меня цитировали, и предпочитаю быть процитированным, а не защищённым.

2. Вне обучения, но в ответах. Закройте GPTBot, ClaudeBot и Google-Extended. Разрешите OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User и PerplexityBot. Подходит издателям, которые продают свой архив или опасаются повторного использования, но хотят появляться, когда кто-то задаёт вопрос.

3. Закрытая дверь. Закрыть всех. Только если видимость в ИИ вам ничего не даёт — например, платный исследовательский продукт, который продаётся через звонок отдела продаж. Все остальные меняют заметность на ощущение контроля.

Для клиента агентства или местного бизнеса почти всегда подходит вариант 1 или 2. Вариант 3 редко бывает решением, которое кто-то действительно обдумал.

Файл для варианта 2

Добавьте эти строки в существующий robots.txt. Не заменяйте файл целиком: строка sitemap и правила для Googlebot и Bingbot должны остаться.

# Training: opted out
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

# Search and live answers: allowed
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: PerplexityBot
Allow: /

Если не хотите править вручную, в генераторе robots.txt для ИИ есть переключатель на каждого бота, и он выдаёт готовые строки для вставки.

Проверьте, что это действительно работает

1. Откройте https://вашдомен.com/robots.txt в браузере. Он должен загружаться как простой текст из корня домена, по одному разу на поддомен.
2. Прогоните сайт через проверку доступа ИИ-краулеров, чтобы увидеть, каких ботов пускают ваши правила.
3. Подождите. OpenAI говорит, что после обновления robots.txt системам может понадобиться около 24 часов, чтобы подстроиться.
4. Убедитесь, что файрвол или CDN всё равно не блокирует ботов. Allow в robots.txt не поможет, если правило защиты от ботов отдаёт тому же краулеру 403. Именно это я бы проверил первым, если сайт «разрешает» ИИ-ботов, но цитат всё равно нет.

Чего делать не стоит

• Не блокируйте по IP-адресу. В документации Anthropic предупреждают, что блокировка по IP может не гарантировать отказ, потому что бот перестанет читать ваш robots.txt.
• Не считайте robots.txt защитой. Это просьба, которую выполняют названные, воспитанные боты. Скрейперы, которые её игнорируют, требуют правил на стороне сервера.
• Не используйте robots.txt, чтобы убрать страницы из Google. Для этого есть noindex.
• Crawl-delay не входит в стандарт. Anthropic говорит, что ClaudeBot его поддерживает. Не считайте, что так делают все боты.

Ещё один файл, который стоит опубликовать

Когда двери открыты, подскажите ботам, где лежат лучшие страницы. Для этого нужен llms.txt, а мой разбор того, действительно ли он влияет на цитирование, показывает, чего я от него жду. Чтобы понять, окупается ли всё это, измеряйте трафик из ИИ-поиска.