AI 爬虫的 robots.txt：该放行哪些、屏蔽哪些

大多数从 ChatGPT 回答里消失的网站，都是自己造成的。有人看到一条关于 AI 抓取的新闻标题，就把一整段 Disallow: / 规则贴进 robots.txt，结果连客户提问时去取页面的机器人也一并挡在了门外。

修复只要十分钟，前提是你知道每家 AI 公司都运行不止一个机器人，而且它们分工不同。

目录

训练机器人和回答机器人不是一回事

如今每家大型 AI 公司都按用途拆分抓取。写这篇之前，我核对了各家官方文档。

关于这张表，有两点要说明。Google-Extended 没有自己的 user agent 字符串，所以永远不会出现在你的服务器日志里。ChatGPT-User 则是例外：因为是真人请求了页面，OpenAI 称它可能根本不遵循 robots.txt。

怎么选：三种配置

1. 敞开大门。 全部放行。我在这个网站上就是这么设的，上面每个机器人都是 Allow: /。我想被引用，宁愿被引用也不要被保护。

2. 退出训练，留在回答里。 屏蔽 GPTBot、ClaudeBot 和 Google-Extended。放行 OAI-SearchBot、ChatGPT-User、Claude-SearchBot、Claude-User 和 PerplexityBot。适合出售内容档案或担心被二次利用的出版方，同时又希望别人提问时能出现。

3. 关上大门。 全部屏蔽。只有当 AI 曝光对你毫无价值时才这么做，比如靠销售电话成交的付费研究产品。其他人是在用可发现性换取一种掌控感。

对代理机构的客户或本地商家来说，几乎总是选 1 或 2。配置 3 很少是有人真正想清楚之后的决定。

方案 2 的文件

把这些行加到你现有的 robots.txt 里。不要整个替换文件，因为 sitemap 那一行以及 Googlebot 和 Bingbot 的规则都要保留。

# Training: opted out
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

# Search and live answers: allowed
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: PerplexityBot
Allow: /

如果不想手动编辑，AI robots.txt 生成器给每个机器人配了开关，直接给你可粘贴的成品。

确认它真的生效

1. 在浏览器中打开 https://你的域名.com/robots.txt。它必须以纯文本形式从域名根目录加载，每个子域名各一份。
2. 把你的网站放进 AI 爬虫访问检查工具，看看你的规则放行了哪些机器人。
3. 等一等。OpenAI 称，robots.txt 更新后其系统大约需要 24 小时才会调整。
4. 检查防火墙或 CDN 是否仍在拦截这些机器人。如果机器人防护规则对同一个爬虫返回 403，robots.txt 里写 Allow 也没用。当一个网站“允许”了 AI 机器人却依然没有被引用时，我会先查这一项。

不要这样做

• 不要按 IP 地址屏蔽。 Anthropic 的文档提醒，按 IP 屏蔽可能无法可靠地实现退出，因为这可能让机器人根本读不到你的 robots.txt。
• 不要把 robots.txt 当作安全措施。 它只是一个请求，守规矩、身份明确的机器人才会遵守。无视它的抓取程序需要服务器端规则。
• 不要用 robots.txt 把页面从 Google 中撤下。 那是 noindex 的工作。
• Crawl-delay 不是标准。 Anthropic 称 ClaudeBot 支持它。不要以为每个机器人都支持。

还值得发布的另一个文件

门打开之后，告诉机器人好页面在哪里。这就是 llms.txt 的用途，而我那篇关于它是否真能带来引用的文章写了我对它的预期。想知道这一切有没有回报，就去衡量你的 AI 搜索流量。