Alejandro Rioja.
GEO SEO

AI 크롤러용 robots.txt: 허용과 차단 기준

Alejandro Rioja
Alejandro Rioja
3 분 읽기
TL;DR

AI 기업은 학습용 봇과 질문 답변용 봇을 따로 운영합니다. 학습 봇은 차단해도 되지만, 검색 봇과 사용자 요청 봇은 허용해 두세요. 그렇지 않으면 AI 답변에서 사라집니다.

AI 에이전트로 만들기

AI 에이전트를 마케팅, 영업, 제품에 활용하는 법을 배우세요. 매주 제가 배운 것을 5,400명+ 독자와 나눕니다.

ChatGPT 답변에서 사라지는 사이트 대부분은 스스로 그렇게 만들었습니다. AI 스크레이핑 관련 기사 제목을 보고 robots.txt에 Disallow: / 규칙 묶음을 통째로 붙여 넣었고, 고객이 질문할 때 페이지를 가져가는 봇까지 막아 버린 것입니다.

고치는 데 10분이면 되지만, AI 기업마다 봇을 하나 이상 운영하고 그 봇들이 각기 다른 일을 한다는 점은 알아야 합니다.

목차

목차 열기

학습 봇과 답변 봇은 다릅니다

이제 주요 AI 기업은 모두 크롤링을 목적별로 나눕니다. 이 글을 쓰기 전에 각 업체의 공식 문서를 확인했습니다.

기업봇하는 일차단하면…
OpenAIGPTBot모델 학습에 쓰일 수 있는 콘텐츠를 크롤링내 콘텐츠가 이후 학습에서 제외됨
OpenAIOAI-SearchBotChatGPT 검색에 사이트를 노출ChatGPT 검색 답변에 표시되지 않음
OpenAIChatGPT-User사용자가 ChatGPT에 특정 페이지를 물으면 그 페이지를 방문OpenAI에 따르면 사람이 방문을 일으키기 때문에 robots.txt 규칙이 적용되지 않을 수 있음
AnthropicClaudeBot학습에 기여할 수 있는 콘텐츠를 수집앞으로의 콘텐츠가 학습 데이터셋에서 제외됨
AnthropicClaude-SearchBot검색 결과를 개선하려고 웹을 색인Claude 검색 결과에서 노출이 줄어듦
AnthropicClaude-UserClaude 사용자가 질문하면 페이지를 가져옴Claude가 해당 사용자를 위해 내 콘텐츠를 가져올 수 없음
GoogleGoogle-ExtendedGemini 학습과 그라운딩을 제어하는 robots.txt 토큰Gemini 사용에서 빠짐. Google에 따르면 검색 포함이나 순위에는 영향 없음

이 표에서 알아둘 점이 둘 있습니다. Google-Extended는 고유한 user agent 문자열이 없어서 서버 로그에 절대 나타나지 않습니다. 그리고 ChatGPT-User는 예외입니다. 사람이 페이지를 요청한 것이므로, OpenAI는 robots.txt를 아예 따르지 않을 수 있다고 말합니다.

결정: 세 가지 설정

1. 문을 연다. 전부 허용합니다. 이 사이트가 이렇게 운영됩니다. 위의 모든 봇을 Allow: /로 두었습니다. 저는 인용되고 싶고, 보호받기보다 인용되는 쪽을 택합니다.

2. 학습은 거부하고 답변에는 남는다. GPTBot, ClaudeBot, Google-Extended는 차단하고, OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot은 허용합니다. 아카이브를 판매하거나 재사용을 우려하면서도 누군가 질문할 때는 노출되고 싶은 발행사에 맞습니다.

3. 문을 닫는다. 전부 차단합니다. AI 노출이 전혀 가치가 없을 때만 선택하세요. 예를 들어 영업 통화로 파는 유료 리서치 상품이 그렇습니다. 나머지 사람들은 발견될 기회를 내주고 통제하고 있다는 느낌을 사는 셈입니다.

에이전시 고객이나 지역 비즈니스라면 거의 항상 1번이나 2번이 맞습니다. 3번은 누군가 진지하게 따져 보고 내린 결정인 경우가 드뭅니다.

옵션 2용 파일

기존 robots.txt에 이 줄들을 추가하세요. 파일을 통째로 바꾸면 안 됩니다. 사이트맵 줄과 Googlebot, Bingbot 규칙은 그대로 있어야 합니다.

code
# Training: opted out
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

# Search and live answers: allowed
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: PerplexityBot
Allow: /

손으로 편집하기 싫다면 AI robots.txt 생성기가 봇마다 토글을 제공하고, 붙여 넣기만 하면 되는 완성된 줄을 줍니다.

실제로 작동하는지 확인하기

  1. 브라우저에서 https://내도메인.com/robots.txt를 엽니다. 도메인 루트에서 일반 텍스트로 로드되어야 하며, 서브도메인마다 하나씩 필요합니다.
  2. 사이트를 AI 크롤러 접근 검사기에 돌려서 내 규칙이 어떤 봇을 들여보내는지 확인합니다.
  3. 기다립니다. OpenAI에 따르면 robots.txt를 업데이트한 뒤 시스템이 반영되기까지 약 24시간이 걸릴 수 있습니다.
  4. 방화벽이나 CDN이 봇을 여전히 막고 있지는 않은지 확인하세요. 봇 방어 규칙이 같은 크롤러에 403을 돌려준다면 robots.txt에 Allow라고 써도 소용이 없습니다. 사이트가 AI 봇을 “허용”하는데도 인용이 안 될 때 제가 가장 먼저 볼 곳이 여기입니다.

하지 말아야 할 것

  • IP 주소로 차단하지 마세요. Anthropic 문서는 IP 차단으로는 거부 의사가 안정적으로 반영되지 않을 수 있다고 경고합니다. 봇이 robots.txt를 읽지 못하게 될 수 있기 때문입니다.
  • robots.txt를 보안 수단으로 취급하지 마세요. 이름을 밝히고 예의 바르게 행동하는 봇이 지키는 요청일 뿐입니다. 이를 무시하는 스크레이퍼에게는 서버 측 규칙이 필요합니다.
  • robots.txt로 Google에서 페이지를 빼려고 하지 마세요. 그건 noindex가 할 일입니다.
  • Crawl-delay는 표준이 아닙니다. Anthropic은 ClaudeBot이 지원한다고 밝혔습니다. 모든 봇이 지원한다고 가정하지 마세요.

공개할 만한 파일 하나 더

문을 열었다면 좋은 페이지가 어디 있는지 봇에게 알려 주세요. 그 용도가 llms.txt이고, 정말 인용을 움직이는지에 대한 글에 제가 기대하는 바를 적었습니다. 이 모든 것이 성과를 내는지 알려면 AI 검색 트래픽을 측정하세요.

광고
계속 읽기

관련 게시물

GEO

다국어 GEO: 모든 언어에서 인용되는 법

13개 언어로 운영하는 사이트에서 GEO를 해보니 hreflang, llms.txt, 스키마가 영어 전용 조언이 가정하는 것과 다르게 작동한다는 걸 알게 됐습니다.

GEO

기존 SEO 리테이너에 GEO를 추가하는 방법

SEO 에이전시가 기존 리테이너에 진짜 GEO 작업을 추가하는 방법 — 감사를 먼저 하고, 별도 항목으로 가격을 매기고, 같은 작업에 이름만 바꾸지 않는 것.

SEO

GEO 감사 가격 책정: 클라이언트에게 얼마를 청구할까

GEO 감사 가격을 책정하고 구성하는 방법 — 고정 요금 스코핑 방식, 결과물에 들어가야 할 내용, 그리고 이를 리테이너로 전환하는 시점까지.

계속 읽기

AI 플레이북을 받아보세요

AI 에이전트를 마케팅, 영업, 제품에 활용하는 법을 배우세요. 매주 제가 배운 것을 5,400명+ 독자와 나눕니다.

↵ ↵ 전체 결과 보기 esc esc 닫기