Alejandro Rioja.
GEO SEO

AIクローラー向けrobots.txt：許可と拒否の基準

Alejandro Rioja
Alejandro Rioja
4 分で読める
TL;DR

AI各社は学習用と質問回答用で別のボットを動かしています。学習用は拒否してもかまいませんが、検索用とユーザー要求用は許可したままにしないと、AIの回答から消えます。

AIエージェントで作る

AIエージェントをマーケティング、営業、プロダクトに活かす方法を学べます。毎週、学んだことを5,400人以上の読者と共有しています。

ChatGPTの回答から消えるサイトの多くは、自分で消えています。AIスクレイピングの見出しを読んで、robots.txtにDisallow: /のブロックを丸ごと貼り付け、顧客が質問したときにページを取りに来るボットまで締め出してしまうのです。

直すのに10分もかかりませんが、AI各社が複数のボットを運用していて、それぞれ役割が違うことを知っておく必要があります。

目次

目次を開く

学習用ボットと回答用ボットは別物

主要なAI企業は今、用途ごとにクロールを分けています。書く前に、各社の公式ドキュメントを確認しました。

企業ボット役割拒否すると…
OpenAIGPTBotモデルの学習に使われうるコンテンツをクロールするあなたのコンテンツは今後の学習に使われない
OpenAIOAI-SearchBotChatGPT検索にサイトを表示するChatGPT検索の回答に表示されなくなる
OpenAIChatGPT-UserユーザーがChatGPTにページについて尋ねたときに、そのページを訪問するOpenAIによると、人が訪問を起こすため、robots.txtのルールが適用されない場合がある
AnthropicClaudeBot学習に寄与しうるコンテンツを収集する今後のコンテンツが学習データセットから除外される
AnthropicClaude-SearchBot検索結果を改善するためにウェブをインデックスするClaudeの検索結果での露出が減る
AnthropicClaude-UserClaudeのユーザーが質問したときにページを取得するClaudeがそのユーザーのためにあなたのコンテンツを取得できなくなる
GoogleGoogle-ExtendedGeminiの学習とグラウンディングを制御するrobots.txtトークンGeminiでの利用から外れる。Googleによると、検索への掲載や順位には影響しない

この表について2点。Google-Extendedには専用のuser agent文字列がないため、サーバーログには一切現れません。そしてChatGPT-Userは例外です。人がページを要求しているので、OpenAIによればrobots.txtにまったく従わない場合があります。

判断：3つの設定

1. 扉を開ける。 すべて許可。このサイトはこの設定で、上のボットはすべてAllow: /です。引用されたいので、守られるより引用されるほうを選びます。

2. 学習は拒否、回答には残る。 GPTBot、ClaudeBot、Google-Extendedを拒否し、OAI-SearchBot、ChatGPT-User、Claude-SearchBot、Claude-User、PerplexityBotを許可します。アーカイブを販売している、または再利用を懸念する出版社で、質問されたときには表示されたい場合に向いています。

3. 扉を閉める。 すべて拒否。AIでの露出にまったく価値がない場合だけにしてください。たとえば、営業電話で売る有料のリサーチ商材などです。それ以外の人は、見つけてもらえる機会を差し出して、コントロールしている気分を買っているだけです。

代理店のクライアントや地域ビジネスなら、ほぼ必ず1か2が正解です。3は、誰かが本気で考え抜いて選ぶことはめったにありません。

選択肢2のファイル

既存のrobots.txtにこれらの行を追加してください。ファイルを置き換えてはいけません。サイトマップの行と、GooglebotやBingbotのルールは残す必要があります。

code
# Training: opted out
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

# Search and live answers: allowed
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: PerplexityBot
Allow: /

手で編集したくなければ、AI用robots.txtジェネレーターがボットごとのスイッチを備え、貼り付けるだけの完成した行を出してくれます。

本当に機能しているか確認する

  1. ブラウザでhttps://あなたのドメイン.com/robots.txtを開きます。ドメインのルートからプレーンテキストとして読み込まれ、サブドメインごとに1つ必要です。
  2. サイトをAIクローラーアクセスチェッカーにかけて、ルールがどのボットを通しているか確認します。
  3. 待ちます。OpenAIによると、robots.txtの更新からシステムが調整されるまで約24時間かかることがあります。
  4. ファイアウォールやCDNがボットをブロックしていないか確認します。ボット対策ルールが同じクローラーに403を返すなら、robots.txtにAllowと書いても意味がありません。サイトがAIボットを「許可」しているのに引用が来ないとき、最初に疑うのはここです。

やってはいけないこと

  • IPアドレスでブロックしない。 Anthropicのドキュメントは、IPブロックではオプトアウトが確実に効かない場合があると警告しています。ボットがrobots.txtを読めなくなる可能性があるためです。
  • robots.txtをセキュリティとして扱わない。 名乗りを上げた行儀のよいボットが守る「お願い」です。無視するスクレイパーにはサーバー側のルールが必要です。
  • robots.txtでGoogleからページを消そうとしない。 それはnoindexの仕事です。
  • Crawl-delayは標準ではない。 AnthropicはClaudeBotが対応していると述べています。すべてのボットが対応しているとは考えないでください。

公開する価値があるもう1つのファイル

扉を開けたら、良いページがどこにあるかをボットに伝えます。そのための仕組みがllms.txtで、本当に引用を動かすのかについての記事に、私が期待していることを書きました。ここまでの取り組みが成果につながっているかは、AI検索のトラフィックを計測して確かめてください。

広告
続きを読む

関連記事

GEO

多言語GEO：どの言語でも引用されるために

13言語で運営するサイトでGEOに取り組んで分かったのは、hreflangもllms.txtもスキーマも、英語だけを前提にした助言とは違う挙動をするということでした。

GEO

既存のSEOリテイナーにGEOを追加する方法

SEOエージェンシーが既存のリテイナーに本物のGEO業務を追加する方法——まず監査を行い、別料金にし、同じ仕事にラベルを貼り替えない。

SEO

GEO監査の料金設定：クライアントへの請求方法

GEO監査の構成と価格設定——固定料金のスコーピング方式、成果物に含めるべきもの、リテイナーへの移行タイミング。

続きを読む

AIプレイブックをメールでお届け

AIエージェントをマーケティング、営業、プロダクトに活かす方法を学べます。毎週、学んだことを5,400人以上の読者と共有しています。

↵ ↵ すべての結果を見る esc esc で閉じる