robots.txt für KI-Crawler: Erlauben oder blockieren

Die meisten Websites, die aus ChatGPT-Antworten verschwinden, haben es selbst verursacht. Jemand las eine Schlagzeile über KI-Scraping, kopierte einen Block Disallow: / in die robots.txt und sperrte damit auch die Bots, die Seiten abrufen, wenn ein Kunde eine Frage stellt.

Die Korrektur dauert zehn Minuten. Du musst nur wissen, dass jede KI-Firma mehr als einen Bot betreibt und dass diese Bots unterschiedliche Aufgaben haben.

Inhaltsverzeichnis

Trainings-Bots und Antwort-Bots sind nicht dasselbe

Jeder große KI-Anbieter trennt sein Crawling inzwischen nach Zweck. Ich habe vor dem Schreiben die Dokumentation jedes Anbieters geprüft.

Zwei Dinge zu dieser Tabelle. Google-Extended hat keinen eigenen User-Agent-String und taucht deshalb nie in deinen Server-Logs auf. Und ChatGPT-User ist der Sonderfall: Weil ein Mensch die Seite angefordert hat, hält sich der Bot laut OpenAI womöglich gar nicht an robots.txt.

Die Entscheidung: drei Varianten

1. Offene Tür. Alles erlauben. So läuft diese Website, jeder Bot oben steht auf Allow: /. Ich will zitiert werden und lasse mich lieber zitieren als schützen.

2. Training ausschließen, in den Antworten bleiben. GPTBot, ClaudeBot und Google-Extended sperren. OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User und PerplexityBot erlauben. Das passt zu Verlagen, die ihr Archiv verkaufen oder die Weiterverwertung scheuen und trotzdem auftauchen wollen, wenn jemand eine Frage stellt.

3. Geschlossene Tür. Alle sperren. Das lohnt sich nur, wenn KI-Sichtbarkeit für dich keinen Wert hat, etwa bei einem Recherche-Produkt hinter der Paywall, das per Vertriebsgespräch verkauft wird. Alle anderen tauschen Auffindbarkeit gegen ein Gefühl von Kontrolle.

Für Agentur-Kunden oder lokale Unternehmen ist fast immer Variante 1 oder 2 richtig. Variante 3 hat selten jemand wirklich durchdacht.

Die Datei für Variante 2

Ergänze diese Zeilen in deiner bestehenden robots.txt. Ersetze die Datei nicht, denn deine Sitemap-Zeile und die Regeln für Googlebot und Bingbot müssen bleiben.

# Training: opted out
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

# Search and live answers: allowed
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: PerplexityBot
Allow: /

Wenn du nicht von Hand editieren willst: Der robots.txt-Generator für KI-Bots hat für jeden Bot einen Schalter und liefert dir die fertigen Zeilen zum Einfügen.

Prüfen, ob es wirklich funktioniert

1. Öffne https://deinedomain.com/robots.txt im Browser. Die Datei muss als reiner Text im Stammverzeichnis der Domain laden, einmal pro Subdomain.
2. Schick deine Website durch den KI-Crawler-Zugriffscheck, um zu sehen, welche Bots deine Regeln hereinlassen.
3. Warte. OpenAI sagt, es kann nach einer robots.txt-Änderung etwa 24 Stunden dauern, bis die Systeme sich anpassen.
4. Prüfe, ob deine Firewall oder dein CDN die Bots trotzdem blockiert. Ein Allow in der robots.txt hilft nicht, wenn eine Bot-Schutzregel demselben Crawler ein 403 liefert. Hier würde ich zuerst suchen, wenn eine Website KI-Bots «erlaubt» und trotzdem keine Zitate bekommt.

Was du lassen solltest

• Nicht per IP-Adresse sperren. Anthropic warnt in der Dokumentation, dass IP-Sperren das Opt-out nicht zuverlässig sichern, weil der Bot dann womöglich deine robots.txt gar nicht lesen kann.
• robots.txt nicht als Sicherheit behandeln. Es ist eine Bitte, an die sich benannte, gut erzogene Bots halten. Scraper, die sie ignorieren, brauchen serverseitige Regeln.
• robots.txt nicht nutzen, um Seiten aus Google zu verbannen. Dafür ist noindex da.
• Crawl-delay ist nicht standardisiert. Anthropic sagt, ClaudeBot unterstützt es. Geh nicht davon aus, dass jeder Bot das tut.

Eine weitere Datei, die sich lohnt

Sind die Türen offen, sag den Bots, wo die guten Seiten liegen. Dafür gibt es llms.txt, und mein Beitrag dazu, ob es Zitate wirklich bewegt, zeigt, was ich davon erwarte. Ob sich das alles auszahlt, siehst du, wenn du deinen KI-Such-Traffic misst.