robots.txt voor AI-crawlers: wat toestaan en blokkeren

De meeste sites die uit ChatGPT-antwoorden verdwijnen, hebben dat zelf gedaan. Iemand las een kop over AI-scraping, plakte een blok Disallow: /-regels in de robots.txt en sloot daarmee ook de bots buiten die pagina’s ophalen wanneer een klant een vraag stelt.

De oplossing kost tien minuten, maar je moet weten dat elk AI-bedrijf meer dan één bot draait en dat die verschillende taken hebben.

Inhoudsopgave

Trainingsbots en antwoordbots zijn niet hetzelfde

Elk groot AI-bedrijf splitst het crawlen inmiddels op naar doel. Ik heb de documentatie van elke aanbieder gecontroleerd voordat ik dit schreef.

Twee dingen over die tabel. Google-Extended heeft geen eigen user-agentstring en verschijnt daarom nooit in je serverlogs. En ChatGPT-User is de uitzondering: omdat een mens om de pagina vroeg, zegt OpenAI dat hij robots.txt mogelijk helemaal niet volgt.

De keuze: drie opzetten

1. Open deur. Alles toestaan. Dit draai ik op deze site, met elke bot hierboven op Allow: /. Ik wil geciteerd worden en word liever geciteerd dan beschermd.

2. Uit de training, wel in de antwoorden. Blokkeer GPTBot, ClaudeBot en Google-Extended. Sta OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User en PerplexityBot toe. Past bij uitgevers die hun archief verkopen of hergebruik vrezen, maar toch willen verschijnen wanneer iemand een vraag stelt.

3. Gesloten deur. Alles blokkeren. Alleen als AI-zichtbaarheid voor jou niets waard is, bijvoorbeeld een betaald onderzoeksproduct dat via een verkoopgesprek wordt verkocht. Alle anderen ruilen vindbaarheid in voor een gevoel van controle.

Voor een agentschapsklant of een lokaal bedrijf is bijna altijd 1 of 2 de juiste keuze. Opzet 3 is zelden een besluit waar iemand echt over nagedacht heeft.

Het bestand voor optie 2

Voeg deze regels toe aan je bestaande robots.txt. Vervang het bestand niet: je sitemapregel en je regels voor Googlebot en Bingbot moeten blijven staan.

# Training: opted out
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

# Search and live answers: allowed
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: PerplexityBot
Allow: /

Wil je het niet met de hand doen, dan heeft de AI robots.txt-generator een schakelaar per bot en geeft hij je de kant-en-klare regels om te plakken.

Controleer of het echt werkt

1. Open https://jouwdomein.com/robots.txt in een browser. Het moet als platte tekst laden vanuit de root van het domein, één keer per subdomein.
2. Haal je site door de AI-crawler-toegangscheck om te zien welke bots je regels binnenlaten.
3. Wacht. OpenAI zegt dat het na een robots.txt-wijziging ongeveer 24 uur kan duren voordat de systemen zich aanpassen.
4. Controleer of je firewall of CDN de bots niet toch blokkeert. Een Allow in robots.txt helpt niet als een botbeveiligingsregel dezelfde crawler een 403 geeft. Dit zou ik als eerste zoeken wanneer een site AI-bots «toestaat» en toch geen citaties krijgt.

Wat je niet moet doen

• Blokkeer niet op IP-adres. De documentatie van Anthropic waarschuwt dat IP-blokkades je opt-out mogelijk niet betrouwbaar maken, omdat de bot dan je robots.txt misschien niet meer kan lezen.
• Behandel robots.txt niet als beveiliging. Het is een verzoek waar benoemde, welopgevoede bots zich aan houden. Scrapers die het negeren, vragen om regels op de server.
• Gebruik robots.txt niet om pagina’s uit Google te weren. Daar dient noindex voor.
• Crawl-delay is niet standaard. Anthropic zegt dat ClaudeBot het ondersteunt. Ga er niet van uit dat elke bot dat doet.

Nog één bestand dat je moet publiceren

Staan de deuren open, vertel de bots dan waar de goede pagina’s staan. Daar dient llms.txt voor, en mijn analyse over de vraag of het citaties echt beweegt laat zien wat ik ervan verwacht. Of dit alles loont, zie je als je je AI-zoekverkeer meet.