robots.txt per i crawler IA: cosa permettere

La maggior parte dei siti che spariscono dalle risposte di ChatGPT se lo sono fatto da soli. Qualcuno ha letto un titolo sullo scraping dell’IA, ha incollato un blocco di regole Disallow: / nel robots.txt e ha chiuso la porta anche ai bot che recuperano le pagine quando un cliente fa una domanda.

La correzione richiede dieci minuti, ma bisogna sapere che ogni azienda di IA gestisce più di un bot e che fanno lavori diversi.

Indice dei contenuti

I bot di addestramento e quelli di risposta non sono la stessa cosa

Ogni grande azienda di IA ormai separa la scansione per finalità. Ho controllato la documentazione di ciascun fornitore prima di scrivere.

Due cose su questa tabella. Google-Extended non ha una stringa user agent propria, quindi non compare mai nei log del tuo server. E ChatGPT-User è il caso particolare: poiché è una persona a chiedere la pagina, OpenAI dice che potrebbe non seguire affatto il robots.txt.

La decisione: tre configurazioni

1. Porta aperta. Permettere tutto. È quello che uso su questo sito, con ogni bot qui sopra su Allow: /. Voglio essere citato, e preferisco essere citato che protetto.

2. Fuori dall’addestramento, dentro le risposte. Blocca GPTBot, ClaudeBot e Google-Extended. Permetti OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User e PerplexityBot. Va bene per gli editori che vendono il proprio archivio o temono il riuso, ma vogliono comparire quando qualcuno fa una domanda.

3. Porta chiusa. Bloccarli tutti. Solo se la visibilità nell’IA per te non vale nulla, per esempio un prodotto di ricerca a pagamento venduto con una chiamata commerciale. Tutti gli altri scambiano la reperibilità con una sensazione di controllo.

Per il cliente di un’agenzia o un’attività locale, quasi sempre vanno bene la 1 o la 2. La 3 raramente è una decisione che qualcuno ha davvero ponderato.

Il file per l’opzione 2

Aggiungi queste righe al tuo robots.txt esistente. Non sostituire il file: la riga della sitemap e le regole per Googlebot e Bingbot devono restare.

# Training: opted out
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

# Search and live answers: allowed
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: PerplexityBot
Allow: /

Se preferisci non modificarlo a mano, il generatore di robots.txt per l’IA ha un interruttore per ogni bot e ti dà le righe pronte da incollare.

Verifica che funzioni davvero

1. Apri https://tuodominio.com/robots.txt nel browser. Deve caricarsi come testo semplice dalla radice del dominio, una volta per sottodominio.
2. Passa il tuo sito nel verificatore di accesso dei crawler IA per vedere quali bot lasciano entrare le tue regole.
3. Aspetta. OpenAI dice che i suoi sistemi possono impiegare circa 24 ore ad adeguarsi dopo un aggiornamento del robots.txt.
4. Controlla che firewall o CDN non blocchino comunque i bot. Un Allow nel robots.txt non serve se una regola anti-bot risponde 403 allo stesso crawler. È la prima cosa che cercherei quando un sito «permette» i bot IA e non riceve comunque citazioni.

Cosa non fare

• Non bloccare per indirizzo IP. La documentazione di Anthropic avverte che il blocco IP può non garantire l’esclusione, perché può impedire al bot di leggere il tuo robots.txt.
• Non trattare il robots.txt come sicurezza. È una richiesta che rispettano i bot dichiarati e ben educati. Gli scraper che lo ignorano richiedono regole lato server.
• Non usare il robots.txt per togliere pagine da Google. Quello è compito di noindex.
• Crawl-delay non è standard. Anthropic dice di supportarlo per ClaudeBot. Non dare per scontato che lo facciano tutti.

Un altro file che vale la pena pubblicare

A porte aperte, di’ ai bot dove sono le pagine buone. A questo serve llms.txt, e la mia analisi su se sposta davvero le citazioni spiega cosa mi aspetto. Per capire se tutto questo rende, misura il tuo traffico di ricerca IA.