Puoi avere il feed perfetto, i dati strutturati impeccabili e le schede scritte a regola d'arte, e restare comunque invisibile agli assistenti AI. Il motivo, in un numero sorprendente di casi, è un file di tre righe che nessuno guarda da anni: il robots.txt. Una regola ereditata da una vecchia configurazione, pensata per tenere fuori gli scraper, e che oggi sta chiudendo la porta in faccia proprio ai crawler che dovrebbero consigliarti.
Questo articolo spiega quali crawler AI esistono, cosa fanno e come configurare il robots.txt per farti trovare senza bloccare per sbaglio i bot giusti. È l'approfondimento della sezione che nel pezzo sui dati strutturati JSON-LD accennavamo soltanto.
Il robots.txt è un file alla radice del sito che dice ai crawler cosa possono e non possono visitare. I bot "ben educati" lo rispettano. Il guaio è che molti store hanno regole scritte anni fa — a volte una Disallow ampia, a volte blocchi copiati da template — che oggi intercettano anche i crawler degli assistenti AI. Risultato: l'AI non riesce a leggere le tue pagine e non ti considera, senza che tu te ne accorga.
La prima mossa non è aggiungere: è verificare cosa stai già bloccando.
Non tutti i bot fanno la stessa cosa. Ce ne sono tre famiglie: quelli che raccolgono dati per addestrare i modelli, quelli che alimentano la ricerca/risposta in tempo reale (i più importanti per farti trovare) e quelli attivati su richiesta dell'utente quando l'AI apre un link per conto suo. La distinzione è cruciale, perché puoi voler trattare le famiglie in modo diverso.
| Crawler (user-agent) | Azienda | A cosa serve |
|---|---|---|
GPTBot |
OpenAI | Addestramento modelli |
OAI-SearchBot |
OpenAI | Ricerca/shopping di ChatGPT |
ChatGPT-User |
OpenAI | Fetch su richiesta dell'utente |
PerplexityBot |
Perplexity | Indicizzazione per la ricerca |
Perplexity-User |
Perplexity | Fetch su richiesta dell'utente |
Google-Extended |
Addestramento/grounding AI (non tocca il ranking) | |
Googlebot / GoogleOther |
Ricerca e altre superfici | |
ClaudeBot |
Anthropic | Crawling per i modelli |
Bytespider |
ByteDance | Raccolta dati |
Amazonbot |
Amazon | Crawling (incluso Alexa/Rufus) |
Applebot-Extended |
Apple | Opt-out addestramento AI |
CCBot |
Common Crawl | Dataset pubblico usato da molti modelli |
Gli elenchi cambiano spesso: nuovi bot compaiono, i nomi si aggiornano. Vale la pena rivederli con cadenza trimestrale.
Qui sta il punto che quasi nessuno affronta in modo consapevole. Bloccare "l'AI" in blocco è quasi sempre un errore per un ecommerce che vuole vendere: significherebbe rinunciare a essere consigliato.
La distinzione utile:
OAI-SearchBot, PerplexityBot, Googlebot/GoogleOther, Amazonbot) sono quelli che ti fanno trovare e consigliare. Per un ecommerce, di norma li vuoi permettere.GPTBot, Google-Extended, Applebot-Extended, CCBot, ClaudeBot) raccolgono dati per allenare i modelli. Qui la scelta è più aperta: c'è chi li permette (massima esposizione), chi li blocca (per non cedere i propri contenuti all'addestramento). È una decisione di posizionamento, non un default tecnico.La cosa importante è decidere consapevolmente, non subire una regola vecchia che blocca proprio i bot di shopping che ti servono.
Il file vive in https://iltuosito.it/robots.txt e funziona per blocchi, uno per user-agent. Esempio che permette i crawler di ricerca/shopping e lascia esplicita la scelta sull'addestramento:
# Permetti i crawler di ricerca/shopping
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Googlebot
Allow: /
# Esempio: blocca l'addestramento (scelta opzionale)
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
Due avvertenze: il robots.txt è volontario (solo i bot ben educati lo rispettano) e regola l'accesso in crawling, non è lo strumento per la privacy o per rimuovere contenuti già indicizzati. Serve a dire "puoi leggere", non a nascondere.
User-agent: * / Disallow: / o percorsi ampi) che blocca anche i bot di shopping. È l'errore numero uno.L'audit minimo: apri il tuo robots.txt, cerca ogni Disallow e verifica quali user-agent AI coinvolge; controlla che i bot di ricerca/shopping che vuoi non siano bloccati; testa le pagine chiave. Fallo dopo ogni cambio di tema, piattaforma o CDN — sono i momenti in cui il file si rompe.
Sta emergendo una proposta, llms.txt, un file pensato per offrire agli LLM una versione ordinata e machine-friendly dei contenuti di un sito. È un'idea interessante e vale la pena tenerla d'occhio, ma va detto con onestà: è uno standard emergente, non ancora adottato in modo diffuso dai principali assistenti. Oggi non sostituisce il lavoro su feed, dati strutturati e robots.txt: semmai lo affiancherà in futuro.
Se blocco GPTBot, sparisco da ChatGPT?
Non necessariamente: GPTBot è legato all'addestramento, mentre la ricerca/shopping di ChatGPT passa da OAI-SearchBot. Puoi bloccare l'addestramento e restare visibile nella ricerca — ma verifica di non aver bloccato anche OAI-SearchBot.
Il robots.txt protegge i miei contenuti? No. Regola l'accesso in crawling per i bot ben educati; non è uno strumento di privacy né rimuove ciò che è già indicizzato. Serve a permettere o meno la lettura.
Devo per forza avere un llms.txt? Non ancora: è una proposta emergente, poco adottata. La priorità resta feed, dati strutturati e un robots.txt configurato bene.
Ogni quanto rivedere il robots.txt? Con cadenza trimestrale e dopo ogni cambio di tema, piattaforma o CDN. I nomi dei crawler cambiano e le migrazioni tecniche spesso reintroducono blocchi indesiderati.
Sbloccare i crawler giusti è il prerequisito invisibile per essere consigliato: puoi fare tutto il resto alla perfezione e vanificarlo con una riga di robots.txt. Verifica cosa stai bloccando, permetti i bot di ricerca/shopping, decidi consapevolmente sull'addestramento, e rifai l'audit dopo ogni cambio tecnico. Poi assicurati che il dato che quei crawler leggono sia completo e sincronizzato su ogni canale: la porta aperta serve a poco se dietro non c'è il dato giusto.