robots.txt e crawler AI: come farti trovare (o restare invisibile)

Puoi avere il feed perfetto, i dati strutturati impeccabili e le schede scritte a regola d'arte, e restare comunque invisibile agli assistenti AI. Il motivo, in un numero sorprendente di casi, è un file di tre righe che nessuno guarda da anni: il robots.txt. Una regola ereditata da una vecchia configurazione, pensata per tenere fuori gli scraper, e che oggi sta chiudendo la porta in faccia proprio ai crawler che dovrebbero consigliarti.

Questo articolo spiega quali crawler AI esistono, cosa fanno e come configurare il robots.txt per farti trovare senza bloccare per sbaglio i bot giusti. È l'approfondimento della sezione che nel pezzo sui dati strutturati JSON-LD accennavamo soltanto.

Il problema: il blocco involontario

Il robots.txt è un file alla radice del sito che dice ai crawler cosa possono e non possono visitare. I bot "ben educati" lo rispettano. Il guaio è che molti store hanno regole scritte anni fa — a volte una Disallow ampia, a volte blocchi copiati da template — che oggi intercettano anche i crawler degli assistenti AI. Risultato: l'AI non riesce a leggere le tue pagine e non ti considera, senza che tu te ne accorga.

La prima mossa non è aggiungere: è verificare cosa stai già bloccando.

I crawler AI che devi conoscere

Non tutti i bot fanno la stessa cosa. Ce ne sono tre famiglie: quelli che raccolgono dati per addestrare i modelli, quelli che alimentano la ricerca/risposta in tempo reale (i più importanti per farti trovare) e quelli attivati su richiesta dell'utente quando l'AI apre un link per conto suo. La distinzione è cruciale, perché puoi voler trattare le famiglie in modo diverso.

Gli elenchi cambiano spesso: nuovi bot compaiono, i nomi si aggiornano. Vale la pena rivederli con cadenza trimestrale.

La decisione strategica: cosa bloccare e cosa no

Qui sta il punto che quasi nessuno affronta in modo consapevole. Bloccare "l'AI" in blocco è quasi sempre un errore per un ecommerce che vuole vendere: significherebbe rinunciare a essere consigliato.

La distinzione utile:

• I crawler di ricerca/shopping (OAI-SearchBot, PerplexityBot, Googlebot/GoogleOther, Amazonbot) sono quelli che ti fanno trovare e consigliare. Per un ecommerce, di norma li vuoi permettere.
• I crawler di addestramento (GPTBot, Google-Extended, Applebot-Extended, CCBot, ClaudeBot) raccolgono dati per allenare i modelli. Qui la scelta è più aperta: c'è chi li permette (massima esposizione), chi li blocca (per non cedere i propri contenuti all'addestramento). È una decisione di posizionamento, non un default tecnico.

La cosa importante è decidere consapevolmente, non subire una regola vecchia che blocca proprio i bot di shopping che ti servono.

Come si configura il robots.txt

Il file vive in https://iltuosito.it/robots.txt e funziona per blocchi, uno per user-agent. Esempio che permette i crawler di ricerca/shopping e lascia esplicita la scelta sull'addestramento:

# Permetti i crawler di ricerca/shopping
User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Googlebot
Allow: /

# Esempio: blocca l'addestramento (scelta opzionale)
User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

Due avvertenze: il robots.txt è volontario (solo i bot ben educati lo rispettano) e regola l'accesso in crawling, non è lo strumento per la privacy o per rimuovere contenuti già indicizzati. Serve a dire "puoi leggere", non a nascondere.

Errori comuni e come fare l'audit

• Regola blanket ereditata (User-agent: * / Disallow: / o percorsi ampi) che blocca anche i bot di shopping. È l'errore numero uno.
• Bloccare i crawler di ricerca "per sbaglio" insieme a quelli di addestramento, senza distinguere.
• Bloccare risorse (CSS/JS, immagini) necessarie a rendere leggibile la pagina.

L'audit minimo: apri il tuo robots.txt, cerca ogni Disallow e verifica quali user-agent AI coinvolge; controlla che i bot di ricerca/shopping che vuoi non siano bloccati; testa le pagine chiave. Fallo dopo ogni cambio di tema, piattaforma o CDN — sono i momenti in cui il file si rompe.

llms.txt: la novità (e i suoi limiti)

Sta emergendo una proposta, llms.txt, un file pensato per offrire agli LLM una versione ordinata e machine-friendly dei contenuti di un sito. È un'idea interessante e vale la pena tenerla d'occhio, ma va detto con onestà: è uno standard emergente, non ancora adottato in modo diffuso dai principali assistenti. Oggi non sostituisce il lavoro su feed, dati strutturati e robots.txt: semmai lo affiancherà in futuro.

Domande frequenti

Se blocco GPTBot, sparisco da ChatGPT? Non necessariamente: GPTBot è legato all'addestramento, mentre la ricerca/shopping di ChatGPT passa da OAI-SearchBot. Puoi bloccare l'addestramento e restare visibile nella ricerca — ma verifica di non aver bloccato anche OAI-SearchBot.

Il robots.txt protegge i miei contenuti? No. Regola l'accesso in crawling per i bot ben educati; non è uno strumento di privacy né rimuove ciò che è già indicizzato. Serve a permettere o meno la lettura.

Devo per forza avere un llms.txt? Non ancora: è una proposta emergente, poco adottata. La priorità resta feed, dati strutturati e un robots.txt configurato bene.

Ogni quanto rivedere il robots.txt? Con cadenza trimestrale e dopo ogni cambio di tema, piattaforma o CDN. I nomi dei crawler cambiano e le migrazioni tecniche spesso reintroducono blocchi indesiderati.

Da leggere per approfondire

• Agentic commerce: cos'è e come cambia l'ecommerce — l'hub del pillar
• Far consigliare i tuoi prodotti da ChatGPT, Gemini e Perplexity
• Dati strutturati JSON-LD per prodotti · Feed prodotto per l'AI

In sintesi

Sbloccare i crawler giusti è il prerequisito invisibile per essere consigliato: puoi fare tutto il resto alla perfezione e vanificarlo con una riga di robots.txt. Verifica cosa stai bloccando, permetti i bot di ricerca/shopping, decidi consapevolmente sull'addestramento, e rifai l'audit dopo ogni cambio tecnico. Poi assicurati che il dato che quei crawler leggono sia completo e sincronizzato su ogni canale: la porta aperta serve a poco se dietro non c'è il dato giusto.

Contenuti correlati

• Dove Trovare Prodotti da Vendere Online: Guida alla Ricerca di Fornitori per E-commerce e Prodotti Vincenti
• Come Trovare Clienti per Consulenza 2026: Strategie per Professionisti
• Marketing Per Coaching: Strategie Avanzate Per Trovare Clienti E Scalare Online
• Marketing Per Freelance: Guida Strategica Per Trovare Clienti E Scalare