Il tuo sito blocca i bot AI?

Forse, e probabilmente non lo sapresti senza controllare. Molti plugin di sicurezza per WordPress e alcuni firewall dell’hosting bloccano di default crawler come GPTBot e ClaudeBot, trattandoli come traffico indesiderato. Se sono bloccati, nessun assistente AI può leggere il tuo sito, per quanto buono sia il contenuto, e di solito basta una riga nel robots.txt per risolvere.

Perché succede senza che nessuno lo decida

Nessuno si siede e decide di bloccare ChatGPT dalla lettura del proprio sito. Succede come effetto collaterale di qualcos’altro: una regola predefinita di un plugin di sicurezza contro i ‘bot sconosciuti’, un firewall dell’hosting tarato per fermare lo scraping, o un file robots.txt copiato da un modello anni prima che questi crawler esistessero. Il blocco di solito è ereditato, non scelto.

Questo lo rende facile da non notare. Il sito si carica bene per una persona, si posiziona bene su Google, che usa un crawler diverso, e niente sembra rotto. L’unico sintomo è un assistente AI che non nomina mai l’attività, e quel sintomo somiglia esattamente a un problema di contenuto, quindi la maggior parte dei titolari cerca prima nel posto sbagliato.

I crawler che contano davvero

GPTBot legge per i modelli di OpenAI, ClaudeBot legge per Claude, e ce ne sono alcuni altri che fanno un lavoro simile per gli assistenti di Google e Perplexity. Se uno di questi è vietato nel tuo robots.txt, o bloccato a livello di server da una regola del firewall, quell’assistente non ha niente di tuo da leggere e niente da consigliare, per quanto ben scritta sia la pagina.

Questo è diverso dal bloccare bot di spam o scraper, che spesso è sensato. I crawler AI qui sopra sono gli stessi sistemi che rispondono alla domanda del tuo futuro cliente, quindi bloccarli è più simile a togliersi dall’elenco telefonico che a fermare un fastidio.

Come controllare davvero

Apri tuosito.com/robots.txt direttamente nel browser e leggilo. Cerca una riga che nomini GPTBot, ClaudeBot, Google-Extended, o PerplexityBot seguita da Disallow. Se il file è vuoto o non li menziona affatto, probabilmente sei a posto su questo fronte, ma il blocco può avvenire anche a livello di firewall, invisibile nel robots.txt, e va controllato direttamente con l’hosting o le impostazioni del plugin di sicurezza.

Un modo rapido per scoprire un blocco a livello di firewall: controlla i log di accesso del sito, se puoi raggiungerli, per le richieste da quei bot e verifica se restituiscono un normale 200 o un 403 bloccato. Se non puoi raggiungere i log da solo, è uno dei controlli che faccio come parte di un AI Visibility Snapshot.

Risolverlo richiede minuti, non una ricostruzione

Se il problema è il robots.txt, togliere la riga Disallow o aggiungere un Allow esplicito richiede un paio di minuti e nessun lavoro di sviluppo. Se la causa è un plugin di sicurezza o un firewall, di solito è una casella da spuntare nelle impostazioni di gestione bot del plugin, a volte etichettata ‘crawler AI’ o elencata per nome. In entrambi i casi, è una delle poche correzioni di visibilità AI davvero rapide una volta capito che serve.

È anche una delle prime cose da controllare, prima di passare tempo a riscrivere i contenuti, perché nessuna quantità di buona scrittura aiuta se il crawler che la porta all’assistente non riesce nemmeno a entrare.

Una volta che i crawler possono raggiungere davvero le tue pagine, di quali contenuti ha bisogno l’IA prima di consigliarti copre cosa fare con quell’accesso.