Crawler AI (GPTBot, ClaudeBot, PerplexityBot)

I crawler AI sono i programmi con cui i produttori di modelli leggono il web. Alcuni raccolgono dati per l'addestramento (GPTBot di OpenAI, ClaudeBot di Anthropic, Google-Extended, CCBot di Common Crawl), altri cercano in tempo reale per rispondere a una domanda (OAI-SearchBot e ChatGPT-User, PerplexityBot e Perplexity-User). Si dichiarano nel robots.txt con il proprio nome.

Molti hosting, CDN e firewall li bloccano di default, insieme a regole anti-bot generiche. Per un'azienda che vuole essere citata è un autogol: un sito non leggibile non può diventare fonte. La verifica dell'accesso dei crawler (robots.txt, regole di firewall, log del server) è tra i primi controlli tecnici di ogni assessment.