GPTBot, OAI-SearchBot e ChatGPT-User: cosa controllare
OpenAI documenta ruoli diversi: OAI-SearchBot per la ricerca, GPTBot per contenuti che potrebbero essere usati nell’addestramento e ChatGPT-User per alcune visite richieste dagli utenti. Consentire o bloccare uno di questi accessi non equivale a decidere per tutti.
Se ti interessa ChatGPT Search, verifica il crawler di ricerca. Una visita di GPTBot non dimostra indicizzazione, citazione o uso effettivo dei contenuti nell’addestramento. Il log registra una richiesta, non ciò che avviene dopo.
Individua le regole che consentono o bloccano l’accesso
Chiedi allo sviluppatore di controllare robots.txt, reindirizzamenti, risposte del server e regole del firewall o della rete di distribuzione dei contenuti, detta CDN. Anche se robots.txt consente l’accesso, un altro sistema può bloccare il robot o chiedergli una verifica. L’apertura nel tuo browser non dimostra che il robot riceva la stessa pagina.
Con curl si può inviare una richiesta usando lo User-Agent di un crawler, cioè il nome dichiarato dal programma che visita il sito. Questo rivela eventuali regole basate sul nome, ma non dimostra l’identità del visitatore. Per riconoscere i crawler autentici, consulta le indicazioni e gli intervalli IP pubblicati da OpenAI.
Ricontrolla la risposta dopo la modifica
Dopo aver cambiato le regole, controlla le nuove richieste e il testo restituito. Verifica separatamente le risposte di ChatGPT Search e conserva le fonti. ChatGPT-User viene usato per alcune visite avviate dagli utenti e può comportarsi diversamente anche rispetto a robots.txt: consulta la documentazione aggiornata. L’accesso riuscito non garantisce una citazione.
Fonti e approfondimenti
Guide correlate
- JavaScript e crawler: come controllare il contenuto accessibile
- llms.txt: a cosa serve e come verificarne l’utilità
Pubblicato: · Verificato dalla redazione di geo-rank.ai · Come verifichiamo