GPTBot, OAI-SearchBot e ChatGPT-User: cosa controllare
OpenAI documenta un ruolo distinto per ciascun robot: OAI-SearchBot per la ricerca, GPTBot per i contenuti che potrebbero essere usati per addestrare i modelli e ChatGPT-User per alcune visite avviate dagli utenti. Nell’elenco di OpenAI ora compare anche OAI-AdsBot, che controlla le pagine inviate come annunci su ChatGPT e non c’entra né con la ricerca né con l’addestramento. Consentire o bloccare uno di questi accessi non significa aver deciso per tutti.
Se ti interessa ChatGPT Search, il crawler da verificare è quello di ricerca. Una visita di GPTBot non dimostra né indicizzazione né citazione, e nemmeno che i contenuti siano stati davvero usati nell’addestramento. Il log registra una richiesta, non ciò che succede dopo.
Individua le regole che consentono o bloccano l’accesso
Chiedi allo sviluppatore di controllare robots.txt, reindirizzamenti, risposte del server e regole del firewall o della CDN, la rete di distribuzione dei contenuti. robots.txt può consentire l’accesso mentre un altro sistema blocca il robot o gli chiede una verifica. E il fatto che la pagina si apra nel tuo browser non dimostra che il robot riceva la stessa cosa.
Con curl si può inviare una richiesta con lo User-Agent di un crawler, cioè il nome con cui si presenta il programma che visita il sito. Così emergono le eventuali regole basate sul nome; l’identità del visitatore, invece, resta da dimostrare. Per riconoscere i crawler autentici usa le indicazioni e gli intervalli IP pubblicati da OpenAI.
Ricontrolla la risposta dopo la modifica
Cambiate le regole, controlla le nuove richieste e il testo che il server restituisce. Le risposte di ChatGPT Search vanno verificate a parte, conservando le fonti. ChatGPT-User, usato per alcune visite avviate dagli utenti, può comportarsi diversamente anche rispetto a robots.txt: fai riferimento alla documentazione aggiornata. Un accesso riuscito, in ogni caso, non garantisce una citazione.
Fonti e approfondimenti
Aggiornato: · pubblicato: · Verificato dalla redazione di geo-rank.ai · Il nostro metodo