GPTBot, OAI-SearchBot, ChatGPT-User : qui consulte votre site ?
OpenAI documente plusieurs types d’accès. OAI-SearchBot sert à la recherche ; GPTBot collecte des contenus susceptibles de servir à l’entraînement des modèles ; ChatGPT-User intervient pour certaines consultations demandées par un utilisateur. La liste d’OpenAI compte désormais aussi OAI-AdsBot, qui contrôle les pages soumises comme publicités ChatGPT et n’a rien à voir avec la recherche ni avec l’entraînement. Autoriser ou bloquer l’un des trois agents étudiés ici ne décide rien pour les deux autres.
Pour ChatGPT Search, c’est l’accès d’OAI-SearchBot qu’il faut contrôler. Une visite de GPTBot dans les journaux du serveur confirme qu’une requête a été reçue, pas ce qu’est devenu le contenu ensuite : ni indexation, ni citation, ni utilisation effective pour entraîner un modèle.
Vérifier toute la chaîne d’accès
Demandez à votre développeur de passer en revue robots.txt, les redirections, les codes de réponse et les règles du pare-feu ou du CDN. Une page autorisée dans robots.txt peut très bien être bloquée par une autre protection, ou soumise à un contrôle avant de s’ouvrir. Qu’elle s’affiche dans votre navigateur ne dit rien de l’accès du robot.
Une requête curl envoyée avec le User-Agent d’un robot permet de tester les règles fondées sur cet en-tête, sans rien prouver de l’identité du demandeur. Pour reconnaître les vrais robots, appuyez-vous sur les informations de vérification et les plages IP publiées par OpenAI.
Vérifier le résultat attendu
Après une correction, regardez les nouvelles requêtes et le contenu que le serveur renvoie. Les réponses de recherche et leurs liens s’examinent à part. ChatGPT-User, lui, effectue certaines consultations à la demande d’un utilisateur : son fonctionnement, y compris vis-à-vis de robots.txt, se vérifie dans la documentation. Et un accès rétabli ne garantit pas que la page sera citée.
Sources et ressources
Mis à jour : · publié : · Relu par l’équipe éditoriale de geo-rank.ai · Notre méthode de vérification