← 博客

GPTBot、OAI-SearchBot 与 ChatGPT-User 有何区别?

OpenAI 对不同访问方式作了区分:OAI-SearchBot 用于搜索;GPTBot 收集可能用于模型训练的内容;ChatGPT-User 用于某些用户主动发起的页面访问。允许或禁止其中一种,不等于对另外两种作出了同样决定。

如果关注 ChatGPT Search,应检查 OAI-SearchBot 是否能够访问。服务器日志中出现 GPTBot 请求,只能确认收到过这次请求,不能证明网页已被搜索系统收录、被引用,或实际用于训练模型。

检查完整访问路径

请开发人员检查 robots.txt、重定向、HTTP 状态码,以及防火墙和 CDN 规则。即使 robots.txt 允许访问,其他保护措施仍可能拦截请求或要求额外验证。因此,页面在您的浏览器中正常打开,不代表爬虫也能读取。

用 curl 设置特定 User-Agent,可以检查基于该请求头的规则,但不能验证身份。识别真实爬虫时,应使用 OpenAI 官方文档提供的验证信息和 IP 范围,不能只相信请求自称是什么机器人。

分开验证访问和搜索结果

修改后,先检查新的请求及服务器返回内容,再单独测试搜索回答和引用链接。ChatGPT-User 代表某些由用户主动发起的访问,其行为及 robots.txt 的适用方式需要按官方文档核实。解决访问问题不保证页面随后会被引用。

参考资料

相关指南

发布日期: · 由 geo-rank.ai 编辑团队审核 · 我们如何检查