← 博客

JavaScript 网站：怎样检查爬虫能读到什么？

页面在浏览器里看着完整，最初收到的 HTML 却可能几乎没有正文，文字是随后由 JavaScript 加载的。这不等于所有搜索系统都读不到它。Google 可以执行 JavaScript 来处理页面，其他爬虫的处理能力则需要分别确认。

比较实际返回的内容

选一个服务页面，列出必须能读到的信息：标题、服务内容、价格条件、覆盖地区和链接。再请开发人员核对，这些内容在不在服务器返回的 HTML 里。响应可以用下面的命令存下来：

curl -L https://example.com/service/ -o page.html

要找的是正文信息本身，光看到脚本文件名不算。HTTP 状态和重定向也要一并检查：403 拒绝、429 限流或跳到登录页，和返回 200 但要渲染才有内容，是两类问题。另外，改一下 User-Agent 并不能让测试请求变成经过验证的真实爬虫。

针对问题选择修改

静态生成和服务器端渲染，都能让公开正文直接出现在初始 HTML 里。出问题的页面模板适合哪一种，交给开发人员评估。表单和计算器照样可以用 JavaScript，不一定要重建全站。

改完之后，再比一次 HTML 和可见页面，核对站内链接、规范网址和内容是否一致。相关搜索引擎的检查工具要用上，有条件就再看服务器日志。测试只能证明内容在当时的条件下可读，证明不了 AI 一定会引用它。

参考资料

发布日期： · 由 geo-rank.ai 编辑团队审核 · 检查方法