检测方法

AI Read 像 AI 爬虫一样访问你的页面，只报告能验证的事实。测得出的给结论，测不出的写「无法判断」。

检测流程

  1. 1
    访问页面用普通浏览器身份请求你的页面，记录状态码、跳转和响应头。
  2. 2
    读 robots.txt逐个解析 OpenAI、Anthropic、Perplexity、Google 的爬虫在 robots.txt 里能不能抓。
  3. 3
    防火墙与身份探测分别用这些爬虫的 User-Agent 各请求一次，比较和普通请求的差异，识别 Cloudflare、Akamai 等拦截。
  4. 4
    提取正文不执行 JavaScript，只看原始 HTML：能抽出多少正文、有没有 noindex、是不是登录墙或软 404。
  5. 5
    渲染对比必要时用无头浏览器渲染一次，对比渲染前后的正文量，得出页面有多依赖 JavaScript。
  6. 6
    结构信息检查 sitemap、llms.txt、JSON-LD、canonical 等辅助信息（仅作参考，不计分）。

评分怎么算

满分 100，由四项加权组成，每一项扣了多少分在报告里都写得清楚。

  • 30
    爬虫访问robots.txt 和防火墙是否放行 AI 爬虫。读不到，后面都没有意义。
  • 30
    正文可读不执行 JS 时能拿到多少有效正文。
  • 20
    索引指令noindex、nosnippet 等声明是否限制了 AI 使用。
  • 20
    不依赖 JS渲染前后的正文差距。差距越大，不跑 JS 的爬虫看到的越少。
  • 完全达标得满分，部分达标得一半。
  • 测不出的项不计入，其余项按比例重新折算；可确认的项不足一半权重时不给分。
  • robots.txt 把所有 AI 爬虫都挡在外面时，总分上限 30。

检测哪些爬虫

ChatGPT
OAI-SearchBot · GPTBot · ChatGPT-User
Claude
Claude-SearchBot · ClaudeBot · Claude-User
Perplexity
PerplexityBot · Perplexity-User
Google AI
Googlebot · Google-Extended

我们不做什么

  • 不绕过拦截。被防火墙拦住就如实报告，不换身份、不换 IP、不重试。
  • 不判断内容写得好不好，只看 AI 能不能读到。
  • 不把推断当事实。被拦截时只知道「我们被拦了」，不替 AI 爬虫下结论。

常见问题

网站能正常打开，为什么 AI 还是读不懂？

常见原因有三个：防火墙把 AI 爬虫当机器人拦了；robots.txt 禁止了 GPTBot 等爬虫；页面靠 JavaScript 才显示内容，不执行 JS 的爬虫拿到的是空壳。

被拦截的网站为什么没有评分？

对方拒绝了我们的检测请求时，我们只知道「我们被拦了」，无法判断 AI 爬虫能不能读，所以写「无法判断」而不是编一个分数。我们不会换身份或绕过验证去重试。

GEO 和 SEO 有什么区别？

SEO 面向传统搜索排名；GEO（生成式引擎优化）面向大模型搜索和问答，更看重正文是否清晰、结构化数据是否完整，以及 AI 爬虫能否顺利读到。

检测会影响我的网站吗？

不会。一次检测只发出十几个普通请求（页面、robots.txt、sitemap 等），User-Agent 含 AIReadScanner，说明见 /api/bot。