30 个知名网站的 AI 可读性实测：我们看到了什么

2026-10-04 · 基于 2026-10-02 的一次检测

先说清楚样本

我们做 AI Read 时，用 30 个真实网站验证检测逻辑，顺手记下了一些数据。样本覆盖文档站、新闻、百科、 单页应用（SPA）、电商、国内站点、博客、政府网站和 AI 厂商官网。

  • 样本是挑选的，不是随机抽样，不代表全网；
  • 每个站点只检测了一次，结果会随时间、出口 IP 和对方防护策略变化；
  • 不公布具体站名：30 个站的一次性检测，不足以对某个具体网站下结论。

发现一：7 个站点拒绝了我们的请求

30 个里有 7 个（23%）对我们的检测请求返回了 401、403 或 429。拦截方式包括 DataDome、 Cloudflare 的人机验证、Akamai 的拒绝页，以及普通的限流。

这不等于这些站点拦截了 AI 爬虫。我们的请求没有经过任何爬虫身份验证，不少站点对已验证的爬虫放行， 只拦未验证的自动化访问。能确定的只有一点：对一个陌生的、未验证的自动化请求，大站里有相当一部分是拒绝的。 遇到这种情况，AI Read 只会如实写「无法判断」，不会换身份重试。

发现二：新闻站普遍用 robots.txt 限制 AI 爬虫

样本里的 4 个大型新闻站，都在 robots.txt 里限制了部分或全部 AI 爬虫。这是新闻行业的常见做法，通常是有意的选择， 不是误封。所以 AI Read 对「禁止训练类爬虫」只陈述事实，不算问题、不扣分。

发现三：多数站点的静态 HTML 里没有结构化数据

能正常访问的 23 个站点里，只有 8 个在不执行 JavaScript 的原始 HTML 里带有 JSON-LD。 包括几个技术文档站在内，不少公认做得很好的站点都没有。所以我们没有把结构化数据计入评分： 缺失是常态，扣分会惩罚做得最好的站点。

发现四：有站点对不同爬虫返回不同的页面

我们用不同 AI 爬虫的 User-Agent 各请求一次，比较返回的内容。能比较的 21 个站点里，20 个返回一致； 另有 1 个对 Googlebot 返回的页面只有约 29KB，而对其他爬虫返回约 728KB，只有约 4%。 样本里只有一例，不能据此下结论，但说明「不同爬虫看到的页面可能不一样」是真实存在的情况。

对站长意味着什么

  • 别只在浏览器里看：用不同 AI 爬虫的身份请求一次，才知道它们看到的是什么；
  • 检查 robots.txt：确认你想放行的 AI 搜索爬虫没有被旧规则误封；
  • 确认防火墙对你想放行的爬虫的策略，而不只是对普通浏览器；
  • 结构化数据是加分项，不是及格线，别为了它牺牲正文。

想看你自己的网站是什么情况：输入网址，做一次检测。评分规则和检测流程见检测方法。

局限

  • 小样本、一次性检测、挑选的站点：数字用来说明现象，不用来排名；
  • AI Read 检测的是 ChatGPT、Claude、Perplexity、Google 的爬虫规则与探测，不覆盖所有 AI 产品；
  • 被拦截的站点我们看不到页面内容，结论只能是「无法判断」。