我们检测了 92 个公开网站：有多少被 AI 爬虫拒之门外？
结论
在 robots.txt 这一层，几乎没有。85 个读取结果一致的站里，没有一个禁止 AI 搜索类爬虫， 没有一个禁止用户触发类爬虫，只有 1 个用 Disallow 限制了部分训练类爬虫。 多数站根本没有表态：69 个（81%）没有给任何主流 AI 爬虫写专属规则，15 个（18%）点名写了放行。
真正可能把 AI 挡在外面的是别的东西：20 个站（22%）的正文要执行 JavaScript 才完整，7 个站（8%）的 robots.txt 会因为从哪里读而不同或读不到， 静态 HTML 里没有结构化数据的站占了六成。
| 看什么 | 数量 | 占比 |
|---|---|---|
| robots.txt 禁止 AI 搜索类爬虫 | 0 / 85 | 0% |
| robots.txt 禁止用户触发类爬虫 | 0 / 85 | 0% |
| 不希望内容用于训练（Disallow 或 Content-Signal） | 2 / 85 | 2% |
| 没有给 AI 爬虫写专属规则 | 69 / 85 | 81% |
| robots.txt 读不到，或两次读取立场不同 | 7 / 92 | 8% |
| 正文部分或大部分依赖 JavaScript | 20 / 92 | 22% |
| 静态 HTML 里没有 JSON-LD 结构化数据 | 49 / 83 | 59% |
样本与方法
- 92 个站点，分三组：电商 22 个（垂直电商、跨境独立站、电商 SaaS 与工具）， 初创·SaaS·AI 35 个，内容与开发者 35 个（技术社区、开发者文档、新闻、云服务）；
- 样本是挑选的，面向国内访问，不是随机抽样，不代表全网；
- 每个站点只检测一次（2026-10-29 至 10-30）：robots.txt 与页面探测由 AI Read 位于香港的服务器完成，页面字数对比由国内网络下的浏览器完成；
- robots.txt 立场按检测方法里同一套规则判断；每个站的 robots.txt 读取两次（香港服务器一次，采集端本机一次），两次一致的 85 个才计入立场统计；
- JavaScript 依赖按「不执行 JS 的可见文字量 / 执行 JS 后的可见文字量」自动分级，没有逐站人工复核；
- 本文只做汇总，不点名。想看单个站点的结论，见站点报告，那里每一页都经人工复核。
发现一：没有一个站在 robots.txt 里拒绝 AI 搜索
85 个读取一致的站里，AI 搜索类爬虫（如 OAI-SearchBot、Claude-SearchBot、PerplexityBot）：13 个点名放行，72 个没有专属规则，0 个禁止。 用户触发类爬虫（如 ChatGPT-User、Claude-User）：7 个点名放行，78 个没有专属规则，0 个禁止。
训练类爬虫（如 GPTBot、ClaudeBot、Google-Extended）有分歧但很少：10 个点名放行，74 个没有专属规则，1 个用 Disallow 限制了其中几个。另有 1 个站用 Content-Signal 声明了 ai-train=no， 同时在 User-agent 里放行了这些爬虫。
这和我们 10 月初测的 30 个知名网站不同：那一批里新闻站普遍限制 AI 爬虫。 这一批以国内的电商、初创和内容站为主，不是国际大站；其中 9 个新闻站里也只有 1 个限制了训练类爬虫。 差别可能来自样本，不能据此推论整个行业。
发现二：多数站没有表态，少数点名欢迎
69 个站（81%）的 robots.txt 没有给任何主流 AI 爬虫写专属规则，按通用规则处理；15 个站（18%） 点名写了放行，其中不少同时覆盖搜索、训练和用户触发三类。另有 6 个站在 robots.txt 里用了 Content-Signal 声明。
「没表态」有两种可能：站长有意不管，或者还不知道有这件事。从 robots.txt 看不出区别。 想明确表达立场的站长，可以按用途分别写，见检测方法。
发现三：同一个站，换个位置读到的 robots.txt 可能不同
92 个站里有 7 个（8%）的 robots.txt 取决于从哪里读：5 个我们的服务器读不到，2 个两次读到的立场不同。 另有 5 个站，我们的服务器打不开首页。原因多半是 CDN 节点、地域策略或对数据中心 IP 的限制。
这不等于这些站拦截了 AI 爬虫，但说明「站点对 AI 爬虫的设置」不是一个全球一致的事实。 所以站点报告的每一页都写明读取位置和日期。
发现四：JavaScript 是更常见的门槛
很多 AI 爬虫不执行 JavaScript。92 个站里 20 个（22%）的首页正文要执行 JavaScript 才完整： 17 个部分依赖，3 个高度依赖。这些站里，不执行 JS 的可见文字量中位数只有执行后的 46%。
| 分组 | 站点数 | 部分或高度依赖 JS |
|---|---|---|
| 电商 | 22 | 6（27%） |
| 初创·SaaS·AI | 35 | 4（11%） |
| 内容与开发者 | 35 | 10（29%） |
电商站和内容站更依赖 JavaScript：商品列表、评论、文章流常常是客户端渲染。这类站最在意被 AI 引用，却最可能让 AI 读到半个页面。
发现五：六成站的静态 HTML 里没有结构化数据
能读到静态页面的 83 个站里，只有 34 个（41%）带 JSON-LD，49 个（59%）没有。结构化数据是加分项，不是及格线，AI Read 不把它计入任何分数。
对站长意味着什么
- 别把「没拦 AI」当成「AI 能读到」：先看 robots.txt，再看不执行 JavaScript 时首页还剩多少正文；
- 想明确表态就按用途分别写：搜索、训练、用户触发三类爬虫可以分开放行或禁止；
- 从不同位置验证一次 robots.txt 和首页，CDN 和地域策略可能让你看到的和 AI 看到的不一样；
- 关键内容放进服务端渲染或静态 HTML，结构化数据按需补充。
想看你自己的网站是什么情况：输入网址，做一次检测。
常见问题
有多少网站在 robots.txt 里拒绝 AI 爬虫？
在我们检测的 92 个公开网站里，robots.txt 两次读取结果一致的有 85 个：没有一个禁止 AI 搜索类或用户触发类爬虫，1 个用 Disallow 限制了部分训练类爬虫，另有 1 个用 Content-Signal 声明不希望内容用于训练。样本是挑选的，不代表全网。
robots.txt 里没有写 AI 爬虫的规则，等于允许吗？
按 robots.txt 的规则，没有给某个爬虫写专属规则时，它按通用规则（User-agent: *）处理。通用规则没有禁止，它就可以抓取。85 个站里有 69 个（81%）没有给任何主流 AI 爬虫写专属规则。注意：这只说明 robots.txt 没拦，不说明防火墙、登录要求或页面渲染方式不拦。
为什么说 JavaScript 比 robots.txt 更容易挡住 AI？
很多 AI 爬虫抓取页面时不执行 JavaScript。92 个站里有 20 个（22%）的首页部分或大部分正文要执行 JavaScript 才出现，这些站不执行 JavaScript 的 AI 爬虫读到的是不完整的页面；而 robots.txt 层面拒绝 AI 的站只有个位数。
局限
- 挑选的样本、一次性检测、一个读取位置：数字用来说明现象，不用来排名，也不代表全网；
- 只看 robots.txt、首页可见文字和静态 HTML 里的 JSON-LD；防火墙、登录墙和人机验证不在本文统计范围内；
- robots.txt 是约定不是强制，用户触发类爬虫是否遵守，各家厂商做法不同；
- JavaScript 依赖是按字数比值自动分级，个别站的判断可能有出入；其中 23 个站的抽取器与 LLM 判断有分歧，尚未逐一复核。
引用本文
引用本文数据时，建议使用以下格式：
- 数据来源：我们检测了 92 个公开网站：有多少被 AI 爬虫拒之门外？（检测于 2026-10-29 至 10-30）。
- 出处平台：AI Read (llmo.com.cn)，2026。
- 永久链接：https://llmo.com.cn/articles/ai-crawler-access-92-sites