www.bluettipower.com

AI 爬虫分别被怎么对待

同一家 AI 公司通常有三种爬虫，用途不同，站点可以分别决定放不放行。

依据是该站公开的 robots.txt 原文，可以自行核对（不同位置读到的内容可能不同，见页面底部的说明）。没有专属规则的爬虫按通用规则（User-agent: *）处理。用户触发类爬虫是否遵守 robots.txt，各家厂商的做法不同。

中文区爬虫

国内搜索与 AI 公司的爬虫，robots.txt 对它们写了什么。

豆包、Kimi、通义、元宝、DeepSeek 等国内大模型产品没有公开文档化、可单独屏蔽的爬虫名，所以这里列的是国内厂商有公开 robots 名称的爬虫，不能据此推断某个 AI 产品能不能读到这个站。

AI 实际能读到什么

很多 AI 爬虫不执行 JavaScript。下面比较首页在“不执行”和“执行”两种情况下能读到的正文。

• 读取结论两者几乎一致，首页内容不依赖 JavaScript，AI 爬虫能读到完整正文。
• 结构化数据静态页面里带有 JSON-LD（类型：BreadcrumbList、Organization、WebSite），便于 AI 理解页面是什么。

首页的元信息

首页 <head> 里声明的语言、canonical 和分享标签。只陈述个数和取值，不评价。

• 页面语言首页声明的语言是 en-US。
• canonicalcanonical 指向它自己。
• 页面描述meta description 约 173 字。
• 分享标签Open Graph 标签 9 项；Twitter Card 是 summary。
• 多语言版本通过 hreflang 声明了 29 个语言 / 地区版本。

agent 在首页上能不能操作

agent 要在页面上读懂并点击控件。下面是首页渲染后的实测数字，只陈述，不评价。

• 控件名称可访问性树里 257 个可交互控件，70 个没有名称（27%）。
• 控件构成DOM 里数到 229 个原生控件（链接、按钮、输入框等），12 个靠 ARIA role 声明的部件。这是 DOM 的口径，和上面可访问性树里的个数不一定相加相等。
• 没有名称的是链接 69 个、按钮 1 个。
• 浮层遮挡视口内检查了 27 个控件，其中 18 个被整屏浮层盖住。
• 表单没有 3 个字段以上的表单（只有搜索框的不算）。
• 嵌入内容跨域 iframe 2 个，可穿透的 shadow root 123 个。

只测了首页的匿名视图，没有点击或提交任何东西；不同 agent 读取页面的方式不同，这些数字不等同于某个 agent 的表现。

这意味着什么

• 能被 AI 搜索引用。OAI-SearchBot、Claude-SearchBot、PerplexityBot、Googlebot 都被放行，用户提问时它的内容有机会被引用并带上链接。
• 没有禁止训练类爬虫。GPTBot、ClaudeBot、Google-Extended 未被禁止，按规则它们可以收集这里的内容用于训练。
• 用户贴链接可以读。用户在对话里发出它的链接时，AI 可以去读取。

AI 问答速查

针对 AI 检索引用与抓取最常遇到的问题，基于公开事实直接解答：

同分类其他站点报告

查看「跨境独立站」相关分类下其他公开站点的 AI 爬虫设置快照：