sspai.com
Markdown 旁路面向数字工具与效率爱好者的内容社区，提供应用推荐、硬件评测、专栏文章与会员服务。
没有为 AI 爬虫单独设置规则，按通用规则全部放行。
共检查了 robots.txt 对 10 个主流 AI 爬虫的设置。首页在不执行 JavaScript 时，正文也能被读取。
AI 爬虫分别被怎么对待
同一家 AI 公司通常有三种爬虫，用途不同，站点可以分别决定放不放行。
依据是该站公开的 robots.txt 原文，可以自行核对（不同位置读到的内容可能不同，见页面底部的说明）。没有专属规则的爬虫按通用规则（User-agent: *）处理。用户触发类爬虫是否遵守 robots.txt，各家厂商的做法不同。
AI 实际能读到什么
很多 AI 爬虫不执行 JavaScript。下面比较首页在“不执行”和“执行”两种情况下能读到的正文。
- 读取结论两者几乎一致，首页内容不依赖 JavaScript，AI 爬虫能读到完整正文。
- 结构化数据静态页面里没有 JSON-LD 结构化数据（可选项，不影响抓取）。
这意味着什么
- 能被 AI 搜索引用。OAI-SearchBot、Claude-SearchBot、PerplexityBot、Googlebot 都被放行，用户提问时它的内容有机会被引用并带上链接。
- 没有禁止训练类爬虫。GPTBot、ClaudeBot、Google-Extended 未被禁止，按规则它们可以收集这里的内容用于训练。
- 用户贴链接可以读。用户在对话里发出它的链接时，AI 可以去读取。
AI 问答速查
针对 AI 检索引用与抓取最常遇到的问题，基于公开事实直接解答：
sspai.com 是否允许 AI 搜索（ChatGPT Search、Claude、Perplexity、Google）抓取与引用？
可以抓取。sspai.com 的 robots.txt 没有阻止 OAI-SearchBot、Claude-SearchBot、PerplexityBot、Googlebot 等 AI 搜索爬虫，它们可以访问页面；回答时是否引用，还取决于各家的检索与排序。
sspai.com 是否允许大模型训练爬虫（GPTBot、ClaudeBot、Google-Extended）抓取数据？
没有阻止。sspai.com 的 robots.txt 没有禁止 GPTBot、ClaudeBot、Google-Extended 等训练类爬虫，按规则它们可以收集公开页面内容用于训练。
用户在 ChatGPT 或 Claude 中输入 sspai.com 网页链接，AI 能否实时读取并分析？
能。sspai.com 的 robots.txt 没有封禁 ChatGPT-User、Claude-User、Perplexity-User 等用户触发类爬虫，用户在 ChatGPT、Claude 等对话里贴出该站链接时，AI 可以去读取页面。用户触发类爬虫是否遵守 robots.txt 各家做法不同，网站防火墙或登录要求不在本报告的判断范围内。
sspai.com 首页内容是否依赖 JavaScript 渲染？AI 能否直接读取正文？
不依赖。sspai.com 首页不执行 JavaScript 时可提取约 2,255 字正文，执行 JavaScript 后约 2,207 字，两者几乎一致，不执行 JavaScript 的 AI 爬虫也能读到完整正文。
sspai.com 的站长想让 AI 更容易读取，或按自己的意愿限制使用，可以做什么？
（1）如果不希望内容进入模型训练，在 robots.txt 里为 GPTBot、ClaudeBot、Google-Extended 分别写 User-agent 和 Disallow: /，训练类与搜索类爬虫按各家官方说明是相互独立的，禁止训练类不会同时挡住搜索类；（2）在首页补充 JSON-LD 结构化数据（如 Organization、WebSite），帮助 AI 和搜索引擎识别页面讲的是什么。
同分类其他站点报告
查看「新闻媒体」相关分类下其他公开站点的 AI 爬虫设置快照：
想知道你自己的网站是什么情况？输入网址，做一次检测。
本页是 AI Read 的服务器于 2026-10-29 读到的快照，robots.txt 可能因访问位置和网络节点而不同。 检测方法 · Markdown 纯文本 · 反馈或撤下