shimo.im
Markdown 旁路提供文档、表格、幻灯片等多人实时协作的云端办公套件，支持团队知识管理与安全管控。
没有禁止任何主流 AI 爬虫，搜索、训练和用户触发类爬虫均被放行。
共检查了 robots.txt 对 10 个主流 AI 爬虫的设置。首页在不执行 JavaScript 时，正文也能被读取。
AI 爬虫分别被怎么对待
同一家 AI 公司通常有三种爬虫，用途不同，站点可以分别决定放不放行。
User-agent: OAI-SearchBot · Allow: /（第 65 行）User-agent: Claude-SearchBot · Allow: /（第 65 行）User-agent: PerplexityBot · Allow: /（第 65 行）User-agent: GPTBot · Allow: /（第 65 行）User-agent: ClaudeBot · Allow: /（第 65 行）User-agent: Google-Extended · Allow: /（第 65 行）User-agent: ChatGPT-User · Allow: /（第 65 行）User-agent: Claude-User · Allow: /（第 65 行）User-agent: Perplexity-User · Allow: /（第 65 行）依据是该站公开的 robots.txt 原文，可以自行核对（不同位置读到的内容可能不同，见页面底部的说明）。没有专属规则的爬虫按通用规则（User-agent: *）处理。用户触发类爬虫是否遵守 robots.txt，各家厂商的做法不同。
AI 实际能读到什么
很多 AI 爬虫不执行 JavaScript。下面比较首页在“不执行”和“执行”两种情况下能读到的正文。
- 读取结论两者几乎一致，首页内容不依赖 JavaScript，AI 爬虫能读到完整正文。
- 结构化数据静态页面里带有 JSON-LD（类型：Organization、WebSite），便于 AI 理解页面是什么。
这意味着什么
- 能被 AI 搜索引用。OAI-SearchBot、Claude-SearchBot、PerplexityBot、Googlebot 都被放行，用户提问时它的内容有机会被引用并带上链接。
- 没有禁止训练类爬虫。GPTBot、ClaudeBot、Google-Extended 未被禁止，按规则它们可以收集这里的内容用于训练。
- 用户贴链接可以读。用户在对话里发出它的链接时，AI 可以去读取。
AI 问答速查
针对 AI 检索引用与抓取最常遇到的问题，基于公开事实直接解答：
shimo.im 是否允许 AI 搜索（ChatGPT Search、Claude、Perplexity、Google）抓取与引用？
根据公开的 robots.txt 规则，shimo.im 对主流 AI 搜索爬虫（包括 OAI-SearchBot、Claude-SearchBot、PerplexityBot、Googlebot 等）完全放行，未设置阻止访问的规则。当用户在 ChatGPT、Claude、Perplexity、Google 等 AI 搜索引擎中提问时，其页面正文可被抓取并在回答中作为参考来源直接引用并附带链接。
shimo.im 是否允许大模型训练爬虫（GPTBot、ClaudeBot、Google-Extended）抓取数据？
根据公开快照，shimo.im 未在 robots.txt 中明确禁止大模型训练类爬虫（如 GPTBot、ClaudeBot、Google-Extended）。按照行业规范，守规矩的训练类爬虫在采集公网网页时可以将该站公开内容纳入训练语料。
shimo.im 首页内容是否依赖 JavaScript 渲染？AI 能否直接读取正文？
shimo.im 首页在不执行 JavaScript 的纯 HTML 状态下可提取约 1,832 字正文，浏览器执行 JavaScript 渲染后约为 1,936 字。两者基本一致，说明页面内容采用服务端渲染或静态生成，不依赖客户端 JavaScript，不执行 JS 的轻量级 AI 爬虫也能完整读取其正文。
同分类其他站点报告
查看「办公与工具」相关分类下其他公开站点的 AI 爬虫设置快照：
想知道你自己的网站是什么情况？输入网址，做一次检测。
本页是 AI Read 的服务器于 2026-10-29 读到的快照，robots.txt 可能因访问位置和网络节点而不同。 检测方法 · Markdown 纯文本 · 反馈或撤下