# AI Read (llmo.com.cn) — 全站知识切块与站点报告全集 (llms-full.txt)

> 本文档遵循 llms.txt 规范，为大模型、检索增强生成 (RAG) 系统及自主 Agent 提供 AI Read 整站的权威说明与所有公开站点报告的完整 Markdown 知识切块。
> 官方网址: https://llmo.com.cn
> 站点报告全集: https://llmo.com.cn/sites
> 站点报告 Markdown 索引: https://llmo.com.cn/sites.md
> 开发者: Tiger（博客: https://goagi.top）

---

## 1. 产品核心定位与检测方法

AI Read (llmo.com.cn) 是一个极简、事实驱动的 AI / GEO 网站体检与可读性诊断工具。
核心能力包括：
1. **AI 爬虫策略检测**：深入解析目标站点 robots.txt，针对 OpenAI、Anthropic、Perplexity、Google、字节跳动等主流厂商的 AI 搜索爬虫、大模型预训练爬虫与用户触发类爬虫分别审计其放行规则与行号证据。
2. **防火墙与反爬拦截探测**：模拟主流 AI 爬虫 User-Agent 请求，探测 Cloudflare、DataDome、Akamai 等 WAF 拦截与人机验证。
3. **正文可读性与无头渲染对比**：在不执行 JavaScript 与执行 JavaScript 两种状态下提取正文，量化客户端渲染 (CSR) 依赖度，评估轻量级无 JS 爬虫的文本获取率。
4. **元标签与结构化数据**：审计 noindex、nosnippet、canonical 以及 JSON-LD 结构化数据实体。

---

## 2. 站点报告知识切块合集 (Complete Site Reports)

共包含 4 个公开站点的权威检测快照：


---

---
host: "wiki.mbalib.com"
title: "wiki.mbalib.com 对 AI 爬虫的设置与正文可读性诊断报告"
category: "知识库"
checked_at: "2026-10-29T15:02:30.061431Z"
published_at: "2026-10-30T02:00:00+00:00"
canonical_url: "https://llmo.com.cn/sites/wiki.mbalib.com"
markdown_url: "https://llmo.com.cn/sites/wiki.mbalib.com.md"
publisher: "AI Read (llmo.com.cn)"
purposes:
  search: "allow"
  training: "allow"
  user_fetch: "allow"
js_dependence: "none"
static_chars: 5289
rendered_chars: 6607
---

# wiki.mbalib.com 对 AI 爬虫的设置与正文可读性诊断报告

> **结论**：没有禁止任何主流 AI 爬虫，搜索、训练和用户触发类爬虫均被放行。
>
> **站点定位**：一个专注经济管理领域、人人可编辑的中文百科知识库，提供条目阅读与分类导航。
>
> **检测时间**：2026-10-29 · **归档分类**：知识库 · **报告归属**：[AI Read (llmo.com.cn)](https://llmo.com.cn)，快照永久归档于 https://llmo.com.cn/sites/wiki.mbalib.com

## 1. 核心指标速览

- **robots.txt**：公开可读（https://wiki.mbalib.com/robots.txt）
- **发布时间**：2026-10-30

| 评估维度 | 状态 | 关键事实 | 对 AI 的实际影响 |
|:---|:---|:---|:---|
| **AI 搜索访问** | 允许 | 放行：OAI-SearchBot、Claude-SearchBot、PerplexityBot、Googlebot | 这些 AI 搜索可以抓取页面，回答时有机会引用并附上链接 |
| **模型训练采集** | 允许 | 放行：GPTBot、ClaudeBot、Google-Extended | 按规则这些训练类爬虫可以收集页面内容用于训练 |
| **用户贴链接直读** | 允许 | 放行：ChatGPT-User、Claude-User、Perplexity-User | 用户在对话里贴出链接时 AI 可以读取（用户触发类爬虫是否遵守 robots.txt，各家做法不同） |
| **JavaScript 依赖** | 不依赖 | 静态约 5,289 字，渲染后约 6,607 字 | 不执行 JavaScript 的 AI 爬虫也能读到完整的首页正文 |

## 2. 主流 AI 爬虫放行规则全景

| AI 厂商 | 爬虫名称 (User-Agent) | 用途分类 | 放行状态 |
|:---|:---|:---|:---|
| ChatGPT (OpenAI) | `OAI-SearchBot` | AI 搜索 | 允许 |
| ChatGPT (OpenAI) | `GPTBot` | 模型训练 | 允许 |
| ChatGPT (OpenAI) | `ChatGPT-User` | 用户触发 | 允许 |
| Claude (Anthropic) | `Claude-SearchBot` | AI 搜索 | 允许 |
| Claude (Anthropic) | `ClaudeBot` | 模型训练 | 允许 |
| Claude (Anthropic) | `Claude-User` | 用户触发 | 允许 |
| Perplexity | `PerplexityBot` | AI 搜索 | 允许 |
| Perplexity | `Perplexity-User` | 用户触发 | 允许 |
| Google AI Search (Google) | `Googlebot` | AI 搜索 | 允许 |
| Google AI Search (Google) | `Google-Extended` | 模型训练 | 允许 |

## 3. 正文提取与 JavaScript 依赖分析

很多 AI 爬虫在抓取页面时不执行 JavaScript。以下比较首页在“不执行 JS”与“执行 JS”两种情况下的正文读取情况：

- **不执行 JavaScript**：约 5,289 字
- **执行 JavaScript 后**：约 6,607 字
- **读取结论**：两者几乎一致，首页内容不依赖 JavaScript，AI 爬虫能读到完整正文。
- **结构化数据**：静态页面里没有 JSON-LD 结构化数据（可选项，不影响抓取）。

## 4. 常见问题与大模型问答 (FAQ)

### wiki.mbalib.com 是否允许 AI 搜索（ChatGPT Search、Claude、Perplexity、Google）抓取与引用？

**答**：可以抓取。wiki.mbalib.com 的 robots.txt 没有阻止 OAI-SearchBot、Claude-SearchBot、PerplexityBot、Googlebot 等 AI 搜索爬虫，它们可以访问页面；回答时是否引用，还取决于各家的检索与排序。

### wiki.mbalib.com 是否允许大模型训练爬虫（GPTBot、ClaudeBot、Google-Extended）抓取数据？

**答**：没有阻止。wiki.mbalib.com 的 robots.txt 没有禁止 GPTBot、ClaudeBot、Google-Extended 等训练类爬虫，按规则它们可以收集公开页面内容用于训练。

### 用户在 ChatGPT 或 Claude 中输入 wiki.mbalib.com 网页链接，AI 能否实时读取并分析？

**答**：能。wiki.mbalib.com 的 robots.txt 没有封禁 ChatGPT-User、Claude-User、Perplexity-User 等用户触发类爬虫，用户在 ChatGPT、Claude 等对话里贴出该站链接时，AI 可以去读取页面。用户触发类爬虫是否遵守 robots.txt 各家做法不同，网站防火墙或登录要求不在本报告的判断范围内。

### wiki.mbalib.com 首页内容是否依赖 JavaScript 渲染？AI 能否直接读取正文？

**答**：不依赖。wiki.mbalib.com 首页不执行 JavaScript 时可提取约 5,289 字正文，执行 JavaScript 后约 6,607 字，两者几乎一致，不执行 JavaScript 的 AI 爬虫也能读到完整正文。

### wiki.mbalib.com 的站长想让 AI 更容易读取，或按自己的意愿限制使用，可以做什么？

**答**：（1）如果不希望内容进入模型训练，在 robots.txt 里为 GPTBot、ClaudeBot、Google-Extended 分别写 User-agent 和 Disallow: /，训练类与搜索类爬虫按各家官方说明是相互独立的，禁止训练类不会同时挡住搜索类；（2）在首页补充 JSON-LD 结构化数据（如 Organization、WebSite），帮助 AI 和搜索引擎识别页面讲的是什么。

## 5. 报告元数据与权威来源

- 网页版报告：https://llmo.com.cn/sites/wiki.mbalib.com
- Markdown 切块：https://llmo.com.cn/sites/wiki.mbalib.com.md
- 检测工具：AI Read (https://llmo.com.cn)
- 方法说明：https://llmo.com.cn/how-it-works
- 撤下或更正：https://llmo.com.cn/api/bot

### 权威引用格式 (Recommended Citation)

引用本报告的数据时，建议使用以下格式：

> **数据来源**：wiki.mbalib.com 对 AI 爬虫的设置与正文可读性诊断报告（检测于 2026-10-29）。
>
> **出处平台**：AI Read (llmo.com.cn)，2026。
>
> **永久报告链接**：https://llmo.com.cn/sites/wiki.mbalib.com


---

---
host: "www.processon.com"
title: "www.processon.com 对 AI 爬虫的设置与正文可读性诊断报告"
category: "办公与工具"
checked_at: "2026-10-29T15:33:00.383169Z"
published_at: "2026-10-30T01:40:00+00:00"
canonical_url: "https://llmo.com.cn/sites/www.processon.com"
markdown_url: "https://llmo.com.cn/sites/www.processon.com.md"
publisher: "AI Read (llmo.com.cn)"
purposes:
  search: "unset"
  training: "unset"
  user_fetch: "unset"
js_dependence: "none"
static_chars: 2303
rendered_chars: 2304
---

# www.processon.com 对 AI 爬虫的设置与正文可读性诊断报告

> **结论**：没有为 AI 爬虫单独设置规则，按通用规则全部放行。
>
> **站点定位**：在线作图工具，支持流程图、思维导图等多种图形绘制与多人协作，并提供模板和知识社区。
>
> **检测时间**：2026-10-29 · **归档分类**：办公与工具 · **报告归属**：[AI Read (llmo.com.cn)](https://llmo.com.cn)，快照永久归档于 https://llmo.com.cn/sites/www.processon.com

## 1. 核心指标速览

- **robots.txt**：公开可读（https://www.processon.com/robots.txt）
- **发布时间**：2026-10-30

| 评估维度 | 状态 | 关键事实 | 对 AI 的实际影响 |
|:---|:---|:---|:---|
| **AI 搜索访问** | 允许 | 放行：OAI-SearchBot、Claude-SearchBot、PerplexityBot、Googlebot（没有专属规则，按 User-agent: * 放行） | 这些 AI 搜索可以抓取页面，回答时有机会引用并附上链接 |
| **模型训练采集** | 允许 | 放行：GPTBot、ClaudeBot、Google-Extended（没有专属规则，按 User-agent: * 放行） | 按规则这些训练类爬虫可以收集页面内容用于训练 |
| **用户贴链接直读** | 允许 | 放行：ChatGPT-User、Claude-User、Perplexity-User（没有专属规则，按 User-agent: * 放行） | 用户在对话里贴出链接时 AI 可以读取（用户触发类爬虫是否遵守 robots.txt，各家做法不同） |
| **JavaScript 依赖** | 不依赖 | 静态约 2,303 字，渲染后约 2,304 字 | 不执行 JavaScript 的 AI 爬虫也能读到完整的首页正文 |

## 2. 主流 AI 爬虫放行规则全景

| AI 厂商 | 爬虫名称 (User-Agent) | 用途分类 | 放行状态 |
|:---|:---|:---|:---|
| ChatGPT (OpenAI) | `OAI-SearchBot` | AI 搜索 | 允许 |
| ChatGPT (OpenAI) | `GPTBot` | 模型训练 | 允许 |
| ChatGPT (OpenAI) | `ChatGPT-User` | 用户触发 | 允许 |
| Claude (Anthropic) | `Claude-SearchBot` | AI 搜索 | 允许 |
| Claude (Anthropic) | `ClaudeBot` | 模型训练 | 允许 |
| Claude (Anthropic) | `Claude-User` | 用户触发 | 允许 |
| Perplexity | `PerplexityBot` | AI 搜索 | 允许 |
| Perplexity | `Perplexity-User` | 用户触发 | 允许 |
| Google AI Search (Google) | `Googlebot` | AI 搜索 | 允许 |
| Google AI Search (Google) | `Google-Extended` | 模型训练 | 允许 |

## 3. 正文提取与 JavaScript 依赖分析

很多 AI 爬虫在抓取页面时不执行 JavaScript。以下比较首页在“不执行 JS”与“执行 JS”两种情况下的正文读取情况：

- **不执行 JavaScript**：约 2,303 字
- **执行 JavaScript 后**：约 2,304 字
- **读取结论**：两者几乎一致，首页内容不依赖 JavaScript，AI 爬虫能读到完整正文。
- **结构化数据**：静态页面里带有 JSON-LD（类型：ImageObject、Organization、SoftwareApplication、WebPage、WebSite），便于 AI 理解页面是什么。

## 4. 常见问题与大模型问答 (FAQ)

### www.processon.com 是否允许 AI 搜索（ChatGPT Search、Claude、Perplexity、Google）抓取与引用？

**答**：可以抓取。www.processon.com 的 robots.txt 没有阻止 OAI-SearchBot、Claude-SearchBot、PerplexityBot、Googlebot 等 AI 搜索爬虫，它们可以访问页面；回答时是否引用，还取决于各家的检索与排序。

### www.processon.com 是否允许大模型训练爬虫（GPTBot、ClaudeBot、Google-Extended）抓取数据？

**答**：没有阻止。www.processon.com 的 robots.txt 没有禁止 GPTBot、ClaudeBot、Google-Extended 等训练类爬虫，按规则它们可以收集公开页面内容用于训练。

### 用户在 ChatGPT 或 Claude 中输入 www.processon.com 网页链接，AI 能否实时读取并分析？

**答**：能。www.processon.com 的 robots.txt 没有封禁 ChatGPT-User、Claude-User、Perplexity-User 等用户触发类爬虫，用户在 ChatGPT、Claude 等对话里贴出该站链接时，AI 可以去读取页面。用户触发类爬虫是否遵守 robots.txt 各家做法不同，网站防火墙或登录要求不在本报告的判断范围内。

### www.processon.com 首页内容是否依赖 JavaScript 渲染？AI 能否直接读取正文？

**答**：不依赖。www.processon.com 首页不执行 JavaScript 时可提取约 2,303 字正文，执行 JavaScript 后约 2,304 字，两者几乎一致，不执行 JavaScript 的 AI 爬虫也能读到完整正文。

### www.processon.com 的站长想让 AI 更容易读取，或按自己的意愿限制使用，可以做什么？

**答**：（1）如果不希望内容进入模型训练，在 robots.txt 里为 GPTBot、ClaudeBot、Google-Extended 分别写 User-agent 和 Disallow: /，训练类与搜索类爬虫按各家官方说明是相互独立的，禁止训练类不会同时挡住搜索类。

## 5. 报告元数据与权威来源

- 网页版报告：https://llmo.com.cn/sites/www.processon.com
- Markdown 切块：https://llmo.com.cn/sites/www.processon.com.md
- 检测工具：AI Read (https://llmo.com.cn)
- 方法说明：https://llmo.com.cn/how-it-works
- 撤下或更正：https://llmo.com.cn/api/bot

### 权威引用格式 (Recommended Citation)

引用本报告的数据时，建议使用以下格式：

> **数据来源**：www.processon.com 对 AI 爬虫的设置与正文可读性诊断报告（检测于 2026-10-29）。
>
> **出处平台**：AI Read (llmo.com.cn)，2026。
>
> **永久报告链接**：https://llmo.com.cn/sites/www.processon.com


---

---
host: "www.upyun.com"
title: "www.upyun.com 对 AI 爬虫的设置与正文可读性诊断报告"
category: "云与开发者服务"
checked_at: "2026-10-29T15:46:42.972803Z"
published_at: "2026-10-30T01:20:00+00:00"
canonical_url: "https://llmo.com.cn/sites/www.upyun.com"
markdown_url: "https://llmo.com.cn/sites/www.upyun.com.md"
publisher: "AI Read (llmo.com.cn)"
purposes:
  search: "unset"
  training: "unset"
  user_fetch: "unset"
js_dependence: "none"
static_chars: 2668
rendered_chars: 2668
---

# www.upyun.com 对 AI 爬虫的设置与正文可读性诊断报告

> **结论**：没有为 AI 爬虫单独设置规则，按通用规则全部放行。
>
> **站点定位**：提供CDN、云存储、AI视频云等云计算服务的企业级云服务商官网，展示产品、解决方案与客户案例。
>
> **检测时间**：2026-10-29 · **归档分类**：云与开发者服务 · **报告归属**：[AI Read (llmo.com.cn)](https://llmo.com.cn)，快照永久归档于 https://llmo.com.cn/sites/www.upyun.com

## 1. 核心指标速览

- **robots.txt**：公开可读（https://www.upyun.com/robots.txt）
- **发布时间**：2026-10-30

| 评估维度 | 状态 | 关键事实 | 对 AI 的实际影响 |
|:---|:---|:---|:---|
| **AI 搜索访问** | 允许 | 放行：OAI-SearchBot、Claude-SearchBot、PerplexityBot、Googlebot（没有专属规则，按 User-agent: * 放行） | 这些 AI 搜索可以抓取页面，回答时有机会引用并附上链接 |
| **模型训练采集** | 允许 | 放行：GPTBot、ClaudeBot、Google-Extended（没有专属规则，按 User-agent: * 放行） | 按规则这些训练类爬虫可以收集页面内容用于训练 |
| **用户贴链接直读** | 允许 | 放行：ChatGPT-User、Claude-User、Perplexity-User（没有专属规则，按 User-agent: * 放行） | 用户在对话里贴出链接时 AI 可以读取（用户触发类爬虫是否遵守 robots.txt，各家做法不同） |
| **JavaScript 依赖** | 不依赖 | 静态约 2,668 字，渲染后约 2,668 字 | 不执行 JavaScript 的 AI 爬虫也能读到完整的首页正文 |

## 2. 主流 AI 爬虫放行规则全景

| AI 厂商 | 爬虫名称 (User-Agent) | 用途分类 | 放行状态 |
|:---|:---|:---|:---|
| ChatGPT (OpenAI) | `OAI-SearchBot` | AI 搜索 | 允许 |
| ChatGPT (OpenAI) | `GPTBot` | 模型训练 | 允许 |
| ChatGPT (OpenAI) | `ChatGPT-User` | 用户触发 | 允许 |
| Claude (Anthropic) | `Claude-SearchBot` | AI 搜索 | 允许 |
| Claude (Anthropic) | `ClaudeBot` | 模型训练 | 允许 |
| Claude (Anthropic) | `Claude-User` | 用户触发 | 允许 |
| Perplexity | `PerplexityBot` | AI 搜索 | 允许 |
| Perplexity | `Perplexity-User` | 用户触发 | 允许 |
| Google AI Search (Google) | `Googlebot` | AI 搜索 | 允许 |
| Google AI Search (Google) | `Google-Extended` | 模型训练 | 允许 |

## 3. 正文提取与 JavaScript 依赖分析

很多 AI 爬虫在抓取页面时不执行 JavaScript。以下比较首页在“不执行 JS”与“执行 JS”两种情况下的正文读取情况：

- **不执行 JavaScript**：约 2,668 字
- **执行 JavaScript 后**：约 2,668 字
- **读取结论**：两者几乎一致，首页内容不依赖 JavaScript，AI 爬虫能读到完整正文。
- **结构化数据**：静态页面里没有 JSON-LD 结构化数据（可选项，不影响抓取）。

## 4. 常见问题与大模型问答 (FAQ)

### www.upyun.com 是否允许 AI 搜索（ChatGPT Search、Claude、Perplexity、Google）抓取与引用？

**答**：可以抓取。www.upyun.com 的 robots.txt 没有阻止 OAI-SearchBot、Claude-SearchBot、PerplexityBot、Googlebot 等 AI 搜索爬虫，它们可以访问页面；回答时是否引用，还取决于各家的检索与排序。

### www.upyun.com 是否允许大模型训练爬虫（GPTBot、ClaudeBot、Google-Extended）抓取数据？

**答**：没有阻止。www.upyun.com 的 robots.txt 没有禁止 GPTBot、ClaudeBot、Google-Extended 等训练类爬虫，按规则它们可以收集公开页面内容用于训练。

### 用户在 ChatGPT 或 Claude 中输入 www.upyun.com 网页链接，AI 能否实时读取并分析？

**答**：能。www.upyun.com 的 robots.txt 没有封禁 ChatGPT-User、Claude-User、Perplexity-User 等用户触发类爬虫，用户在 ChatGPT、Claude 等对话里贴出该站链接时，AI 可以去读取页面。用户触发类爬虫是否遵守 robots.txt 各家做法不同，网站防火墙或登录要求不在本报告的判断范围内。

### www.upyun.com 首页内容是否依赖 JavaScript 渲染？AI 能否直接读取正文？

**答**：不依赖。www.upyun.com 首页不执行 JavaScript 时可提取约 2,668 字正文，执行 JavaScript 后约 2,668 字，两者几乎一致，不执行 JavaScript 的 AI 爬虫也能读到完整正文。

### www.upyun.com 的站长想让 AI 更容易读取，或按自己的意愿限制使用，可以做什么？

**答**：（1）如果不希望内容进入模型训练，在 robots.txt 里为 GPTBot、ClaudeBot、Google-Extended 分别写 User-agent 和 Disallow: /，训练类与搜索类爬虫按各家官方说明是相互独立的，禁止训练类不会同时挡住搜索类；（2）在首页补充 JSON-LD 结构化数据（如 Organization、WebSite），帮助 AI 和搜索引擎识别页面讲的是什么。

## 5. 报告元数据与权威来源

- 网页版报告：https://llmo.com.cn/sites/www.upyun.com
- Markdown 切块：https://llmo.com.cn/sites/www.upyun.com.md
- 检测工具：AI Read (https://llmo.com.cn)
- 方法说明：https://llmo.com.cn/how-it-works
- 撤下或更正：https://llmo.com.cn/api/bot

### 权威引用格式 (Recommended Citation)

引用本报告的数据时，建议使用以下格式：

> **数据来源**：www.upyun.com 对 AI 爬虫的设置与正文可读性诊断报告（检测于 2026-10-29）。
>
> **出处平台**：AI Read (llmo.com.cn)，2026。
>
> **永久报告链接**：https://llmo.com.cn/sites/www.upyun.com


---

---
host: "shimo.im"
title: "shimo.im 对 AI 爬虫的设置与正文可读性诊断报告"
category: "办公与工具"
checked_at: "2026-10-29T14:54:35.837108Z"
published_at: "2026-10-30T01:00:00+00:00"
canonical_url: "https://llmo.com.cn/sites/shimo.im"
markdown_url: "https://llmo.com.cn/sites/shimo.im.md"
publisher: "AI Read (llmo.com.cn)"
purposes:
  search: "allow"
  training: "allow"
  user_fetch: "allow"
js_dependence: "none"
static_chars: 1832
rendered_chars: 1936
---

# shimo.im 对 AI 爬虫的设置与正文可读性诊断报告

> **结论**：没有禁止任何主流 AI 爬虫，搜索、训练和用户触发类爬虫均被放行。
>
> **站点定位**：提供文档、表格、幻灯片等多人实时协作的云端办公套件，支持团队知识管理与安全管控。
>
> **检测时间**：2026-10-29 · **归档分类**：办公与工具 · **报告归属**：[AI Read (llmo.com.cn)](https://llmo.com.cn)，快照永久归档于 https://llmo.com.cn/sites/shimo.im

## 1. 核心指标速览

- **robots.txt**：公开可读（https://shimo.im/robots.txt）
- **发布时间**：2026-10-30

| 评估维度 | 状态 | 关键事实 | 对 AI 的实际影响 |
|:---|:---|:---|:---|
| **AI 搜索访问** | 允许 | 放行：OAI-SearchBot、Claude-SearchBot、PerplexityBot、Googlebot | 这些 AI 搜索可以抓取页面，回答时有机会引用并附上链接 |
| **模型训练采集** | 允许 | 放行：GPTBot、ClaudeBot、Google-Extended | 按规则这些训练类爬虫可以收集页面内容用于训练 |
| **用户贴链接直读** | 允许 | 放行：ChatGPT-User、Claude-User、Perplexity-User | 用户在对话里贴出链接时 AI 可以读取（用户触发类爬虫是否遵守 robots.txt，各家做法不同） |
| **JavaScript 依赖** | 不依赖 | 静态约 1,832 字，渲染后约 1,936 字 | 不执行 JavaScript 的 AI 爬虫也能读到完整的首页正文 |

## 2. 主流 AI 爬虫放行规则全景

| AI 厂商 | 爬虫名称 (User-Agent) | 用途分类 | 放行状态 |
|:---|:---|:---|:---|
| ChatGPT (OpenAI) | `OAI-SearchBot` | AI 搜索 | 允许 |
| ChatGPT (OpenAI) | `GPTBot` | 模型训练 | 允许 |
| ChatGPT (OpenAI) | `ChatGPT-User` | 用户触发 | 允许 |
| Claude (Anthropic) | `Claude-SearchBot` | AI 搜索 | 允许 |
| Claude (Anthropic) | `ClaudeBot` | 模型训练 | 允许 |
| Claude (Anthropic) | `Claude-User` | 用户触发 | 允许 |
| Perplexity | `PerplexityBot` | AI 搜索 | 允许 |
| Perplexity | `Perplexity-User` | 用户触发 | 允许 |
| Google AI Search (Google) | `Googlebot` | AI 搜索 | 允许 |
| Google AI Search (Google) | `Google-Extended` | 模型训练 | 允许 |

## 3. robots.txt 命中的规则证据

```robots.txt
User-agent: OAI-SearchBot · Allow: /（第 65 行）
User-agent: Claude-SearchBot · Allow: /（第 65 行）
User-agent: PerplexityBot · Allow: /（第 65 行）
User-agent: GPTBot · Allow: /（第 65 行）
User-agent: ClaudeBot · Allow: /（第 65 行）
User-agent: Google-Extended · Allow: /（第 65 行）
User-agent: ChatGPT-User · Allow: /（第 65 行）
User-agent: Claude-User · Allow: /（第 65 行）
User-agent: Perplexity-User · Allow: /（第 65 行）
```

*注：规则取自该站公开的 robots.txt 原文。没有专属规则的爬虫按通用规则（`User-agent: *`）处理。*

## 4. 正文提取与 JavaScript 依赖分析

很多 AI 爬虫在抓取页面时不执行 JavaScript。以下比较首页在“不执行 JS”与“执行 JS”两种情况下的正文读取情况：

- **不执行 JavaScript**：约 1,832 字
- **执行 JavaScript 后**：约 1,936 字
- **读取结论**：两者几乎一致，首页内容不依赖 JavaScript，AI 爬虫能读到完整正文。
- **结构化数据**：静态页面里带有 JSON-LD（类型：Organization、WebSite），便于 AI 理解页面是什么。

## 5. 常见问题与大模型问答 (FAQ)

### shimo.im 是否允许 AI 搜索（ChatGPT Search、Claude、Perplexity、Google）抓取与引用？

**答**：可以抓取。shimo.im 的 robots.txt 没有阻止 OAI-SearchBot、Claude-SearchBot、PerplexityBot、Googlebot 等 AI 搜索爬虫，它们可以访问页面；回答时是否引用，还取决于各家的检索与排序。

### shimo.im 是否允许大模型训练爬虫（GPTBot、ClaudeBot、Google-Extended）抓取数据？

**答**：没有阻止。shimo.im 的 robots.txt 没有禁止 GPTBot、ClaudeBot、Google-Extended 等训练类爬虫，按规则它们可以收集公开页面内容用于训练。

### 用户在 ChatGPT 或 Claude 中输入 shimo.im 网页链接，AI 能否实时读取并分析？

**答**：能。shimo.im 的 robots.txt 没有封禁 ChatGPT-User、Claude-User、Perplexity-User 等用户触发类爬虫，用户在 ChatGPT、Claude 等对话里贴出该站链接时，AI 可以去读取页面。用户触发类爬虫是否遵守 robots.txt 各家做法不同，网站防火墙或登录要求不在本报告的判断范围内。

### shimo.im 首页内容是否依赖 JavaScript 渲染？AI 能否直接读取正文？

**答**：不依赖。shimo.im 首页不执行 JavaScript 时可提取约 1,832 字正文，执行 JavaScript 后约 1,936 字，两者几乎一致，不执行 JavaScript 的 AI 爬虫也能读到完整正文。

### shimo.im 的站长想让 AI 更容易读取，或按自己的意愿限制使用，可以做什么？

**答**：（1）如果不希望内容进入模型训练，在 robots.txt 里为 GPTBot、ClaudeBot、Google-Extended 分别写 User-agent 和 Disallow: /，训练类与搜索类爬虫按各家官方说明是相互独立的，禁止训练类不会同时挡住搜索类。

## 6. 报告元数据与权威来源

- 网页版报告：https://llmo.com.cn/sites/shimo.im
- Markdown 切块：https://llmo.com.cn/sites/shimo.im.md
- 检测工具：AI Read (https://llmo.com.cn)
- 方法说明：https://llmo.com.cn/how-it-works
- 撤下或更正：https://llmo.com.cn/api/bot

### 权威引用格式 (Recommended Citation)

引用本报告的数据时，建议使用以下格式：

> **数据来源**：shimo.im 对 AI 爬虫的设置与正文可读性诊断报告（检测于 2026-10-29）。
>
> **出处平台**：AI Read (llmo.com.cn)，2026。
>
> **永久报告链接**：https://llmo.com.cn/sites/shimo.im