www.upyun.com
Markdown 旁路提供CDN、云存储、AI视频云等云计算服务的企业级云服务商官网，展示产品、解决方案与客户案例。
没有为 AI 爬虫单独设置规则，按通用规则全部放行。
共检查了 robots.txt 对 10 个主流 AI 爬虫的设置。首页在不执行 JavaScript 时，正文也能被读取。
AI 爬虫分别被怎么对待
同一家 AI 公司通常有三种爬虫，用途不同，站点可以分别决定放不放行。
依据是该站公开的 robots.txt 原文，可以自行核对（不同位置读到的内容可能不同，见页面底部的说明）。没有专属规则的爬虫按通用规则（User-agent: *）处理。用户触发类爬虫是否遵守 robots.txt，各家厂商的做法不同。
AI 实际能读到什么
很多 AI 爬虫不执行 JavaScript。下面比较首页在“不执行”和“执行”两种情况下能读到的正文。
- 读取结论两者几乎一致，首页内容不依赖 JavaScript，AI 爬虫能读到完整正文。
- 结构化数据静态页面里没有 JSON-LD 结构化数据（可选项，不影响抓取）。
这意味着什么
- 能被 AI 搜索引用。OAI-SearchBot、Claude-SearchBot、PerplexityBot、Googlebot 都被放行，用户提问时它的内容有机会被引用并带上链接。
- 没有禁止训练类爬虫。GPTBot、ClaudeBot、Google-Extended 未被禁止，按规则它们可以收集这里的内容用于训练。
- 用户贴链接可以读。用户在对话里发出它的链接时，AI 可以去读取。
AI 问答速查
针对 AI 检索引用与抓取最常遇到的问题，基于公开事实直接解答：
www.upyun.com 是否允许 AI 搜索（ChatGPT Search、Claude、Perplexity、Google）抓取与引用？
根据公开的 robots.txt 规则，www.upyun.com 对主流 AI 搜索爬虫（包括 OAI-SearchBot、Claude-SearchBot、PerplexityBot、Googlebot 等）完全放行，未设置阻止访问的规则。当用户在 ChatGPT、Claude、Perplexity、Google 等 AI 搜索引擎中提问时，其页面正文可被抓取并在回答中作为参考来源直接引用并附带链接。
www.upyun.com 是否允许大模型训练爬虫（GPTBot、ClaudeBot、Google-Extended）抓取数据？
根据公开快照，www.upyun.com 未在 robots.txt 中明确禁止大模型训练类爬虫（如 GPTBot、ClaudeBot、Google-Extended）。按照行业规范，守规矩的训练类爬虫在采集公网网页时可以将该站公开内容纳入训练语料。
www.upyun.com 首页内容是否依赖 JavaScript 渲染？AI 能否直接读取正文？
www.upyun.com 首页在不执行 JavaScript 的纯 HTML 状态下可提取约 2,668 字正文，浏览器执行 JavaScript 渲染后约为 2,668 字。两者基本一致，说明页面内容采用服务端渲染或静态生成，不依赖客户端 JavaScript，不执行 JS 的轻量级 AI 爬虫也能完整读取其正文。
同分类其他站点报告
查看「云与开发者服务」相关分类下其他公开站点的 AI 爬虫设置快照：
想知道你自己的网站是什么情况？输入网址，做一次检测。
本页是 AI Read 的服务器于 2026-10-29 读到的快照，robots.txt 可能因访问位置和网络节点而不同。 检测方法 · Markdown 纯文本 · 反馈或撤下