xueqiu.com
Markdown 旁路面向投资者提供股票基金行情、社区讨论与投资资讯的平台
AI 搜索类爬虫部分放行,训练类爬虫禁止,用户触发类爬虫部分放行。
共检查了 robots.txt 对 10 个主流 AI 爬虫的设置。
AI 爬虫分别被怎么对待
同一家 AI 公司通常有三种爬虫,用途不同,站点可以分别决定放不放行。
User-agent: PerplexityBot · Disallow: /(第 40 行)User-agent: GPTBot · Disallow: /(第 10 行)User-agent: ClaudeBot · Disallow: /(第 22 行)User-agent: Google-Extended · Disallow: /(第 28 行)User-agent: ChatGPT-User · Disallow: /(第 8 行)依据是该站公开的 robots.txt 原文,可以自行核对(不同位置读到的内容可能不同,见页面底部的说明)。没有专属规则的爬虫按通用规则(User-agent: *)处理。用户触发类爬虫是否遵守 robots.txt,各家厂商的做法不同。
中文区爬虫
国内搜索与 AI 公司的爬虫,robots.txt 对它们写了什么。
User-agent: YisouSpider · Disallow: /(第 44 行)豆包、Kimi、通义、元宝、DeepSeek 等国内大模型产品没有公开文档化、可单独屏蔽的爬虫名,所以这里列的是国内厂商有公开 robots 名称的爬虫,不能据此推断某个 AI 产品能不能读到这个站。
页面的结构化数据
- 结构化数据静态页面里没有 JSON-LD 结构化数据(可选项,不影响抓取)。
首页的元信息
首页 <head> 里声明的语言、canonical 和分享标签。只陈述个数和取值,不评价。
- canonical没有声明 canonical。
- 分享标签没有 Open Graph 标签;没有 Twitter Card。
agent 在首页上能不能操作
agent 要在页面上读懂并点击控件。下面是首页渲染后的实测数字,只陈述,不评价。
- 控件名称可访问性树里 214 个可交互控件,2 个没有名称(1%)。
- 控件构成DOM 里数到 104 个原生控件(链接、按钮、输入框等),5 个靠 ARIA role 声明的部件。这是 DOM 的口径,和上面可访问性树里的个数不一定相加相等。
- 没有名称的是下拉框 1 个、链接 1 个。
- 浮层遮挡视口内检查了 20 个控件,没有被整屏浮层盖住的。
- 表单没有 3 个字段以上的表单(只有搜索框的不算)。
- 嵌入内容跨域 iframe 0 个。
只测了首页的匿名视图,没有点击或提交任何东西;不同 agent 读取页面的方式不同,这些数字不等同于某个 agent 的表现。
这意味着什么
- 部分 AI 搜索可以引用它。放行:OAI-SearchBot、Claude-SearchBot、Googlebot;禁止:PerplexityBot。
- 不会进入训练数据。GPTBot、ClaudeBot、Google-Extended 被禁止后,守规矩的训练爬虫不会收集这里的内容。
- 用户贴链接能不能读,因厂商而异。放行:Claude-User、Perplexity-User;禁止:ChatGPT-User。
AI 问答速查
针对 AI 检索引用与抓取最常遇到的问题,基于公开事实直接解答:
xueqiu.com 是否允许 AI 搜索(ChatGPT Search、Claude、Perplexity、Google)抓取与引用?
部分可以。xueqiu.com 的 robots.txt 放行 OAI-SearchBot、Claude-SearchBot、Googlebot,禁止 PerplexityBot,能否被引用因厂商而异。
xueqiu.com 是否允许大模型训练爬虫(GPTBot、ClaudeBot、Google-Extended)抓取数据?
已阻止。xueqiu.com 的 robots.txt 禁止了 GPTBot、ClaudeBot、Google-Extended,守规矩的训练类爬虫不会收集它的页面内容。
用户在 ChatGPT 或 Claude 中输入 xueqiu.com 网页链接,AI 能否实时读取并分析?
因厂商而异。xueqiu.com 放行 Claude-User、Perplexity-User,禁止 ChatGPT-User。
xueqiu.com 首页内容是否依赖 JavaScript 渲染?AI 能否直接读取正文?
本报告没有收录 xueqiu.com 首页的正文读取数据。
xueqiu.com 的站长想让 AI 更容易读取,或按自己的意愿限制使用,可以做什么?
(1)如果希望被 AI 搜索引用,在 robots.txt 中放行被禁止的 PerplexityBot(放不放行是站点自己的决定);(2)在首页补充 JSON-LD 结构化数据(如 Organization、WebSite),帮助 AI 和搜索引擎识别页面讲的是什么。
想要同样的设置?
在网站根目录的 robots.txt 里加入下面几行即可(按需调整):
User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: Google-Extended Disallow: /
搜索类和用户触发类爬虫不写专属规则,就按通用规则处理。
同分类其他站点报告
查看「新闻媒体」相关分类下其他公开站点的 AI 爬虫设置快照:
想知道你自己的网站是什么情况?输入网址,做一次检测。
本页是 AI Read 的服务器于 2026-11-11 读到的快照,robots.txt 可能因访问位置和网络节点而不同。 检测方法 · Markdown 纯文本 · 反馈或撤下