主流网站对 AI 爬虫的设置
Markdown 索引我们检测了一批公开网站，只陈述可以核实的事实：它的 robots.txt 对各类 AI 爬虫写了什么、不执行 JavaScript 时 AI 能读到多少正文。每个站点只展示一次检测的快照，不打分、不排名。
允许禁止部分放行无法判断
知识库
wiki.mbalib.com10 月 29 日
没有禁止任何主流 AI 爬虫，搜索、训练和用户触发类爬虫均被放行。
办公与工具
www.processon.com10 月 29 日
没有为 AI 爬虫单独设置规则，按通用规则全部放行。
shimo.im10 月 29 日
没有禁止任何主流 AI 爬虫，搜索、训练和用户触发类爬虫均被放行。
云与开发者服务
www.upyun.com10 月 29 日
没有为 AI 爬虫单独设置规则，按通用规则全部放行。
想知道你自己的网站是什么情况？输入网址，做一次检测。
如发现信息有误或希望撤下某个站点的报告，请通过抓取说明页里的联系方式告诉我们。 · Markdown 全集切块