AI 爬虫可见性检测 — robots.txt 是否放行 ChatGPT / Claude / Perplexity | SEO-GEO
很多站点被 AI 引擎忽略不是内容不行，而是 robots.txt 默认拦掉了 GPTBot、Bytespider 这类新 UA。这个工具按 RFC 9309 规则逐条判定，不猜测。
工具只读取目标域名根目录的 /robots.txt，按 User-agent 分组匹配，再用 RFC 9309 的最长路径优先规则判断首页路径是否被允许。未在 robots.txt 中出现的 UA 归为「未配置」，默认行为等同放行，但不同引擎实践不一致，建议显式声明。
可以检查或产出什么？
- 覆盖 10 个主流 AI 爬虫：OAI-SearchBot / GPTBot / anthropic-ai / ClaudeBot / PerplexityBot / Google-Extended / Bytespider 等
- 三态判定：已放行 / 被拦截 / 未配置（robots.txt 中无该 UA 声明）
- 按 RFC 9309 的最长匹配规则解析 Allow / Disallow，不做主观推断
- 被拦截项自动生成可复制的 robots.txt 修正代码块
- 中文市场爬虫（Bytespider 等）单独列出，不与英文引擎混谈
- 免登录、纯抓取，不消耗 AI 额度
如何理解结果并决定下一步？
工具只读取目标域名根目录的 /robots.txt，按 User-agent 分组匹配，再用 RFC 9309 的最长路径优先规则判断首页路径是否被允许。未在 robots.txt 中出现的 UA 归为「未配置」，默认行为等同放行，但不同引擎实践不一致，建议显式声明。 「已放行」只代表 robots.txt 层面允许，不代表爬虫真能取到内容——CDN 规则、WAF、UA 黑名单、Cloudflare Bot Fight 都可能在更上层拦截。要验证真实连通性，请配合「AI 爬虫连通性诊断」用真实 UA 发起请求。 放行 AI 爬虫是被 AI 引用的必要条件，不是充分条件。是否放行 GPTBot / Google-Extended 这类训练用途爬虫属于商业决策，工具只呈现现状与修正方式，不替你判断该不该开。
常见问题
显示「未配置」要紧吗？
按协议默认视为允许，但部分引擎对未声明 UA 的处理并不一致，建议在 robots.txt 中显式写出你希望放行的 AI 爬虫。
全部显示已放行，为什么还是没有被引用？
robots.txt 只是入口。还要看内容是否可抓取（SSR/渲染）、是否有结构化数据、是否具备被引用价值，建议接着跑 GEO 权威分 (GAS)。
该不该放行 GPTBot？
这是商业决策：放行有助于训练语料覆盖，拒绝则保护内容资产。工具不做倾向性建议，只给出现状与修改方式。
作者：23SEOGEO 团队 · 最近更新：