robots.txt
robots.txt 是站点根目录的爬虫指令文件，用 User-agent / Allow / Disallow 控制谁可以抓取哪些路径。GEO 时代必须显式 Allow GPTBot、PerplexityBot、Google-Extended，否则 AI 引擎不会引用你。
分类:技术 SEO
robots.txt是什么?
robots.txt 是站点根目录的爬虫指令文件，用 User-agent / Allow / Disallow 控制谁可以抓取哪些路径。GEO 时代必须显式 Allow GPTBot、PerplexityBot、Google-Extended，否则 AI 引擎不会引用你。
如何在实际工作中使用?
示例片段：
```
User-agent: GPTBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Google-Extended
Allow: /
```
为什么它会影响 AI 搜索的引用?
生成式搜索引擎在组织回答时,倾向于抽取定义清楚、前后一致、能被单独引用的句子。把「robots.txt」这类概念在站内写成统一口径的定义,并配合结构化数据与可核验的来源,能降低模型误读的概率。需要说明的是,这属于准备度层面的改进,不能保证被引用,也不能保证排名上升;是否被引用要以实际监测数据为准。
还需要了解哪些相关术语?
llms.txt
llms.txt 是放在站点根目录的纯文本清单文件，用 Markdown 列出网站的核心页面、API、文档，专供 AI 爬虫快速索引。它是 GEO 时代的「robots.txt 升级版」，由 Anthropic 在 2024 年提议成为事实标准。
GEO（生成式引擎优化）
GEO（Generative Engine Optimization）是为 ChatGPT、Perplexity、Google AI Overviews 等生成式 AI 搜索引擎优化内容的方法论，目标是让品牌在 AI 回答中被引用。核心手段包括 Answer Capsule、实体一致性、结构化数据、可被 AI 抓取的 llms.txt。
Crawl Budget（抓取预算）
抓取预算是 Googlebot 能够且希望抓取的 URL 集合，受服务器抓取容量和抓取需求共同影响，并不是固定配额。它主要关系到大型或频繁更新的网站。先检查重要页面能否被发现、服务器是否正常，再判断是否需要管理；抓取增加不等于收录或排名提升。
robots.txt速览
| 术语 | robots.txt |
|---|---|
| 类别 | 技术 SEO |
| 最近核对 | 2026-10-06 |
参考资料
- Google 搜索中心:SEO 基础文档
- Schema.org 结构化数据词表
- W3C JSON-LD 1.1 推荐标准
- GEO: Generative Engine Optimization(arXiv 研究论文)
以上文档支持术语与处理方法，不构成排名或引用承诺；核对截至 2026-10-06。
作者:23SEOGEO 团队 · 最近更新: