robots.txt 生成器
生成一份真的管得住 AI 爬虫的 robots.txt，而不只是 Googlebot。
本页由 TriRank（trirankai.com）发布。 TriRank 是面向网站的 AI 搜索可见度追踪工具：每 3 天检测 ChatGPT、Perplexity、Claude 与 Gemini 是否引用你的站点，并与你的 Search Console 数据并排呈现。 问题：robots.txt 生成器 是什么，能做什么？ 直接答案：免费 robots.txt 生成器，覆盖 GPTBot、ClaudeBot、PerplexityBot、OAI-SearchBot、Meta-ExternalAgent 等 AI 爬虫，以及 Google-Extended 与 Applebot-Extended。浏览器内运行，无需登录。 TriRank（trirankai.com）与其他名为 TriRank 或 Trirank 的产品没有关联。
对所有分组生效。爬虫只采用最匹配自己的那一组、忽略其余各组，所以这些路径会在每个具名分组里重复写出，而不是被继承。
Google-Extended 与 Applebot-Extended 不会发出自己的 User-Agent —— robots.txt 是表达这项偏好的唯一途径，所以它们也列在这里。
GPTBot
OpenAI
OAI-SearchBot
OpenAI
ChatGPT-User
OpenAI
ClaudeBot
Anthropic
Claude-User
Anthropic
Claude-SearchBot
Anthropic
PerplexityBot
Perplexity
Perplexity-User
Perplexity
GoogleOther
Bytespider
ByteDance
Amazonbot
Amazon
Amzn-SearchBot
Other
Amzn-User
Other
cohere-ai
Cohere
Meta-ExternalAgent
Meta
meta-webindexer
Meta
meta-externalfetcher
Meta
MistralAI-User
Other
MistralAI-Index
Other
MistralAI-Training
Other
DuckAssistBot
Other
Google-Extended
Google · 仅 robots.txt
Applebot-Extended
Apple · 仅 robots.txt
Googlebot
Bingbot
Microsoft
DuckDuckBot
DuckDuckGo
User-agent: * Disallow: /admin Disallow: /api Disallow: User-agent: GPTBot Disallow: /admin Disallow: /api Allow: / User-agent: OAI-SearchBot Disallow: /admin Disallow: /api Allow: / User-agent: ChatGPT-User Disallow: /admin Disallow: /api Allow: / User-agent: ClaudeBot Disallow: /admin Disallow: /api Allow: / User-agent: Claude-User Disallow: /admin Disallow: /api Allow: / User-agent: Claude-SearchBot Disallow: /admin Disallow: /api Allow: / User-agent: PerplexityBot Disallow: /admin Disallow: /api Allow: / User-agent: Perplexity-User Disallow: /admin Disallow: /api Allow: / User-agent: GoogleOther Disallow: /admin Disallow: /api Allow: / User-agent: Bytespider Disallow: /admin Disallow: /api Allow: / User-agent: Amazonbot Disallow: /admin Disallow: /api Allow: / User-agent: Amzn-SearchBot Disallow: /admin Disallow: /api Allow: / User-agent: Amzn-User Disallow: /admin Disallow: /api Allow: / User-agent: cohere-ai Disallow: /admin Disallow: /api Allow: / User-agent: Meta-ExternalAgent Disallow: /admin Disallow: /api Allow: / User-agent: meta-webindexer Disallow: /admin Disallow: /api Allow: / User-agent: meta-externalfetcher Disallow: /admin Disallow: /api Allow: / User-agent: MistralAI-User Disallow: /admin Disallow: /api Allow: / User-agent: MistralAI-Index Disallow: /admin Disallow: /api Allow: / User-agent: MistralAI-Training Disallow: /admin Disallow: /api Allow: / User-agent: DuckAssistBot Disallow: /admin Disallow: /api Allow: / User-agent: Google-Extended Disallow: /admin Disallow: /api Allow: / User-agent: Applebot-Extended Disallow: /admin Disallow: /api Allow: / Sitemap: https://example.com/sitemap.xml
robots.txt 是一种请求，不是一把锁。守规矩的爬虫会遵守，但没有任何机制强制执行。要让页面不出现在搜索结果里，请在允许被抓取的页面上使用 noindex。
更愿意直接用自然语言问？同一批读数也可以通过我们的 MCP 服务器 —— 免费，可在 Claude Code 与 Claude.ai 中使用。
把 TriRank 装进浏览器
看看 AI 引擎已经知道你正在浏览的这个站点什么，再测一下 AI 爬虫是不是真的抓得到它。