免费工具 · GEO
robots.txt 生成器
生成一份真的管得住 AI 爬虫的 robots.txt，而不只是 Googlebot。
对所有分组生效。爬虫只采用最匹配自己的那一组、忽略其余各组，所以这些路径会在每个具名分组里重复写出，而不是被继承。
Google-Extended 与 Applebot-Extended 不会发出自己的 User-Agent —— robots.txt 是表达这项偏好的唯一途径，所以它们也列在这里。
GPTBot
OpenAI
OAI-SearchBot
OpenAI
ChatGPT-User
OpenAI
ClaudeBot
Anthropic
Claude-User
Anthropic
Claude-SearchBot
Anthropic
PerplexityBot
Perplexity
Perplexity-User
Perplexity
GoogleOther
Bytespider
ByteDance
Amazonbot
Amazon
cohere-ai
Cohere
Meta-ExternalAgent
Meta
Google-Extended
Google · 仅 robots.txt
Applebot-Extended
Apple · 仅 robots.txt
Googlebot
Bingbot
Microsoft
DuckDuckBot
DuckDuckGo
保存到域名根目录
User-agent: * Disallow: /admin Disallow: /api Disallow: User-agent: GPTBot Disallow: /admin Disallow: /api Allow: / User-agent: OAI-SearchBot Disallow: /admin Disallow: /api Allow: / User-agent: ChatGPT-User Disallow: /admin Disallow: /api Allow: / User-agent: ClaudeBot Disallow: /admin Disallow: /api Allow: / User-agent: Claude-User Disallow: /admin Disallow: /api Allow: / User-agent: Claude-SearchBot Disallow: /admin Disallow: /api Allow: / User-agent: PerplexityBot Disallow: /admin Disallow: /api Allow: / User-agent: Perplexity-User Disallow: /admin Disallow: /api Allow: / User-agent: GoogleOther Disallow: /admin Disallow: /api Allow: / User-agent: Bytespider Disallow: /admin Disallow: /api Allow: / User-agent: Amazonbot Disallow: /admin Disallow: /api Allow: / User-agent: cohere-ai Disallow: /admin Disallow: /api Allow: / User-agent: Meta-ExternalAgent Disallow: /admin Disallow: /api Allow: / User-agent: Google-Extended Disallow: /admin Disallow: /api Allow: / User-agent: Applebot-Extended Disallow: /admin Disallow: /api Allow: / Sitemap: https://example.com/sitemap.xml
robots.txt 是一种请求，不是一把锁。守规矩的爬虫会遵守，但没有任何机制强制执行。要让页面不出现在搜索结果里，请在允许被抓取的页面上使用 noindex。
把 TriRank 装进浏览器
看看 AI 引擎已经知道你正在浏览的这个站点什么，再测一下 AI 爬虫是不是真的抓得到它。