免费工具 · GEO

robots.txt 校验器

粘贴 robots.txt,或者给我们一个域名由我们去抓 —— 然后逐行看出哪里写错了,以及它到底挡住了哪些 AI 爬虫。

粘贴模式完全离线:不上传、不抓取,只读框里的文本。它无法告诉你这些路径是否真的存在。

在左侧粘贴 robots.txt,结果会显示在这里。

把 TriRank 装进浏览器

看看 AI 引擎已经知道你正在浏览的这个站点什么,再测一下 AI 爬虫是不是真的抓得到它。

添加到 Chrome