抓取一份站点地图,检查里面的 URL 是否真的能被索引。
站点地图本身的地址,通常是 /sitemap.xml。我们抓取它,然后请求它列出的 URL。
看看 AI 引擎已经知道你正在浏览的这个站点什么,再测一下 AI 爬虫是不是真的抓得到它。