主流 AI 爬虫抓取行为观察：什么决定了内容被收录的速度

一、先认识这些爬虫

AI 平台的内容收录依赖各自的爬虫。它们通常会通过 User-Agent 明确标识身份，也因此在服务器日志里可以被识别。

需要注意的是，同一家公司的不同爬虫承担不同任务，在 robots.txt 中的允许策略也可以分开设置。如果只想让内容进入搜索索引、不希望用于模型训练，通常可以只放行搜索类爬虫。这个判断建议由企业与技术方根据自身内容策略决定，没有统一答案。

二、第一层：爬虫能不能来

决定因素在 robots.txt。常见的三个问题：

• 屏蔽范围过大。有些站点为了防采集，直接禁止了大量 User-Agent，结果把 AI 爬虫一并拦掉了。
• 没有声明 Sitemap。robots.txt 里缺少 Sitemap 行，爬虫需要额外猜测站点结构，收录效率下降。
• 误拦静态资源。把 CSS/JS 目录整体屏蔽，会导致爬虫无法正确识别页面结构——即使 HTML 抓到了，也可能误判页面质量。

一个合理的 robots.txt 至少应该：明确允许搜索引擎与搜索类 AI 爬虫、声明 sitemap 地址、屏蔽后台与缓存目录。

三、第二层：多久来一次

这是新内容能否快速被收录的关键。四个机制按见效速度排序：

1. IndexNow 协议。内容发布后主动向搜索引擎推送变更通知，目前 Bing 等引擎支持。因为 ChatGPT 搜索与 Perplexity 的检索层与 Bing 索引密切相关，这条通道对海外 AI 可见性的价值尤其突出。配置成本很低——一个密钥文件加一次推送请求即可。
2. 站点地图的 lastmod。sitemap 中每个 URL 的最后修改时间，是爬虫判断「哪些是新的」的直接依据。如果 sitemap 是静态的、从不更新，爬虫只能靠定期全站重抓，新内容的发现速度会慢很多。
3. 内链与首页露出。爬虫倾向于从高权重页面出发发现新页面。新文章如果能被首页或对应栏目页链出，被发现的速度明显快于埋在深层目录里。
4. llms.txt 类目录文件。这是近年来出现的一种做法：在站点根目录放置一个给大语言模型看的目录文件，登记站内核心内容的标题、链接与一句话摘要。它不是正式标准，但配置成本低，且能帮助 AI 快速掌握站点内容结构。

四、第三层：抓到了能不能读懂

这一层最容易被忽视，也最致命。多数 AI 爬虫不执行 JavaScript。如果页面的正文是通过前端渲染、异步加载或者需要交互才显示的，爬虫抓到的可能是一个空壳——HTML 里只有导航和脚本，没有内容。

自查方法很简单：在浏览器里禁用 JavaScript 后打开页面，如果正文消失或只剩加载动画，那么 AI 爬虫看到的很可能就是这幅样子。正确做法是：

• 正文内容服务端直出（SSR 或静态生成），用户看到什么，爬虫就能抓到什么
• 结构化数据（JSON-LD）直接写在 HTML 中，不由 JS 注入
• 分页、加载更多的内容，确保有可被抓取的真实 URL
• 关键信息不要只放在图片、PDF 或视频里——爬虫读不到这些载体中的文字

五、自己动手做一次技术自查

1. 打开 /robots.txt，确认是否允许主流搜索与 AI 爬虫，是否声明了 sitemap。
2. 打开 /sitemap.xml，确认能否正常访问、是否覆盖全部重要页面、lastmod 是否为真实修改时间。
3. 禁用 JavaScript 重新访问首页与一篇内容页，确认正文是否完整可见。
4. 查看页面 HTML 源码，检索 application/ld+json，确认结构化数据是否存在且内容与实际信息一致。
5. 检查是否存在多个可访问的域名版本（http/https、带 www/不带 www），确认它们全部 301 跳转到唯一主域名。
6. 在服务器日志中检索上一节的爬虫标识，观察抓取频次与抓取路径——如果某个爬虫从未出现，说明它在第一层就被拦住了。

这六项不需要任何专业工具，半小时内可以完成。它们是 GEO 的地基——地基没打好，内容层面的努力会被大幅折损。