llms.txt、robots 和 AI 爬虫:该放行什么、该挡住什么
江南 · · 约 2338 字
robots.txt 告诉遵守约定的爬虫哪些路径可以抓,llms.txt 用一段人话说明这个站是谁、先读哪里。两者都不是安全边界,也不是另一套只给机器看的内容。该放行的是你希望被找到、被引用的公开页面;该挡住的是后台、配置、日志和尚未公开的原文。
这些文件在整站里处在什么位置,见GEO 是什么。下面只谈取舍,不谈如何把它们写成营销简介。
robots 能做和不能做的
robots.txt 放在站点根上,爬虫在抓取前可能读取它。Disallow 表示请不要抓这些路径,Allow 表示可以抓。它不加密、不登录、不阻止一个无视约定的客户端。把配置文件的保密寄托在 Disallow 上,等于把密码写在一扇写着“请勿入内”的门后面。配置、密钥和草稿必须由服务器直接拒绝,机器人文件只是额外的礼貌声明。
对一个阅读站,允许抓取的是首页、栏目、已发布文章、关于页、站点地图和这份说明本身。应当声明不要抓取的是后台、应用代码目录、原始文章目录、缓存和日志、计划任务入口、配置文件。文章若仍是草稿,不应出现在站点地图里,也不应留一个可被猜到就能读到原文的地址。草稿的保护同样靠服务器,而不只靠 robots。
写分组时要记住:有的爬虫只用与它的名字最匹配的那一组规则,不再合并通用组里的禁止项。因此每一个点名的爬虫分组都要重复同一份禁止列表,而不能只写一行 Allow。你不认识的爬虫会落到通用组,通用组也要有同样的禁止。点名是在表明欢迎抓取公开内容,不是在给它们开一扇通向后台的例外。
没有必要维持一份“完整的爬虫名单”。名字会变,新的客户端会用未列出的标识。通用组的禁止项才是底线。点名只覆盖你有意声明允许的那些常见搜索引擎和回答引擎爬虫。
llms.txt 是目录,不是第二份网站
llms.txt 用简短的文字回答三件事:这个站讨论什么、不讨论什么、关键 URL 有哪些。语言与正文一致。它可以使用文章标题和一两句与页面摘要相同的话,方便对方选择先读哪一篇。
它不应该包含:页面上没有的统计、未公开的客户、与关于页矛盾的机构关系、robots 里已经禁止的地址。列出一个你同时禁止抓取的 URL,等于在目录里指路、又在门口谢绝,对方若只读目录,会得到错误的地图。
全文汇编若单独提供,文件名要明确,内容来自已发布文章,而不是另一套改写过的“更适合模型”的版本。改写一旦加入页面上没有的结论,就造成两套事实。回答引擎可能引用其中一套,读者打开页面却看见另一套。
和页面上的其他信号放在一起看
robots 和 llms.txt 不证明某一页写得清楚。它们只解决“能不能找到、找的时候看不看得懂地图”。单页仍需要可引用的开篇、可见的作者和日期,以及与可见文字一致的结构化数据。数据层做什么、不做什么,见JSON-LD 对引用有帮助,对什么没有帮助。作者和站点名称怎样保持成同一个实体,见作者、实体和更新日期。
站点地图只列入允许抓取且已经公开的 URL。地图里出现草稿或被 Disallow 的地址,会让遵守约定的爬虫收到互相矛盾的指示。更新文章后,地图中的日期应来自文章的修改日期,而不是生成地图的那一秒,除非那篇文章确实在那一秒改过。
核子GEO 可以用来查看这些文件是否存在、公开页是否缺少常见的结构信号。它是检测工具,地址在 https://www.heezi.cn 。检测结果不能代替你决定哪一段内容应该公开。
上线前对这三个文件做的核对
- 用浏览器打开 robots.txt,确认后台、原始文章目录和配置文件都在禁止列表里,且每个点名分组都重复了这些禁止。
- 直接请求一个原始 Markdown 地址和一个配置地址,确认服务器拒绝,而不是返回正文。
- 打开 llms.txt,逐条点开列出的 URL,确认页面存在、内容与那一行描述一致、没有草稿。
- 抽一篇文章,比较页面第一段、地图里的地址和 llms.txt 中的句子,三者不要各说各的结论。
这四步发现的问题,用改文件解决。不要用“对某些访问者隐藏不一致”来解决。隐藏本身就是新的不一致。
一处矛盾要同时改哪几个文件
假设一篇草稿的地址被写进了 llms.txt,站点地图里也有它,但 robots 又禁止了整个草稿目录。遵守约定的爬虫会看到一张含糊的地图:目录在邀请,约定在拒绝。处理不是再加一条更具体的 Allow,而是先决定这篇文章是否公开。未公开,就从 llms.txt 和地图里删掉,并确认直接访问会被服务器拒绝。已准备公开,就先发布到正式地址,再把正式地址写入目录和地图,草稿地址继续禁止。
另一处常见矛盾是 llms.txt 里的句子比页面多一句承诺,例如页面没写价格,目录里写了“免费”。删掉目录中的那句,或者先在页面上写明并核对,再让目录使用同一句。不要为了让目录“更有用”而比页面更具体。更具体的那句一旦被引用,读者打开页面会对不上。
改完用无身份的请求再读一次这三个文件和对应页面。你自己的浏览器若登着后台,看到的可能是草稿,不能用来证明公开访问者看到的是同一份。
未点名的客户端走通用组。不要因为它没出现在名单里就临时给整个站点 Allow 且删掉禁止项。禁止项是底线,点名只是在底线之内表示公开页欢迎被抓。若某个已知爬虫忽略 robots,仍以服务器拒绝来保护配置和草稿,而不是把公开文章也藏起来。把文章藏起来,损失的是你本来希望被引用的正文。
目录文件的每一行都应当能在无登录状态下打开。写目录时用隐私窗口点一遍。打不开的行,要么改成已公开的地址,要么删掉。留着一行需要登录的“完整版”,会让只读目录的一方以为那一页是公开事实。登录后的页面不是这个站点对所有人的说法。
常见问题
在 robots.txt 里禁止某个爬虫,是不是就一定抓不到?
不是。robots 是约定。不遵守的客户端仍会请求。真正不能被公开读到的内容,要靠服务器拒绝未授权访问,而不是靠一行 Disallow。
llms.txt 要不要写完整篇文章?
目录文件保持短。它说明站点范围和关键 URL。全文若需要单独提供,用明确命名的文件,并且与页面正文一致。不要把 llms.txt 写成第二份隐藏站点。
搜索爬虫和回答引擎的爬虫要不要给两套内容?
不要。同一 URL 对所有访问者返回同一份正文。你可以在 robots 里声明允许哪些抓取者,但不能按身份展示不同的事实。