llms.txt、robots 和 AI 爬虫:该放行什么、该挡住什么
robots.txt 是给遵守它的爬虫看的抓取约定,不是访问控制。llms.txt 是一份与公开页面一致的目录。放行你希望被引用的正文,挡住后台、配置、草稿和原始文件;不要为爬虫准备另一套说法。
与「llms.txt」有关的说明文。
robots.txt 是给遵守它的爬虫看的抓取约定,不是访问控制。llms.txt 是一份与公开页面一致的目录。放行你希望被引用的正文,挡住后台、配置、草稿和原始文件;不要为爬虫准备另一套说法。