robots.txt

AI 爬虫是模型厂商用来抓取网页内容的机器人 —— 用于训练、用于实时检索，或两者都有。每一个都用自己的 user agent 标识身份。

可抓取性指爬虫能不能真的取到一个页面 —— 包括 robots 规则、防火墙与 CDN 行为、限流、跳转和状态码。

llms.txt 是放在站点根目录的纯文本文件，面向大语言模型索引整个站点 —— 这家机构是什么、哪些页面重要、它们之间什么关系。它是一个新兴约定，不是标准。