做到第三、第四轮测量，一定会遇到这个局面：数字整体动了，而这个月什么都没改。
常见的反应是去找自己做了什么导致的，或者怀疑测量出了错。更可能的原因是平台换了模型版本。
这件事不可避免，但可以处理得规范一点。
为什么版本更新会让数据整体位移
模型给出答案时，一部分依赖参数记忆，一部分依赖本次检索。版本更新改变的主要是前者，也就是它记住了什么、更倾向于说什么。
有研究把五个模型配置成确定性模式，在八项常见任务上各跑十轮，结果是准确率在自然发生的多轮之间最大波动达到 15%，最好与最差之间的差距最大到 70%。这是同一个版本内的波动。换版本之后的差异，通常比这个还大。
另一项研究显示，同一任务上仅改变提示词格式这类不改变语义的设计选择，准确率差距最大可达 76 个百分点，而且这种敏感性不随模型规模增大而消失。
这两组数字一起说明的是：生成式回答的测量天生带着不小的噪声，而版本更新是噪声之上的一次系统性位移。不区分这两者，报告里的任何数字都解释不清。
识别版本更新的三个信号
第一个信号是同向变动。自己和答案里出现的所有竞品在同一轮里同方向大幅变化。单家变动可能是工作成效或竞品动作，所有家一起变动基本只有平台侧的原因。
第二个信号是答案形态变化。原来会罗列三五个名字的问题，现在只给一个判断；或者原来不标注来源的现在开始标注。形态变化比数值变化更能说明版本换了。
第三个信号是接口返回的模型标识变了。这一项最直接，前提是每轮测量时把它记下来。
| 现象 | 更可能的原因 | 怎么确认 |
|---|---|---|
| 只有自己的数据变 | 自己的改动或竞品动作 | 看改动时间是否吻合 |
| 所有品牌同向变 | 平台侧更新 | 看答案形态有没有变 |
| 答案结构变了 | 平台侧更新 | 对比上一轮的原文 |
| 模型标识变了 | 平台侧更新 | 查本轮记录的标识 |
| 数据忽高忽低无规律 | 测量条件不一致 | 检查是否混了网页版与接口 |
最后一行值得单独提。把网页版和接口的结果混在一张表里，是让数据看起来毫无规律的最常见原因，而它和版本更新无关。两者的默认参数、是否联网、系统提示词都可能不同，必须分开记。
历史数据怎么处理：切段，不要弃用
弃用旧数据是过度反应，继续当成连续序列是不严谨。正确的做法是切段。
在更新发生的那一轮画一条线。线内做严格比较，跨线只看趋势方向，并且在报告里写明这条线的位置和理由。
这样处理之后，一份跑了一年的数据会被切成两三段。看起来不如一条连续曲线漂亮，但每一段内部的比较是成立的。
版本更新带来的两类真实变化，值得跟进
虽然策略不该因为一次更新就改，但有两类变化确实会改变工作的优先级，值得记录。
第一类是答案长度与结构的趋势性变化。如果一个平台持续朝「少给名字、多给判断」的方向走，那么进入候选名单的难度在上升，而提供判断依据的材料变得更重要。这种情况下该加强的是验收标准、适用边界、流程说明这类内容，而不是继续堆品类介绍。
第二类是来源标注的有无。从不标注变成标注，意味着引用可以追溯了，测量能力提升一级；反过来从标注变成不标注，意味着之前的引用份额数据失去了采集基础，只能退回统计有没有被点名。
这两类变化都不是单次更新能确认的，要连续观察两三轮。所以记录答案原文的价值在这里也体现出来：没有原文，形态趋势无从比较。
一个容易被忽略的连带问题：问题集的措辞
版本更新之后，有一件事常常被顺手做了，而它会把数据搞乱。
发现某道题的答案变得很奇怪时，自然的反应是换一种问法再试。这个动作本身没问题，属于探查。问题出在探查用的新问法被顺手写回了问题集，替换了原来那道题。
前面提到的格式敏感性研究说明，措辞的微小变化就足以改变结果。问题集被改过而记录里没有体现，后面所有的对比都带着一个说不清的偏差。
处理办法是把探查和测量分开：探查用的问法记在另一张表里，想纳入问题集就作为新增条目并记一次版本，原来那道题继续保留并行测量至少两轮。
要不要重建基线
多数情况下不需要，只需要切段标注。
需要重建的只有一种情况：新版本的行为差异大到原有问题集里相当一部分题的答案形态都变了。比如原来普遍罗列名单、现在普遍只给一个判断，这时候「被点名率」这个指标在两个版本之间的含义已经不同，继续比较没有意义。
判断依据是看有多少道题的答案结构变了，而不是看数字变了多少。结构变化超过三成左右，就该考虑重建；只是数值位移，切段就够。
基线的定义与它能回答什么、不能回答什么，见基线词条。
报告该怎么写
把能归因的和不能归因的分开，不要合成一个结论。
能归因的写成：这一组问题上的变化与某周上线的改动时间吻合，未改动的对照组同期无明显变化。
不能归因的写成：本轮数据整体上移，同期竞品同向变动，答案形态出现变化，怀疑与平台侧更新有关，待下一轮确认。
这样写出来的报告不好看，但它的每一句都能兑现。更重要的是，当下一轮确认了是版本更新时，不需要回头修正上一份报告的结论。
哪些工作不受版本更新影响
技术层面的工作完全不受影响。页面能不能被抓到、正文在不在服务端返回的 HTML 里、结构化标记是否正确，这些和模型版本无关。
内容层面的工作基本不受影响。具体、有可核对事实、边界清楚的内容，在新版本里仍然更容易被引用。版本更新改变的是组织方式，不是材料的质量标准。
受影响的只有测量数据的可比性。也就是说，版本更新是记录问题，不是策略问题。把它当成需要调整策略的信号，往往会导致本来有效的做法被中途停掉。
具体平台的取材方式与它的版本节奏，见DeepSeek 平台说明。
参考来源
- Atil, B., Aykent, S., Chittams, A., et al. (2024). Non-Determinism of "Deterministic" LLM Settings. arXiv.
- Sclar, M., Choi, Y., Tsvetkov, Y., & Suhr, A. (2024). Quantifying Language Models' Sensitivity to Spurious Features in Prompt Design. ICLR 2024.
- 深度求索. 对话补全 API 文档. DeepSeek API Docs.
- Liu, N. F., Zhang, T., & Liang, P. (2023). Evaluating Verifiability in Generative Search Engines. EMNLP 2023 Findings.