做引用统计时，口径差一点，结论差很多。同一批答案，换一种数法，引用率能差出好几倍。
所以在讨论怎么提升之前，要先把怎么数说清楚。
候选池不是引用
有些平台在给出答案的同时会展示一串参考网页。那是本次检索的候选池，不是答案真正引用过的来源。
候选池里出现自己的域名，只说明被检索到了。答案里用没用它，是另一回事。
把候选池的出现次数当成引用次数，引用率会明显虚高，而且虚高幅度在不同问题之间并不稳定。这意味着用它做前后对比时，差异可能完全来自候选池长度的变化。
我们的口径是只统计答案正文里真实标注的来源，候选池单独记为一个辅助指标。两者并列看有参考价值，混成一个数就不可信了。
前两个数字说明即便是正文里标注的引用，也有四分之一左右对不上它所支撑的说法。在这种准确率水平下再把候选池算进来，统计出来的东西就离事实太远了。
被点名和被引用是两件事
被点名是品牌名出现在答案里。被引用是答案里有一条来源指向自己的材料。
两者经常不同步，而且不同步的方式有信息量。
被点名而未被引用，说明模型知道这个名字，但用的是别人写的材料。这种情况下该补的是自己站上的可引用内容。
被引用而未被点名，说明自己的材料被当成了背景知识，但没有作为推荐对象。这种情况下该补的是实体声明和差异化信息。
| 情形 | 含义 | 该补什么 |
|---|---|---|
| 被点名且被引用 | 最理想 | 维持，找出引用了哪一页 |
| 被点名未被引用 | 名字有，材料没被用 | 站内可引用内容 |
| 被引用未被点名 | 材料被当背景知识 | 实体声明与差异信息 |
| 两者都无 | 未进入候选或被跳过 | 先查可抓取性 |
| 候选池有但答案无 | 检索到了未被选中 | 具体程度不足 |
最后一行要注意：候选池里有而答案里没有，是唯一能部分推断「进了候选但未被选中」的情形，而且只有展示候选池的平台才看得到。不展示的平台上，这个判断没有依据。
对称计数是硬要求
统计自己时用什么口径，统计竞品时必须用同一口径。
这条听起来是常识，实际最常被违反。常见的形态是：自己的品牌名在答案里以任何形式出现都算命中，而竞品只在被明确推荐时才算。这样做出来的对比在客户面前经不起追问。
还有一个细节：竞品名单不要事先列好。从答案里数出来的名单比自己列的准，因为模型眼中的替代选项常常和企业认定的竞争对手不一样。做法是每轮记录答案里出现的所有其他品牌名并统计频次。
名单已经被占住时的两条路径
第一条是加条件。品类大词的名单稳定，但加上限定之后名单往往重建。某个预算区间、某个细分行业、某个地区、某种规模，这些限定把问题变成模型记忆里没有现成答案的新问题。
第二条是找头部明确写出的边界。头部服务商不接某个规模以下的客户、不覆盖某个地区、不做某个细分品类，如果这些限制在公开材料里有记载，模型遇到相应条件的问法时就需要别的名字。
找这类缺口的办法是去读头部的材料，看它们明确写了不做什么。愿意写边界的企业不多，凡写了的都是现成的缺口清单。
这条路的前提是自己真的能做这件事，并且把能做的范围写明确。它不是话术，是把一个真实的差异写到可被检索的地方。
引用份额要按意图分组看，不然会读错
一个常见的困惑是引用份额在涨，询盘没动。
拆开看，上涨通常集中在两类问题上：概念型问法，以及问句里已经出现自家品牌名的自指型问法。前者的提问者还在建立认知，后者本来就知道这家公司才会这样问。两类都不在采购阶段。
真正与业务相关的是条件化选型、服务验收、具体操作这几类。按意图分组统计之后，这个矛盾通常自己就解释清楚了：有业务含义的那几组可能完全没动。
所以引用份额不该作为一个总数汇报。最少要分成四组：概念型、对比型、决策型、执行型，自指型单列且不计入主指标。四组的变化速度和商业含义都不同，合成一个数之后信息全部丢失。
一个记录字段的细节决定了能不能做归因
统计引用份额时，除了记有没有被引用，还要记引用的是哪一页。
这个字段常被省掉，因为记录成本稍高。省掉的后果是，发现引用份额上升时无法知道是哪些内容在起作用，于是下一轮不知道该加强什么。
记下来之后能做的事多了一层：可以看出哪一类页面的引用效率最高。实务上经常出现的结果是，被引用最多的不是精心写的主打服务页，而是某篇把操作步骤讲清楚的技术说明，或者某页写明了不适用情况的问答。
这个发现会直接改变内容排期，而它完全依赖那一个字段。
生态内的投放位置要按实测选
各平台背后的内容生态不同，有的与自家的资讯和短视频资源相连，有的更依赖通用网页检索。这些差异决定了同一份内容投到哪里更可能被看到。豆包平台说明那一页按官方文档列了它的取材范围。
投放位置的选择原则是按实测走，不按渠道名气走。方法是在测量时记录答案标注的来源域名，统计哪些类型的站点在自己品类的答案里真的被引用。统计出来的结果常常和直觉不同。
有一点要承认。研究发现各种优化手段的效果在不同领域差异明显，所以别人品类里有效的投放位置，在自己品类里可能完全不出现。这件事只能自己测。
什么时候该放弃某一类问题
两个条件同时满足时，把这类问题从主攻列表移出去。
一是名单高度稳定，连续三到四轮测量里出现的名字几乎不变。
二是这类问法的答案主要来自模型记忆而不是本次检索，判断方式是看答案里有没有标注来源，长期没有标注说明它没在查。
移出去不等于删掉，继续测量作为背景观察即可。把精力放在名单未形成的问题上，收益明确得多。引用份额的完整定义与统计细则见引用份额词条。
参考来源
- Liu, N. F., Zhang, T., & Liang, P. (2023). Evaluating Verifiability in Generative Search Engines. EMNLP 2023 Findings.
- Atil, B., Aykent, S., Chittams, A., et al. (2024). Non-Determinism of "Deterministic" LLM Settings. arXiv.
- Mallen, A., Asai, A., Zhong, V., Das, R., Khashabi, D., & Hajishirzi, H. (2023). When Not to Trust Language Models: Investigating Effectiveness of Parametric and Non-Parametric Memories. ACL 2023.
- Aggarwal, P., Murahari, V., Rajpurohit, T., Kalyan, A., Narasimhan, K., & Deshpande, A. (2024). GEO: Generative Engine Optimization. Proceedings of KDD 2024.