做完第一轮测量,很多企业会发现一个共同现象:同一类问题问五次,答案里出现的名字基本就是那两三家。
搜索结果页至少有十条,还能翻页。生成式回答通常只给两三个,没有第二页。分布的集中程度是另一个量级。
这件事要先理解成因,再谈怎么办。
集中是怎么形成的
有一项大规模知识探测实验用一万四千道问题测试了十个模型,结论是模型在冷门事实上表现明显更差,而且单纯扩大模型规模并不能改善长尾知识的记忆。同一组实验里,带检索的模型在长尾问题上大幅超过参数量大得多的无检索模型;而在高热度实体的问题上,无检索模型仍然有竞争力。
这组结论解释了集中的来源。问品类大词时,模型不需要检索就能给出几个它早就记住的名字,而记住的那几个来自训练数据里出现频次最高的。频次高的本来就是行业里声量最大的,于是答案把既有格局原样复述了一遍。
更要紧的是这个过程有正反馈。被答案反复点到的品牌,在新产生的内容里出现得更多,下一轮训练数据里的频次又更高。
能观察到什么,不能观察到什么
能观察到的是答案里出现了谁、出现频次、同时出现的组合。这些通过固定问题集重复提问就能统计。
不能观察到的有三样。候选范围里有谁而没被选中,没有任何平台提供这个信息。模型为什么选了这几家,追问得到的解释是生成的,不等于真实机制。以及自己的材料有没有进入候选范围,这一点只能用间接方法推断。
把不能观察的部分当成已知,是分析里最常见的错误。报告里写「我们已进入候选池但未被选中」,这句话在目前的工具条件下没有依据。
判断一道题的名单固定没固定
方法很简单:同一道题提问五次,看名字的重合度。
每次给出的名字基本相同、只有顺序变化,说明名单已经稳定,这道题难撬动。
每次出现的名字差别明显,说明模型在这道题上没有确定答案,正在依赖本次检索。这种题是可以做的。
这个判断应该在建问题集的时候就做一遍,而不是做了三个月之后才发现有一半的题本来就改不动。
| 问题类型 | 名单稳定度 | 能否撬动 | 建议 |
|---|---|---|---|
| 品类有哪些公司 | 高 | 很难 | 不作为主攻方向 |
| 某品类哪家最好 | 高 | 很难 | 同上 |
| 某条件下该选哪一类 | 低 | 能 | 优先 |
| 某地有没有做这个的 | 低 | 能 | 优先,候选池极短 |
| 某个具体步骤怎么做 | 几乎没有名单 | 能 | 优先,竞争最小 |
| 验收怎么做、合同怎么写 | 几乎没有名单 | 能 | 优先,几乎无人写 |
后进者的三条缺口
第一条是条件化问法。品类大词的名单固定,但加上条件之后名单往往重建。「某个预算区间内」「我们是做某个细分行业的」「只覆盖某个地区」,这些限定把问题变成了模型记忆里没有现成答案的新问题。
第二条是流程与验收类问法。客户问「怎么判断做得好不好」「合同里要写什么」时,答案需要的是方法而不是推荐,而愿意公开写这些的企业很少。这类内容被引用时留下的是方法,顺带留下了名字。
第三条是具体操作。报错处理、参数选择、步骤顺序。商业转化最弱,但竞争几乎为零,而且它常被决策型答案引用,作为这家确实做过的证据。
三条的共同点是都不去碰已经固定的名单,而是去那些名单还没形成的地方。
集中和搜索时代的集中不是一回事
做过 SEO 的人会觉得这个现象不新鲜,头部效应一直存在。但两者有三处实质差别,影响策略。
第一处是容量。搜索结果页第一屏有十条左右,还能翻页,第七名仍然有可观的流量。生成式回答通常给两三个名字,没有第四名的位置。容量从十几个降到两三个,等于绝大多数参与者从有位置变成没位置。
第二处是可见性。搜索排名掉了能看见,有后台数据,有趋势图。答案里没有你,不报错,没有任何提示。所以在生成式回答里失去位置的过程是静默的,往往几个月后才被发现。
第三处是撬动方式。搜索排名可以靠单页优化加外链去推,目标明确;生成式回答里的名单来自模型对整体材料面貌的判断,改单页基本不动它。要改的是全网关于这家公司的材料分布,这件事慢得多,也没有立竿见影的杠杆。
这三处差别合起来的含义是:在生成式回答这边,避开已经固定的名单比去挑战它理性得多。这不是保守,是容量算出来的结论。
名单稳定也不代表完全无解
有一种情况下稳定的名单也会给出位置,值得提一句。
当问题里带上一个头部品牌做不到或者不覆盖的条件时,答案往往会换人。比如头部服务商不接某个规模以下的客户、不覆盖某个地区、不做某个细分品类,这些限制如果在公开材料里有记载,模型在遇到相应条件的问法时就需要别的名字。
这条路的前提是自己真的能做这件事,而且把能做的范围写明确。它不是话术,是把一个真实的差异写到可被检索的地方。
实务上找这类缺口的办法是去读头部的材料,看它们明确写了不做什么。愿意写边界的企业不多,但凡写了的,都是现成的缺口清单。
一个常见的误判:以为要先打品类大词
直觉上品类大词流量最大,应该先做。实际顺序相反。
品类大词的答案主要来自模型记忆,材料改不动;而且这类问法在触发生成式回答上的比例本来就低,短查询仍然大量落在传统链接列表里。两头都不占便宜。
更有效的顺序是先占那些名单未形成的具体问法,积累被正确引用的记录;这些材料在第三方处有印证之后,在品类大词的候选评估里也会多一分权重。路径是从外围往中心,不是从中心开始。
集中格局下该看哪些指标
被点名的问题占比,但要按名单稳定度分组统计。稳定组和非稳定组混在一起算平均值,前者长期不动会把后者的变化拉平。
同时出现的其他品牌名单及其频次。这一项是集中格局下最有信息量的指标,它直接展示了模型眼中的竞争结构。
引用份额,也就是在那些有标注来源的答案里,自己的材料被引用的比例。注意口径只算正文标注的来源,不算答案旁边的候选链接,后者会让数字明显虚高。
还有一点要承认。研究发现各种优化手段的效果在不同领域差异明显,上面关于集中度的判断在不同品类里程度不同。所以不要照搬别人的结论,自己测一遍名单稳定度,成本只有十分钟。
引用份额的定义与统计口径见引用份额词条。持续测量里这几项指标怎么出报告,见效果监测。
参考来源
- Mallen, A., Asai, A., Zhong, V., Das, R., Khashabi, D., & Hajishirzi, H. (2023). When Not to Trust Language Models: Investigating Effectiveness of Parametric and Non-Parametric Memories. ACL 2023.
- Liu, N. F., Zhang, T., & Liang, P. (2023). Evaluating Verifiability in Generative Search Engines. EMNLP 2023 Findings.
- Aggarwal, P., Murahari, V., Rajpurohit, T., Kalyan, A., Narasimhan, K., & Deshpande, A. (2024). GEO: Generative Engine Optimization. Proceedings of KDD 2024.
- Atil, B., Aykent, S., Chittams, A., et al. (2024). Non-Determinism of "Deterministic" LLM Settings. arXiv.