从 2026 年 3 月起,标准服务包含以下调整。存量客户在当前服务周期内自动升级,不额外收费。
平台覆盖扩展到六家
新增腾讯元宝与 Kimi 的覆盖。升级后的标准覆盖范围是 DeepSeek、豆包、文心一言、通义千问、腾讯元宝、Kimi。
各平台的联网检索来源和答案组织方式不同,同一份材料在六家的表现不会一致。所以报表按平台分开呈现,不做平均。
做平均是这类报表里最常见的错误。六家里有两家数字上升、两家持平、两家下降时,平均值可能完全不动,而实际发生的事情很多。平均掉的恰好是最有用的信息。
数据看板升级
客户在专属看板里可以看到三类内容。
每一轮测量的被点名率、相对份额与来源覆盖率。
分平台的结果,而不是一个汇总数。
每条问题的答案全文与引用来源链接。
第三项是这次升级里工作量最大的部分,也是最容易被省掉的部分。保留全文的理由很实际:复测时需要比对的是两段话的具体差异,不是两个百分比。
| 看板字段 | 口径 | 跨平台可比 |
|---|---|---|
| 被点名率 | 品牌名出现的问题占比 | 可比 |
| 点名语境分布 | 推荐、并列、错误、反例等分类 | 可比 |
| 同时出现的品牌 | 答案里出现的所有其他品牌名 | 可比 |
| 引用份额 | 答案正文标注的来源中自己的占比 | 仅标注来源的平台 |
| 来源覆盖率 | 有来源标注的答案占比 | 可比,但含义不同 |
| 答案全文 | 原始文本,按轮次归档 | 不适用 |
哪些指标不可跨平台比
这一点要写清楚,因为它直接影响怎么读报表。
被点名率可以跨平台比,它只看品牌名有没有出现在答案里。
引用份额不能跨平台比。有的平台不在答案里标注来源,没有标注就没有采集基础。这种情况下看板上这一项留空,而不是填零。留空和零是两件不同的事,填零会让平均值和趋势图都失真。
来源覆盖率可以比,但含义要注意。它衡量的是有多少答案带了来源标注,这更多反映平台的产品设计,不反映自己的工作成效。
引用份额的统计口径
这一项的口径值得单独说明,因为它决定了数字的量级。
有些平台在给出答案时会展示一串参考网页,那是本次检索的候选池,不是答案真正引用的来源。候选池里出现自己的域名,只说明被检索到了。
我们只统计答案正文里真实标注的来源,候选池单独记为一个辅助指标。这样做出来的数字明显低于把候选池算进来的做法,但它在不同问题之间的口径稳定,可以用来做前后对比。
支撑这个选择的还有一组数据。审核多个生成式搜索引擎的研究发现,答案中平均只有 51.5% 的句子能被其引用完整支撑,引用确实支撑其所在句子的比例是 74.5%。
在这种准确率水平下,再把候选池算进来,统计出来的东西就离事实太远了。
第三个数字说明另一件事:生成式回答本身带着不小的噪声。有研究把五个模型配置成确定性模式,在八项常见任务上各跑十轮,准确率在多轮之间最大波动达到 15%,最好与最差之间差距最大到 70%。所以每题重复多次是必要的,看板上的数字是分布而不是单次结果。
为什么新增这两家,而不是更多
选择标准不是平台的热度,是三件事能不能确认。
第一是接口或界面稳定到可以做周期性测量。测量要求条件可固定、可重复,一个频繁改动交互或者限流严重的入口,测出来的波动分不清来自平台还是来自自己。
第二是能不能分辨这次回答有没有联网检索。这一点决定了数据的解释方式:联网那组反映当下材料的竞争状况,不联网那组反映模型记忆里的既有印象,两者的变化速度完全不同,必须分开记录。
第三是答案形态是否可解析。品牌名的识别在中文里只能做子串匹配,没有词边界可用,所以对答案的结构有要求。
三项都确认之后才纳入标准覆盖。没纳入的平台不是不重要,是还没法给出可用的数据,而给一个不可用的数字比不给更糟。
中文带来的一处额外处理
既然提到了品牌名识别,这里说明一下我们在这上面做的额外工作,因为它直接影响数字的可信度。
英文可以靠词边界切分,一个品牌名不会误匹配到别的词里。中文没有词边界,只能做子串匹配,于是单字或者极短的品牌名会大面积误命中。一个只有一个字的品牌名,在日常词汇里到处出现,统计出来的提及率可以虚高到完全不能用。
处理方式是两道卡。写入侧校验品牌名长度,过短的直接拒绝并说明原因;检测侧对短名称走单独的匹配逻辑,要求上下文满足额外条件才算命中。
这类问题在以英文为主的工具里不会暴露,所以照搬国外方案时容易整段漏掉。同理还有若干处:基于英文停用词的过滤、靠语种检测拦截非英文站点的逻辑、按空格计词数的长度判定。这些在中文语境里要么失效,要么会把正常站点挡在外面。
诊断报告的调整
现状诊断报告现在按意图分组给结果:认知、对比、决策、执行四类分开统计,自指型问法单列且不计入主指标。
分组的理由是四类的商业含义不同。引用份额在涨而询盘没动,拆开看通常是上涨集中在概念型和自指型问法上,那些提问者本来就不在采购阶段。合成一个总数之后,这个矛盾看不出来。
这次升级不包含什么
不包含效果承诺。新增平台扩大的是观测范围,不改变可承诺的内容,固定名次在技术上就不存在。
不包含自动发布。生成的内容写入任何对外位置之前,状态必须是已确认,没有跳过路径,也没有批量自动发布的接口。
不包含对国内平台触发率的全局数据。这一类数据目前没有可引用的公开实测,我们能给的只有自己抽样提问的结果,并且会把问题集、提问次数和口径一并写明。范围有限但来路清楚。
六家平台各自的取材方式与可做的部分,见AI 平台。持续测量的指标定义、报告周期与归因口径,见效果监测。
参考来源
- Liu, N. F., Zhang, T., & Liang, P. (2023). Evaluating Verifiability in Generative Search Engines. EMNLP 2023 Findings.
- Atil, B., Aykent, S., Chittams, A., et al. (2024). Non-Determinism of "Deterministic" LLM Settings. arXiv.
- Aggarwal, P., Murahari, V., Rajpurohit, T., Kalyan, A., Narasimhan, K., & Deshpande, A. (2024). GEO: Generative Engine Optimization. Proceedings of KDD 2024.
- 中国互联网络信息中心 (2026). 第57次《中国互联网络发展状况统计报告》. CNNIC.