生成式答案在不同次运行之间存在波动。这种波动正是固定方法之所以重要的原因:缺少固定方法,任何变化都可被归因为效果,任何未变化也都可被解释。
我们的汇报刻意保持精简:三项指标、支撑指标的原始答案,以及本轮相对上一轮的变化。篇幅较短的报告更难掩盖方法上的漏洞。
交付物
实际交付的内容
此处列出的每一项均为可直接查阅的产出,而非进度说明。
01
三个指标
被点名率、声量份额、来源覆盖率,按平台分别报告。
02
原始答案
每条答案原样保留,任何数字均可随时回溯至来源核对。
03
与上一轮的差异
发生变化与未发生变化的项目,以及各自最可能的原因。
04
语境分布
正面、中性、负面分别计数。负面提及不计为有效结果。
执行方式
四个步骤,按此顺序执行
顺序不可调整:每一步的产出即为下一步的输入。
01 原样复测 相同的问题、相同的条件,每题相同的测量次数。
02 对称计数 对自身与竞品采用同一套匹配规则;提示词中已包含自家名称的问题予以排除。
03 分离变动因素 联网与非联网结果分别报告,不作平均处理。
04 共同复盘 每轮召开一次会议,逐项确认变化,并确定下一轮的目标。
FAQ
常见问题
复测周期如何确定?
多数项目以每月一次为宜。周期过短,结果会被生成式答案自身的波动掩盖;周期过长,则来不及纠偏。
数据下降如何处理?
我们会如实汇报下降情况及其最可能的原因,例如模型版本变化、竞品投放或某个信源下线。能够报出下降正是测量的意义;只会呈现上升的方法,测量的并非真实状况。
原始答案我们能看到吗?
可以。每条答案原样保留并随每轮报告提供,报表中的任何数值均可回溯至其来源文本。
一轮报告包含什么?
两页内容:每个平台三项指标、与上一轮的差值、变化最大的三条问题及其最可能的原因,以及与汇总数据分开报告的语境分布。
有没有在线看板?
本环节不包含在线看板。汇报以可核对的记录形式交付,而非实时数值:缺少对应答案的数字无法被验证。
一轮中途遇到模型版本变化怎么办?
予以记录并在该轮报告中说明。跨越版本变化的一轮不具备常规可比性,其变动无论方向如何,我们都不归因于本期工作。
我们可以自己复测来核对吗?
可以,方法已完整公开正是为此。请在相同条件下测量同一冻结问题集;若双方数值出现差异,两侧的原始答案可显示分歧出现在哪一步。
相关内容
其他环节
先确认品牌当前在 AI 答案中的位置
按客户真实会问的问题,在各家 AI 平台完成一轮可见度诊断。首次现状评估不收费。