先定什么算变化,再去看数

四十道题、每题测三次的情况下,一到两个百分点的变化处在噪声范围内。应当事先设定阈值 —— 常见做法是五个点,或者连续两轮都保持的变化 —— 并且同样适用于竞品数值。事后再决定哪些变化算数,是测量变成叙事的方式。

归因是近似的,这可以接受

两轮之间上线了好几件事,平台自身也在变。干净的归因得不到。能得到的是:具体哪些问题发生了变化,以及针对这些问题的内容与投放是不是恰好就是上线的那些。这个结论比因果弱,但足以用来决定下一轮的预算。

三种局面

涨了。找出发生变化的那些题,检查现在的答案里是否引用了你的东西,然后把起作用的那件事继续做下去。

没动。在断定内容失败之前,先查检索环节:新页面到底有没有被抓取、投放是否被收录、CDN 规则有没有变动。相当比例的「复测持平」其实是可访问性故障,而不是内容问题。

跌了。通常是竞品上线了什么,或者平台改变了检索方式。要检查你自己的绝对数值是否稳住、而竞品在上升 —— 绝对值稳定的相对落后,和绝对值下降是两个不同的问题。

带进下一轮的东西

同一份问题集、同样的条件,以及一份简短的书面记录:你改了什么、预期它会带来什么。这份记录是下一次复测可解读的前提;没有它,再下一轮又要从零开始。