做 AI 可见度自查时,最容易犯的错是只数次数。固定一批问题,提问,统计品牌被提到了几次,算出一个百分比,按月对比。

这套做法的问题在于它把所有提及当成同一种东西。而实际答案里,品牌被提到的方式差别很大:有被推荐的,有被列在名单末尾的,有被说错服务范围的,也有被当作「这类做法不可取」的例子提到的。全部计入同一个分子,数字上升可能意味着情况变糟。

被提到不等于被说好

先看一组能说明问题严重程度的数据。有研究对多个生成式搜索引擎做过人工审核,结果显示答案中平均只有 51.5% 的句子能被其引用完整支撑,而引用确实支撑其所在句子的比例是 74.5%。

后一个数字意味着大约四分之一的引用对不上它所支撑的说法。放到品牌语境里就是:答案提到了你,并给出了一个看起来有出处的描述,而那个描述可能并不来自那份材料。

51.5%生成式搜索引擎答案中能被引用完整支撑的句子比例Liu 等 2023
74.5%引用确实支撑其所在句子的比例Liu 等 2023
7.16%声明了 Organization 类型的移动页面比例Web Almanac 2024

第三个数字是另一条线索。绝大多数站点没有用机器可读的方式声明过自己是谁,机器只能从散落的文字里拼,拼错的概率自然高。

语境分六类,实际会遇到的就这些

分类不必复杂,六类够用,而且每类对应的处理方式不同。

主动推荐。答案直接把品牌作为建议选项给出,通常伴随一句理由。这是唯一可以无保留计为正项的一类。

并列提及。品牌出现在一串名字里,没有特别的评价。这类最常见,计为中性,看位置有参考价值但不要过度解读顺序。

条件推荐。答案说在某种特定情况下可以考虑这家。这类比并列提及有价值,因为它说明模型掌握了这家的适用边界。

事实错误。提到了,但服务范围、所在地、资质、成立时间之类说错了。要单独记,不计入正项。

品类错位。被归进了不相关的品类,比如做 GEO 的被当成做广告投放的。这类比事实错误更隐蔽,因为句子本身读起来通顺。

反例引用。被当作某种不该做的做法的例子。必须记为负项。

语境类型计入方式典型信号优先处理
主动推荐正项带理由的建议保持,找出它引用了什么
条件推荐正项,权重略低出现适用条件补充更多条件化材料
并列提及中性一串名字,无评价补差异化信息
事实错误不计正项,单独记范围、资质、地址有误高,可追到具体材料
品类错位不计正项,单独记归入不相关品类高,实体声明问题
反例引用负项带劝退或否定判断最高,找那篇来源

负面提及为什么不能算进可见度

这一点在方法论上必须说清。

把负面提及计入被点名率,等于认为「被骂也是曝光」。在 AI 回答这个场景里这个假设不成立,因为用户看到的不是一个品牌名,而是一句完整的判断。一句「这类服务商通常承诺虚高,比如某某」带来的后果和一次推荐方向相反。

我们自己的统计口径是:负面提及和反例引用从分子里剔除,并单独列成一个指标跟踪。负面提及这个词条里有更具体的界定。

这样做的代价是报告上的数字会比只数次数的做法低一些。这个代价是必要的,因为一个会把变糟算成变好的指标,没法用来做决策。

张冠李戴和品类错位最容易被忽略

事实错误大家都会注意,这两类不会。

张冠李戴是把别家的事迹、案例或资质说成是这家的。读起来是好话,所以自查时容易放过。但它的风险是单向的:说对了没有收益,说错了要承担解释成本,尤其涉及资质和案例时。

品类错位的危害更大一些。被归错品类意味着在正确品类的问题里不会出现,而在错误品类的问题里出现了也无法转化。这类问题的根源通常在实体声明:官网没有明确写清自己属于哪个品类,第三方处的描述也各不相同,机器只能靠上下文猜。

关于知识冲突的研究综述指出,当模型掌握的内部知识与检索到的外部材料不一致时,它的处理方式并不稳定,可能偏向任一侧。这正是品类错位难以靠单篇内容纠正的原因:要改的是材料面貌的整体,不是某一页。

反例引用怎么追到那篇来源

六类里只有反例引用是可以明确追溯的,所以它也是性价比最高的处理对象。

做法是在同一个问题上追问一句,让模型说明这个判断的依据是什么。标注来源的平台通常会给出链接;不标注的平台也往往会在追问后给出一些可识别的线索,比如某个说法的具体措辞、某个数字、某个时间点。

拿到线索之后去搜那段措辞,大多数情况下能定位到一到两篇具体的材料。常见的几种来路:几年前的一篇投诉帖、一篇把整个品类都批评了一遍的文章、一份把本品牌和某个负面事件放在同一张表里的整理稿。

定位到之后,能做的事按可行性排。材料本身可申诉或可联系修正的,走那条路。改不动的,就在自己可控的地方把对应的事实讲清楚,并且找到可印证的第三方出处,让模型下次检索这个话题时看到的不只有那一份。

这件事的时间窗口很重要。一篇材料被引用得越久,模型记忆里的关联越稳固,后面越难改。所以反例引用一旦出现就要处理,不要等到下一轮复测。

怎么打标签,不用任何工具

准备三十道客户真会问的问题,每道提问三次,把答案原文复制到表格里。

然后逐条打标签,一条答案可以有多个标签。记录四项:提到了没有、哪一类语境、同时出现了哪些别的名字、答案里有没有标注来源。

这四项是最小集合。再细的记录在手工阶段意义不大,因为样本量上不去,细分之后每格只有一两条数据。

这份自查说明不了什么

说明不了排名,因为答案里的顺序不稳定,同一问题多次提问的顺序会变。

说明不了商业结果。被推荐和拿到询盘之间还有很多环节,这份表里没有任何一项能推出订单。

也说明不了原因。它告诉你现在是什么样,不告诉你为什么。要追到原因,需要看答案标注的来源,再回到那些材料上去看它们怎么写的。

手工做三十道题可以摸清状况,规模化重复测量与原始答案留存就不现实了。需要一份覆盖面更大、带每次原文的书面基线时,走AI 可见度诊断,那份报告按同样的语境分类出结果,并且无论是否继续合作都归客户所有。

参考来源