做 AI 可见度自查时,最容易犯的错是只数次数。固定一批问题,提问,统计品牌被提到了几次,算出一个百分比,按月对比。
这套做法的问题在于它把所有提及当成同一种东西。而实际答案里,品牌被提到的方式差别很大:有被推荐的,有被列在名单末尾的,有被说错服务范围的,也有被当作「这类做法不可取」的例子提到的。全部计入同一个分子,数字上升可能意味着情况变糟。
被提到不等于被说好
先看一组能说明问题严重程度的数据。有研究对多个生成式搜索引擎做过人工审核,结果显示答案中平均只有 51.5% 的句子能被其引用完整支撑,而引用确实支撑其所在句子的比例是 74.5%。
后一个数字意味着大约四分之一的引用对不上它所支撑的说法。放到品牌语境里就是:答案提到了你,并给出了一个看起来有出处的描述,而那个描述可能并不来自那份材料。
第三个数字是另一条线索。绝大多数站点没有用机器可读的方式声明过自己是谁,机器只能从散落的文字里拼,拼错的概率自然高。
语境分六类,实际会遇到的就这些
分类不必复杂,六类够用,而且每类对应的处理方式不同。
主动推荐。答案直接把品牌作为建议选项给出,通常伴随一句理由。这是唯一可以无保留计为正项的一类。
并列提及。品牌出现在一串名字里,没有特别的评价。这类最常见,计为中性,看位置有参考价值但不要过度解读顺序。
条件推荐。答案说在某种特定情况下可以考虑这家。这类比并列提及有价值,因为它说明模型掌握了这家的适用边界。
事实错误。提到了,但服务范围、所在地、资质、成立时间之类说错了。要单独记,不计入正项。
品类错位。被归进了不相关的品类,比如做 GEO 的被当成做广告投放的。这类比事实错误更隐蔽,因为句子本身读起来通顺。
反例引用。被当作某种不该做的做法的例子。必须记为负项。
| 语境类型 | 计入方式 | 典型信号 | 优先处理 |
|---|---|---|---|
| 主动推荐 | 正项 | 带理由的建议 | 保持,找出它引用了什么 |
| 条件推荐 | 正项,权重略低 | 出现适用条件 | 补充更多条件化材料 |
| 并列提及 | 中性 | 一串名字,无评价 | 补差异化信息 |
| 事实错误 | 不计正项,单独记 | 范围、资质、地址有误 | 高,可追到具体材料 |
| 品类错位 | 不计正项,单独记 | 归入不相关品类 | 高,实体声明问题 |
| 反例引用 | 负项 | 带劝退或否定判断 | 最高,找那篇来源 |
负面提及为什么不能算进可见度
这一点在方法论上必须说清。
把负面提及计入被点名率,等于认为「被骂也是曝光」。在 AI 回答这个场景里这个假设不成立,因为用户看到的不是一个品牌名,而是一句完整的判断。一句「这类服务商通常承诺虚高,比如某某」带来的后果和一次推荐方向相反。
我们自己的统计口径是:负面提及和反例引用从分子里剔除,并单独列成一个指标跟踪。负面提及这个词条里有更具体的界定。
这样做的代价是报告上的数字会比只数次数的做法低一些。这个代价是必要的,因为一个会把变糟算成变好的指标,没法用来做决策。
张冠李戴和品类错位最容易被忽略
事实错误大家都会注意,这两类不会。
张冠李戴是把别家的事迹、案例或资质说成是这家的。读起来是好话,所以自查时容易放过。但它的风险是单向的:说对了没有收益,说错了要承担解释成本,尤其涉及资质和案例时。
品类错位的危害更大一些。被归错品类意味着在正确品类的问题里不会出现,而在错误品类的问题里出现了也无法转化。这类问题的根源通常在实体声明:官网没有明确写清自己属于哪个品类,第三方处的描述也各不相同,机器只能靠上下文猜。
关于知识冲突的研究综述指出,当模型掌握的内部知识与检索到的外部材料不一致时,它的处理方式并不稳定,可能偏向任一侧。这正是品类错位难以靠单篇内容纠正的原因:要改的是材料面貌的整体,不是某一页。
反例引用怎么追到那篇来源
六类里只有反例引用是可以明确追溯的,所以它也是性价比最高的处理对象。
做法是在同一个问题上追问一句,让模型说明这个判断的依据是什么。标注来源的平台通常会给出链接;不标注的平台也往往会在追问后给出一些可识别的线索,比如某个说法的具体措辞、某个数字、某个时间点。
拿到线索之后去搜那段措辞,大多数情况下能定位到一到两篇具体的材料。常见的几种来路:几年前的一篇投诉帖、一篇把整个品类都批评了一遍的文章、一份把本品牌和某个负面事件放在同一张表里的整理稿。
定位到之后,能做的事按可行性排。材料本身可申诉或可联系修正的,走那条路。改不动的,就在自己可控的地方把对应的事实讲清楚,并且找到可印证的第三方出处,让模型下次检索这个话题时看到的不只有那一份。
这件事的时间窗口很重要。一篇材料被引用得越久,模型记忆里的关联越稳固,后面越难改。所以反例引用一旦出现就要处理,不要等到下一轮复测。
怎么打标签,不用任何工具
准备三十道客户真会问的问题,每道提问三次,把答案原文复制到表格里。
然后逐条打标签,一条答案可以有多个标签。记录四项:提到了没有、哪一类语境、同时出现了哪些别的名字、答案里有没有标注来源。
这四项是最小集合。再细的记录在手工阶段意义不大,因为样本量上不去,细分之后每格只有一两条数据。
这份自查说明不了什么
说明不了排名,因为答案里的顺序不稳定,同一问题多次提问的顺序会变。
说明不了商业结果。被推荐和拿到询盘之间还有很多环节,这份表里没有任何一项能推出订单。
也说明不了原因。它告诉你现在是什么样,不告诉你为什么。要追到原因,需要看答案标注的来源,再回到那些材料上去看它们怎么写的。
手工做三十道题可以摸清状况,规模化重复测量与原始答案留存就不现实了。需要一份覆盖面更大、带每次原文的书面基线时,走AI 可见度诊断,那份报告按同样的语境分类出结果,并且无论是否继续合作都归客户所有。
参考来源
- Liu, N. F., Zhang, T., & Liang, P. (2023). Evaluating Verifiability in Generative Search Engines. EMNLP 2023 Findings.
- Xu, R., Qi, Z., Guo, Z., Wang, C., Wang, H., Zhang, Y., & Xu, W. (2024). Knowledge Conflicts for LLMs: A Survey. EMNLP 2024.
- HTTP Archive (2024). Web Almanac 2024: Structured Data. HTTP Archive.
- Aggarwal, P., Murahari, V., Rajpurohit, T., Kalyan, A., Narasimhan, K., & Deshpande, A. (2024). GEO: Generative Engine Optimization. Proceedings of KDD 2024.