做第一轮测量时,问题集的质量决定了后面所有数据的价值。而最常见的问题不是数量不够,是里面混了太多不该在的问法。
一份掺了水的问题集,测出来的数字会很好看,而且随时间自然上涨,看起来像在进步。
先看什么样的问题会拿到生成式回答
Pew Research 在 2025 年跟踪了一批 Google 用户的真实搜索行为,结果显示只有 18% 的搜索触发了 AI 摘要,而触发与否和问题形态高度相关。
以 who、what、when、why 这类疑问词开头的查询,60% 触发了 AI 摘要。同时包含名词和动词、也就是写成一句完整话的查询,36% 触发。只有一到两个词的查询,这个比例掉到 8%。
这份样本来自 Google 与美国用户,国内平台的具体数值不同。它能支撑的结论是方向:越像一句完整的话,越容易走生成式回答这条路。
所以问题集里的条目必须是句子,不是词。一份由关键词拼成的清单,测的东西和真实使用场景不对应。
商业查询的四个识别特征
不需要复杂定义,看这四条。
带选择成分。句子里有「哪个」「哪家」「选哪种」「还是」这类结构,说明提问者在做取舍。
带条件成分。「预算在某个范围内」「我们是做某个行业的」「只在某个地区」,这些限定说明他在匹配自己的情况。
带后果关心。「有什么风险」「会不会被处罚」「出问题怎么办」,这类问法出现在决策的后半段。
带执行成分。「怎么做」「第一步是什么」「要准备什么材料」,提问者已经准备动手。
四条里满足任何一条,基本可以进问题集。四条都不满足的,多数是纯概念问题。
| 问法 | 满足的特征 | 商业价值 | 是否进主表 |
|---|---|---|---|
| 这个品类是什么 | 无 | 低 | 否,归概念组 |
| 某种情况下该选哪一类 | 选择、条件 | 高 | 是 |
| 这件事外包有什么风险 | 后果 | 高 | 是 |
| 合同里要写哪些条款 | 执行、后果 | 高 | 是 |
| 某地有没有做这个的 | 选择、条件 | 高 | 是 |
| 某品牌怎么样 | 选择 | 需单列 | 否,归自指组 |
必须排除的两类
第一类是自指问题,也就是问句里已经出现自家品牌名的那种。
这类问题的问题在于它的答案几乎一定会提到这个品牌,因为提问本身就指定了对象。把它计入被点名率,分子被注水,而且这个数字会随品牌知名度自然上涨,和 GEO 工作没有关系。
我们自己的处理方式是在生成问题集的环节就把自指问法过滤掉,并且在兜底环节再做一次确定性检查。保留一小部分单列成自指组,用途是观察模型对本品牌的既有描述是否准确,那属于语境质量而不是可见度。
第二类是纯概念问题。「这个品类是什么」这种问法的答案里通常不出现任何品牌名,测它只会得到一长串零。
这类问题不是没用,它适合用词条页去覆盖,但不该进可见度的主表,否则分母被稀释,整体数字长期贴着地面,看不出任何变化。
还有一类容易被漏掉:问题里没提品类
这一类在实务里的占比不小,而且几乎总是被忽略。
客户在提问时常常不说品类名,只说自己的处境。「官网在 AI 回答里完全搜不到怎么办」这句话里没有出现任何品类词,但它是一道典型的商业查询,提问者正在找解决方案。
靠关键词思路建问题集的人会漏掉这一整类,因为它们在关键词工具里不存在。只有从真实对话记录里取问法,才能捞到它们。
这类问法还有一个特点:竞争特别小。同行的内容都在围绕品类词写,很少有人正面回答「出现了某个现象该怎么办」。而模型在回答这类问题时必须依赖检索,因为它记忆里没有现成答案。
实务上的做法是在问题集里专门留一组「现象型」问法,占一到两成。来源只有一个,就是客户描述自己处境的原话。
为什么要区分「答案依赖检索」和「答案来自记忆」
打分表里的可操作性那一项,背后有机制依据。
有一项大规模知识探测实验用一万四千道问题测试了十个模型,结论是模型在冷门事实上表现明显更差,而且单纯扩大模型规模并不能改善长尾知识的记忆。同一组实验里,带检索的模型在长尾问题上大幅超过参数量大得多的无检索模型;而在高热度实体的问题上,无检索模型仍然有竞争力。
含义是:问品类头部名单这类高热度问题时,模型多半直接报出它早就记住的几个名字,本次检索到的材料影响有限。问具体的长尾问题时,它必须检索,材料就起作用了。
所以问题集里高热度问法占比过大,整张表会长期不动,不是因为工作没做,是因为选的题本来就改不动。这一点在第一轮就该想清楚,而不是等三个月后再回头调整。
怎么给问法打分
不必做复杂的加权模型,三个维度各打一到三分就够。
商业意图强度:按上面四个特征命中几条。
真实性:有出处的三分,改写过的两分,自己想的一分。只有一分的建议直接删掉而不是留着。
可操作性:这道题的答案是否依赖本次检索。品类头部名单这类题,答案多来自模型记忆,材料改不动,给一分;条件化选型、具体操作这类,给三分。
三个维度加起来七分以上的进主表,五到六分的放备选,五分以下不要。
问题集的配比
按四类意图配比,不按话题配比。
决策型占三到四成,这是商业价值最高的一类。对比型两到三成。执行型两成左右,这一类竞争最小。认知型一到两成,主要用来观察实体关联,不指望点名。
地域型品类要额外加一组带地名的问法,而且地名要用本地人实际使用的说法,包括区名、片区名、地标名,不要只用行政区全称。
配比失衡最常见的形态是认知型过多,因为那类问法最容易想出来。结果是整张表的数字长期不动,团队误以为工作无效。
建好之后要做的两件事
冻结原文,做版本管理。任何改动记一次版本,旧版本继续并行测量至少两轮。
记录字段固定成四项:有没有被点名、在什么语境里、同时出现了哪些别的品牌、答案里有没有标注来源。并且留全文。
问题集的完整定义与分组方式见问题集词条。想直接拿到一份按意图分组、已经排除自指问法的书面基线,走AI 可见度诊断,那份报告无论是否继续合作都归客户所有。
参考来源
- Pew Research Center (2025). Google users are less likely to click on links when an AI summary appears in the results. Pew Research Center.
- Mallen, A., Asai, A., Zhong, V., Das, R., Khashabi, D., & Hajishirzi, H. (2023). When Not to Trust Language Models: Investigating Effectiveness of Parametric and Non-Parametric Memories. ACL 2023.
- Aggarwal, P., Murahari, V., Rajpurohit, T., Kalyan, A., Narasimhan, K., & Deshpande, A. (2024). GEO: Generative Engine Optimization. Proceedings of KDD 2024.
- Atil, B., Aykent, S., Chittams, A., et al. (2024). Non-Determinism of "Deterministic" LLM Settings. arXiv.