很多团队把语义词体系做成了一张关键词表:一列词,一列搜索量,一列难度。这张表在 SEO 里有用,在 GEO 里基本用不上。原因很简单,用户不向 AI 输入词,他输入一句话,而同一个词可以出现在十几句意思完全不同的话里。
语义词体系要回答的是另一个问题:客户在哪些具体场景下会开口问,每个场景需要什么材料才接得住。
语义词体系和关键词表差在哪
关键词表的单位是词,语义词体系的单位是一组意思相近、落点相同的问法。
举个实际的例子。「GEO 多少钱」「GEO 服务怎么收费」「做一年 GEO 大概什么预算」,在关键词表里是三个词,在语义词体系里是一个词组,因为它们指向同一个判断需求,需要同一份材料来接。反过来,「GEO 是什么」和「GEO 有没有用」看着像一个话题,其实是两个词组:前者要定义,后者要证据,材料完全不同。
语义词组这个词条里有更严格的界定。实务上判断标准只有一条:如果两个问法需要同一段材料来回答,就归一组;需要不同材料,就分开。
第一步:先收问题,不要先想词
起点是客户的原话,不是头脑风暴。
能用的来源有四处。销售与客服的聊天记录是第一顺位,哪怕只有几十条,它的真实性高于任何推测。第二是竞品官网的常见问题页,那些问题通常是被真实客户逼出来的。第三是去主流平台直接提问,看模型自己生成的追问,那些追问反映了它认为这个话题下还缺什么信息。第四是行业群与社区里反复出现的问题形态。
收集阶段有一条纪律:保留原话,不要整理成书面语。客户写的「你们这个多久能看出效果」和内部整理后的「服务周期说明」是两个完全不同的检索对象,后者没有任何人会这样提问。
第二步:把问法变体归到同一个语义词组
归并的时候会遇到一个判断:措辞差异要不要分开留。
答案是同一词组下留三到五个变体,不要只留一个。理由来自模型本身的不稳定性。有研究系统测试过提示词格式对模型表现的影响,发现在同一个任务上,仅仅改变格式这类不改变语义的设计选择,准确率差距最大能达到 76 个百分点;而且把模型做大、增加示例、做指令微调,这种敏感性都没有消失。
这项实验测的是基准任务上的提示词格式,不完全等同于终端用户的提问措辞,但它足以说明一件事:拿单一问法的结果去代表一个词组的真实表现,是不可靠的。
第三步:判断哪些词组现在打得动
这一步决定了整个体系的投入产出,也是最常被跳过的一步。
有一项大规模知识探测实验值得参考。研究者用一万四千道问题测试了十个模型,结论是模型在冷门事实上表现明显更差,而且单纯扩大模型规模并不能改善长尾知识的记忆。同一组实验里,带检索的模型在长尾问题上大幅超过参数量大得多的无检索模型;但在高热度实体的问题上,无检索模型仍然有竞争力。
把这个结论放回词组表:品类大词这类高热度问法,模型多半直接从记忆里给出它早就知道的几个名字,本次检索到的材料影响有限。具体的长尾问法则相反,模型记忆里没有现成答案,必须依赖检索,材料到位就有机会。
所以优先级排序不按搜索量排,按「这个词组的答案是否依赖本次检索」排。
| 语义词组 | 代表问法 | 需要的材料 | 现在打得动吗 |
|---|---|---|---|
| 品类定义 | 这个品类是什么 | 短定义、词条页 | 弱,答案多来自记忆 |
| 品类头部推荐 | 这个品类有哪些公司 | 第三方印证、公开目录 | 弱,名单稳定难撬动 |
| 条件化选型 | 某种条件下该选哪一类 | 判断维度、适用边界 | 强,依赖检索 |
| 服务验收 | 怎么判断做得好不好 | 验收口径、合同条款 | 强,几乎无人写 |
| 具体操作 | 这一步具体怎么做 | 步骤、参数、报错处理 | 强,竞争最小 |
| 地域服务 | 某地有没有做这个的 | 地址、服务范围、本地案例 | 中,看本地材料密度 |
第四步:给每个词组配一份材料清单
词组表本身不产生效果,材料才产生。每一组后面要挂三类东西。
站内承载页面,决定有没有可被引用的内容。第三方印证,决定模型看到的不只是企业自述。可核验的编号或资质,决定这份陈述能不能被交叉验证。
三类缺一类,这个词组就算没准备好。实际项目里最常缺的是第二类:所有材料都在自己官网上,全网没有别人提过这件事。这种情况下模型拿到的是单一来源,它在组织答案时的采信度会明显偏低。
内容形态上的取舍与承载页面的组织方式,内容生产与信源投放那一页按词组类型分别说明了。
第五步:体系要能被复测
最后一步是把词组表冻结下来。
冻结的意思是问法原文、模型、是否联网、提问次数这四项固定,并且写进文档。不冻结的词组表没法复测,因为下一轮你不知道变化来自工作还是来自换了问法。
还有一点要注意。被点名不等于被正确引用。有研究对多个生成式搜索引擎做过人工审核,发现平均只有 51.5% 的生成句子能被其引用完整支撑,而引用确实支撑其所在句子的比例是 74.5%。也就是说答案里提到了你,说法却可能是错的。复测时要把原始答案留下来,不要只记一个是否被提到的布尔值。
什么时候该推翻重做
两种情况。业务发生实质变化,比如新增产品线或进入新市场,这时要加新词组,但旧词组继续并行测量。
另一种是连续三到四轮之后,整张表的数字几乎不动。这通常不是工作无效,而是词组选错了:表里全是品类大词这类打不动的问法。处理办法是把表重做一遍,把重心移到条件化选型与具体操作上,而不是加大投入去硬碰那些答案本来就不依赖检索的问题。
参考来源
- Sclar, M., Choi, Y., Tsvetkov, Y., & Suhr, A. (2024). Quantifying Language Models' Sensitivity to Spurious Features in Prompt Design. ICLR 2024.
- Mallen, A., Asai, A., Zhong, V., Das, R., Khashabi, D., & Hajishirzi, H. (2023). When Not to Trust Language Models: Investigating Effectiveness of Parametric and Non-Parametric Memories. ACL 2023.
- Liu, N. F., Zhang, T., & Liang, P. (2023). Evaluating Verifiability in Generative Search Engines. EMNLP 2023 Findings.
- Aggarwal, P., Murahari, V., Rajpurohit, T., Kalyan, A., Narasimhan, K., & Deshpande, A. (2024). GEO: Generative Engine Optimization. Proceedings of KDD 2024.