讨论 GEO 时有一个前提问题常被跳过:这一次回答,模型到底有没有去查网页。
这个区别决定了外部材料有没有介入空间。模型直接从参数记忆里给出答案时,它说的是训练时就记住的东西,这个月新发的页面影响不到它。只有当它去检索,本次抓到的材料才会进入答案的组织过程。
两条路径的可操作性差了一个数量级。
这一次回答有没有查网页,决定了能不能被影响
有一项大规模知识探测实验说明了背后的机制。研究者用一万四千道问题测试了十个模型,结论是模型在冷门事实上的表现明显更差,而且单纯把模型做大并不能改善长尾知识的记忆。同一组实验里,带检索的模型在这类问题上大幅超过参数量大得多的无检索模型;但在高热度实体的问题上,无检索模型仍然有竞争力。
翻译成实际工作:问品类大词时,模型很可能直接报出它早就知道的几个头部名字,材料改不动;问具体的长尾问题时,它记忆里没有现成答案,必须检索,这时候材料就起作用了。
能打得动的地方在后者。这不是策略偏好,是机制决定的。联网搜索这个词条里对两条路径的界定更严格一些。
怎么判断一次回答走的是记忆还是检索
最直接的线索是答案里有没有出现只可能来自近期网页的信息,比如某项政策的最新口径、某个具体编号、某个近期才发生的变化。记忆给不出这些。
第二条线索是答案里有没有标注来源。标注了基本可以确认有检索,但反过来不成立:不标注的平台里也可能检索了,只是产品上不展示。
第三条线索是追问。就同一个问题换一种更具体的问法再问一次,如果信息颗粒度明显变细,通常说明触发了检索。
| 场景 | 答案主要来自 | 外部材料能否影响 | 典型问法 |
|---|---|---|---|
| 品类概念解释 | 参数记忆 | 很难 | 这个东西是什么 |
| 品类头部名单 | 参数记忆为主 | 较难,名单稳定 | 这个行业有哪些公司 |
| 条件化选型 | 检索为主 | 能 | 这种情况下该选哪一类 |
| 具体机构与资质 | 检索 | 能 | 某地有没有做这个的 |
| 时效性信息 | 检索 | 能,且偏向近期材料 | 今年的政策怎么规定 |
| 操作与报错 | 检索 | 能,竞争最小 | 这一步具体怎么做 |
一个判断材料有没有被读到的笨办法
前面三条线索都是间接的。想确认自己的页面是否真的进了检索范围,还有一个笨办法:设一个只有自己站上有的表述。
具体做法是在目标页面上写一个足够独特、别处搜不到的事实性细节,比如某项服务的一个具体步骤数、某个流程的具体时长区间、某个自定义的分类名称。然后隔一段时间去问相关问题,看答案里会不会出现这个说法。
出现了,说明这一页确实被读到并被采信。没出现,还不能断定没被读到,可能只是没被选中,但至少排除了一种可能。
两条注意事项。这个表述必须是真实的,不能为了做标记编一个数字,否则等于主动往外发错误信息。另外它得足够独特,常见说法到处都有,答案里出现了也无法归因到自己这一页。
这个办法粗糙,但它是目前少数能自己做、不依赖任何平台后台的验证手段。
联网之后,能介入的环节有三个
第一个环节是进入候选范围。前提是页面可被抓取、内容在服务端返回的那份 HTML 里、robots 规则放行。这一层是开关,不过关后面都不发生。
第二个环节是被选中写进答案。候选材料往往有十几份,模型挑的是能直接支撑某个说法的片段。这一层比的是具体程度:有数值、有条件、有边界的段落被挑中的概率明显高于通篇讲理念的段落。
第三个环节是被正确描述。被提到不等于说对了。审核多个生成式搜索引擎的研究显示,答案中平均只有 51.5% 的句子能被其引用完整支撑,引用确实支撑其所在句子的比例是 74.5%。也就是说四分之一左右的引用对不上它所支撑的说法。
三个环节的工作内容完全不同。第一个是技术活,第二个是内容活,第三个是持续监测的活。把它们混成一句「做内容」,通常是第一环节没过关就在猛做第二环节。
检索候选池不等于被引用
这一条是测量上最容易出错的地方,值得单独说。
有些平台在生成答案的同时会展示一串参考网页,那是本次检索的候选池,不是答案真正引用过的来源。候选池里出现自己的域名,只说明它被检索到了,不说明答案里用了它。
把候选池里的出现次数当成引用次数来统计,引用率会明显虚高,而且虚高的幅度不稳定,不同问题之间差异很大。我们自己的做法是只统计正文里真实标注的来源,候选池单独记为一个辅助指标。两者放在一起看有参考价值,混成一个数就不可信了。
各平台的联网行为不一样,但不要为每家单独做内容
六家主流国产平台都提供联网能力,触发条件、是否标注来源、答案长度各不相同,而且会随版本变化。平台差异那一页按家列了各自的取材方式。
需要说清的是,差异不构成「为每个平台单独做一套内容」的理由。有具体信息、爬虫能抓到、在第三方处有印证的材料,在哪里表现都更好。差异真正改变的是投放位置:某个平台频繁引用的信源类型,在另一个平台上可能几乎不出现。
还有一点要承认。研究发现各种优化手段的效果在不同领域差异明显,并不存在一套放之四海的通用方法。所以平台差异要看,领域差异也要看,但两者都不改变那个最前置的条件:材料得先能被抓到。
测量时必须把联网与不联网分开记
最后是一条操作纪律。固定问题集的时候,联网与不联网要作为两组条件分别记录,不要混成一个平均值。
理由是两组数据的变化速度完全不同。联网那组反映当下材料的竞争状况,一两个月就可能动;不联网那组反映模型记忆里的既有印象,变化以版本为单位。混在一起看,快的那一半被慢的那一半拉平,结果是什么都看不出来。
参考来源
- Mallen, A., Asai, A., Zhong, V., Das, R., Khashabi, D., & Hajishirzi, H. (2023). When Not to Trust Language Models: Investigating Effectiveness of Parametric and Non-Parametric Memories. ACL 2023.
- Liu, N. F., Zhang, T., & Liang, P. (2023). Evaluating Verifiability in Generative Search Engines. EMNLP 2023 Findings.
- Aggarwal, P., Murahari, V., Rajpurohit, T., Kalyan, A., Narasimhan, K., & Deshpande, A. (2024). GEO: Generative Engine Optimization. Proceedings of KDD 2024.
- 中国互联网络信息中心 (2026). 第57次《中国互联网络发展状况统计报告》. CNNIC.
- 深度求索. 对话补全 API 文档. DeepSeek API Docs.