讨论 GEO 时有一个前提问题常被跳过:这一次回答,模型到底有没有去查网页。

这个区别决定了外部材料有没有介入空间。模型直接从参数记忆里给出答案时,它说的是训练时就记住的东西,这个月新发的页面影响不到它。只有当它去检索,本次抓到的材料才会进入答案的组织过程。

两条路径的可操作性差了一个数量级。

这一次回答有没有查网页,决定了能不能被影响

有一项大规模知识探测实验说明了背后的机制。研究者用一万四千道问题测试了十个模型,结论是模型在冷门事实上的表现明显更差,而且单纯把模型做大并不能改善长尾知识的记忆。同一组实验里,带检索的模型在这类问题上大幅超过参数量大得多的无检索模型;但在高热度实体的问题上,无检索模型仍然有竞争力。

翻译成实际工作:问品类大词时,模型很可能直接报出它早就知道的几个头部名字,材料改不动;问具体的长尾问题时,它记忆里没有现成答案,必须检索,这时候材料就起作用了。

能打得动的地方在后者。这不是策略偏好,是机制决定的。联网搜索这个词条里对两条路径的界定更严格一些。

42.8%2025 年 12 月我国生成式人工智能普及率CNNIC 第 57 次报告
141.7%同期生成式人工智能用户规模较上年底的增幅CNNIC 第 57 次报告
51.5%生成式搜索引擎答案中能被引用完整支撑的句子比例Liu 等 2023

怎么判断一次回答走的是记忆还是检索

最直接的线索是答案里有没有出现只可能来自近期网页的信息,比如某项政策的最新口径、某个具体编号、某个近期才发生的变化。记忆给不出这些。

第二条线索是答案里有没有标注来源。标注了基本可以确认有检索,但反过来不成立:不标注的平台里也可能检索了,只是产品上不展示。

第三条线索是追问。就同一个问题换一种更具体的问法再问一次,如果信息颗粒度明显变细,通常说明触发了检索。

场景答案主要来自外部材料能否影响典型问法
品类概念解释参数记忆很难这个东西是什么
品类头部名单参数记忆为主较难,名单稳定这个行业有哪些公司
条件化选型检索为主能这种情况下该选哪一类
具体机构与资质检索能某地有没有做这个的
时效性信息检索能,且偏向近期材料今年的政策怎么规定
操作与报错检索能,竞争最小这一步具体怎么做

一个判断材料有没有被读到的笨办法

前面三条线索都是间接的。想确认自己的页面是否真的进了检索范围,还有一个笨办法:设一个只有自己站上有的表述。

具体做法是在目标页面上写一个足够独特、别处搜不到的事实性细节,比如某项服务的一个具体步骤数、某个流程的具体时长区间、某个自定义的分类名称。然后隔一段时间去问相关问题,看答案里会不会出现这个说法。

出现了,说明这一页确实被读到并被采信。没出现,还不能断定没被读到,可能只是没被选中,但至少排除了一种可能。

两条注意事项。这个表述必须是真实的,不能为了做标记编一个数字,否则等于主动往外发错误信息。另外它得足够独特,常见说法到处都有,答案里出现了也无法归因到自己这一页。

这个办法粗糙,但它是目前少数能自己做、不依赖任何平台后台的验证手段。

联网之后,能介入的环节有三个

第一个环节是进入候选范围。前提是页面可被抓取、内容在服务端返回的那份 HTML 里、robots 规则放行。这一层是开关,不过关后面都不发生。

第二个环节是被选中写进答案。候选材料往往有十几份,模型挑的是能直接支撑某个说法的片段。这一层比的是具体程度:有数值、有条件、有边界的段落被挑中的概率明显高于通篇讲理念的段落。

第三个环节是被正确描述。被提到不等于说对了。审核多个生成式搜索引擎的研究显示,答案中平均只有 51.5% 的句子能被其引用完整支撑,引用确实支撑其所在句子的比例是 74.5%。也就是说四分之一左右的引用对不上它所支撑的说法。

三个环节的工作内容完全不同。第一个是技术活,第二个是内容活,第三个是持续监测的活。把它们混成一句「做内容」,通常是第一环节没过关就在猛做第二环节。

检索候选池不等于被引用

这一条是测量上最容易出错的地方,值得单独说。

有些平台在生成答案的同时会展示一串参考网页,那是本次检索的候选池,不是答案真正引用过的来源。候选池里出现自己的域名,只说明它被检索到了,不说明答案里用了它。

把候选池里的出现次数当成引用次数来统计,引用率会明显虚高,而且虚高的幅度不稳定,不同问题之间差异很大。我们自己的做法是只统计正文里真实标注的来源,候选池单独记为一个辅助指标。两者放在一起看有参考价值,混成一个数就不可信了。

各平台的联网行为不一样,但不要为每家单独做内容

六家主流国产平台都提供联网能力,触发条件、是否标注来源、答案长度各不相同,而且会随版本变化。平台差异那一页按家列了各自的取材方式。

需要说清的是,差异不构成「为每个平台单独做一套内容」的理由。有具体信息、爬虫能抓到、在第三方处有印证的材料,在哪里表现都更好。差异真正改变的是投放位置:某个平台频繁引用的信源类型,在另一个平台上可能几乎不出现。

还有一点要承认。研究发现各种优化手段的效果在不同领域差异明显,并不存在一套放之四海的通用方法。所以平台差异要看,领域差异也要看,但两者都不改变那个最前置的条件:材料得先能被抓到。

测量时必须把联网与不联网分开记

最后是一条操作纪律。固定问题集的时候,联网与不联网要作为两组条件分别记录,不要混成一个平均值。

理由是两组数据的变化速度完全不同。联网那组反映当下材料的竞争状况,一两个月就可能动;不联网那组反映模型记忆里的既有印象,变化以版本为单位。混在一起看,快的那一半被慢的那一半拉平,结果是什么都看不出来。

参考来源