「我们坚持白帽优化」这句话没有可核对的点。所以这里把范围写成条目,每一条都能拿去对。
我们做的四件事
第一件是把客户企业真实存在、可核查的资质、方法、流程与数据整理成准确的材料。
关键词是可核查。资质要有编号,流程要有具体步骤和时长,数据要有出处。没有出处的数字我们不写,写不出来的部分整段删掉,不用形容词填。
第二件是把这些材料发布到模型会读取的地方:行业垂直媒体、企业服务平台、百科类词条、客户自有渠道。
发布位置按实测选,不按渠道名气选。方法是在测量时记录答案标注的来源域名,统计哪些类型的站点在该品类的答案里真的被引用。统计结果经常和直觉不同。
第三件是修复客户官网上阻碍机器读取的部分:抓取器放行、渲染方式、结构化数据、跨页事实一致性。
这一项是开关性质的。首屏正文不在服务端返回的那份 HTML 里的时候,后面所有内容投入都不计入。所以它排在内容之前。
第四件是用固定的一组问题按周期复测,如实汇报变化,包括某个平台这一轮完全没动。
四件事各自的操作定义
| 做法 | 操作定义 | 可核对的点 |
|---|---|---|
| 材料整理 | 每处主张指出来自哪份材料 | 事实清单与出处 |
| 信源投放 | 投放位置按答案来源实测选 | 来源域名统计表 |
| 官网修复 | 每项判定附实测证据 | 源码片段与日志记录 |
| 周期复测 | 问题集冻结,每题重复固定次数 | 原始答案全文 |
最后一列是这份说明的重点。四件事都留下可核对的东西,而不是一份结论。
我们不做的事
不刷评价、不制造虚假讨论。
不批量生成模板内容铺量。只换品牌词的批量稿件对读者没有价值,在搜索端被判为低质,在生成式回答里也不会被选中,因为各页提供的信息完全相同。
不试图操纵模型输入。在页面里埋针对模型的诱导性指令属于人机呈现不一致,实现方式有限、检测成本很低,而且在不同平台和版本上的表现完全不同,可能反向。
不发布未经客户确认的对外宣称。所有对外内容发布前由客户确认,代码里不提供跳过路径,也没有批量自动发布的接口。
不承诺 AI 答案里的固定名次。
为什么固定名次承诺不了
这一条值得给依据,而不是只说做不到。
有研究把五个模型配置成确定性模式,在八项常见任务上各跑十轮,结果是准确率在自然发生的多轮之间最大波动达到 15%,最好与最差之间的差距最大到 70%,没有一个模型能在所有任务上稳定复现。
同一个问题换个说法、换个平台、换个时间,结果都可能不同。在这种条件下,稳定的名次本来就不存在。任何人做不到的事,我们不会写进合同。
第三个数字说明另一件事:即便答案里标注了来源,也有四分之一左右的引用对不上它所支撑的说法。所以我们的报告里会保留原始答案全文,而不只给一个百分比,因为百分比掩盖不了这种情况。
客户提出越界要求时怎么处理
这件事比写清单更需要说明,因为它每隔一段时间就会发生。
第一步是说明无效,而不是先说违规。多数客户不是想违规,是听过别人这么做且见效快。所以先讲机制:批量产出的评价在文本特征上高度相似,而相似材料对模型的价值很低;模板站群各页信息相同,模型没有理由挑一份;隐藏指令在不同版本上表现不一,可能让整页的采信度下降。
第二步是给替代方案。要快速见效的,先做技术修复,那一段是整条链路里周期最短、投入产出最明确的。要显得有声量的,去补可核验的编号、流程与边界,这些比形容词有分量。
第三步,两轮之后仍然坚持的,终止那一部分工作而不是整个合作。
唯一一处确实说不清的灰色地带
上面那些边界都是清楚的。有一处不清楚,而它在实务里出现得最多:用模型批量起草内容。
用模型起草本身不越界。形式转换这类活它做得很好:把一份技术材料改写成问答,把口语整理成书面段落,把长文压缩成摘要。输入是人提供的事实,输出是换一种组织方式。
越界发生在输入是空的时候。让模型直接产出某个行业的现状分析或者典型案例,它会在空缺处补出读起来合理的数字和故事,而这些追不到任何来源。这种内容在形式上完全合规,没有虚假宣传的直接表征,但它和编造数字是同一件事,只是经手的不是人。
我们的判定标准写得很具体:这篇内容里的每一个数字、每一个案例、每一处对外主张,能不能指出它来自哪份材料。指不出来的不发,不管是谁写的。
这条标准也顺带解决了产能焦虑。模型能把产出速度提高几倍,但提高的是组织材料的速度,不是产生事实的速度。事实还是得从业务那边拿,这一段无法加速,也不该加速。
复测结果不好的时候,报告怎么写
这件事比不做越界手段更难执行,因为它每个月都要做一次。
做法是把能归因的和不能归因的分开写,不合成一个结论。
能归因的写成:这一组问题上的变化与某周上线的改动时间吻合,未改动的对照组同期无明显变化。
不能归因的写成:本轮数据整体上移,同期竞品同向变动,答案形态出现变化,怀疑与平台侧更新有关,待下一轮确认。
某个平台这一轮完全没动的,就写完全没动,并给出原始答案让客户自己看。
这样写出来的报告不好看,但它有两个好处。下一轮确认了原因时不需要回头修正上一份结论;以及当数字真的因为工作而上涨时,双方都会信它。
这套规范的成本
要把成本说出来,否则上面都是表态。
交付更慢。人工确认是流水线上最慢的一段,而我们把它做成了没有开关。
数字更保守。引用口径只算答案正文里标注的来源,不算答案旁边那串候选链接,而后者会让数字明显更高。
会丢单。要求承诺排名的客户会选别家,这很正常。
还有一项对内的成本:我们自己站上的文章也按同一套标准写,有字数、来源、内链和结构的机械检查,每个数字都要能追到参考来源里的具体条目,来源链接逐条打开确认过。做不到的想法整段删掉。这件事对外没什么用,对内是唯一能让标准不漂移的办法。
各类越界手段的具体界定见黑帽 GEO词条。关于范围、验收与合作方式的常见疑问,整理在常见问题里。
参考来源
- Atil, B., Aykent, S., Chittams, A., et al. (2024). Non-Determinism of "Deterministic" LLM Settings. arXiv.
- Liu, N. F., Zhang, T., & Liang, P. (2023). Evaluating Verifiability in Generative Search Engines. EMNLP 2023 Findings.
- 国家市场监督管理总局 (2023). 互联网广告管理办法. 国务院公报 2023 年第16号.
- 国家互联网信息办公室等七部门 (2023). 生成式人工智能服务管理暂行办法. 中国网信网.