快讯

反幻觉技术基础:大模型少说胡话的几层防线

反幻觉技术基础,说白了,就是让模型在不确定的时候别硬编。客服问退款、医生问用药、法务问条款,模型一旦一本正经地胡说,后果比答不上来麻烦得多。

幻觉不是单一故障,先看它从哪儿冒出来

很多人以为幻觉等于模型乱说。其实拆开看,来源挺杂。训练数据里本身有错,模型会学。预训练阶段用下一词预测,它更关心句子顺不顺,不关心事实对不对。到了推理阶段,温度调高、上下文给得含糊,也容易把概率高的词拼成看似合理的假话。

举个例子。用户问某地公积金贷款额度,模型可能把两个城市的政策混在一起。它没有查表,只是根据“公积金”“贷款”“额度”这几个词,拼出一段很像答案的段落。这种错,靠加一句“请勿幻觉”往往压不住。

大语言模型幻觉来源流程图
大语言模型幻觉来源流程图

从实操角度看,反幻觉技术基础通常分三层:数据层、检索层、解码与校验层。数据层做清洗和去重,检索层把外部证据接进来,解码层控制生成时的随机性,再往后还有事实校验和引用回溯。

检索增强生成:给模型一本可翻的参考书

RAG,也就是检索增强生成,是当前较常见的一类做法。它的思路不复杂:先根据问题去知识库、网页、文档里找相关段落,再把问题和证据一起塞给模型,让它基于证据回答。

这里有个细节容易被忽略。检索质量差,后面全白搭。比如企业知识库半年没更新,检索出来的还是旧版报销规则,模型照样会照着旧规则答。所以很多团队会在检索后加一层重排,用交叉编码器或者规则打分,把真正相关的片段往前排。

检索增强生成RAG事实校验架构图
检索增强生成RAG事实校验架构图

据一些用户反馈,加了引用来源之后,模型胡编的概率会下降,但不会归零。它可能引用一个真实文档,却把文档里的条件删掉。比如原文写“连续缴存六个月以上可申请”,模型答成“缴存即可申请”。这种叫引用漂移,需要校验层去比对原文和生成句。

训练侧对齐与推理侧约束,别指望单点解决

训练侧对齐与推理侧约束,别指望单点解决
训练侧对齐与推理侧约束,别指望单点解决

训练侧常用 RLHF、DPO 这类对齐方法,让模型更倾向于说“我不知道”或者“需要更多信息”。不过,对齐不是一次就能管住。新领域、新术语、对抗性提问,都可能绕过原有偏好。

推理侧能做的事更直接。降低温度,减少随机采样。给系统提示加上“没有证据就回答不知道”。用自洽性检查,让模型生成多个答案再投票。还可以做实体一致性校验,比如回答里提到的人物、时间、金额,跟检索证据做比对。不一致就触发重新生成,或者转人工。

有意思的是,有些团队把知识图谱也接进来。图谱擅长表达实体关系,比如“A公司收购B公司”“某药品适用某适应症”。生成时先在图谱里查路径,再把路径转成自然语言。这样能压住一部分关系型幻觉,但对开放域长尾问题,覆盖仍然有限。

落地时看几个朴素指标,别被花哨概念带偏

落地时看几个朴素指标,别被花哨概念带偏
落地时看几个朴素指标,别被花哨概念带偏

评估反幻觉效果,通常看事实准确率、引用正确率、拒答率、人工复核成本。事实准确率不是越高越好,还要看拒答率。一个模型什么都拒答,准确率好看,但可用性差。反过来,什么都敢答,准确率可能很难看。

常见误区有几个。一是只测标准问答集,不测真实用户提问。真实提问经常缺主语、带错别字、混多个意图。二是把检索命中率当成答案正确率。命中了证据,不代表模型用对了。三是忽略时效性。政策、价格、库存这类信息,更新频率高,需要定期重建索引。

维护周期这块,没有统一答案。高频变动的知识库,可能每天或每周增量更新。相对稳定的领域文档,按月或按季度检查也可以。关键是留一条反馈通道,让业务人员能标记错误答案,这些标记数据反过来能优化检索和提示词。

另外,反幻觉技术基础不等于追求不出错。一定条件下,模型仍可能出错。比较务实的做法是分层兜底:低风险场景让模型直接答,中风险场景要求带引用,高风险场景强制人工确认。这样成本可控,体验也不会太割裂。

您在实际使用中还遇到过哪些情况?欢迎结合具体场景继续探讨。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:反幻觉技术基础:大模型少说胡话的几层防线
文章链接:https://m.ttrenwu.com/geo/4264.html