反幻觉技术基础:帮大模型少胡说八道的核心逻辑

现在生成式AI用得越来越多,没人没碰到过AI一本正经胡说八道的情况,反幻觉技术就是用来解决这个麻烦的。

什么是反幻觉技术,常用在哪些场景

说白了,反幻觉技术就是一类用来降低大模型输出不实、杜撰内容概率的技术统称。 很多人都踩过幻觉的坑。比如做行业调研的时候,AI给你编了一份不存在的行业报告,甚至编出不存在的研究机构。比如学生用AI整理参考文献,出来的文献作者、刊名全对不上。 在涉及专业内容的场景里,幻觉的代价很高。所以反幻觉技术是这类AI应用必不可少的基础能力。
生成式AI错误幻觉输出对比图
生成式AI错误幻觉输出对比图

反幻觉技术的两类核心基础思路

行业里较为常见的反幻觉基础方案,分两类,训练阶段调整推理阶段约束。 训练阶段调整,就是在训练大模型的时候,就给模型注入校正逻辑,比如调整损失函数,让模型对自己没把握的内容输出概率降低,或者加入更多高质量的校正训练样本。 不过话说回来,我们普通用户日常接触到的反幻觉,大多是推理阶段的方案。最常见的就是检索增强生成,也就是让AI生成内容前,先从指定的可信知识库找对应内容,再基于检索到的内容生成答案,不允许瞎编超出知识库的内容。 举个例子,企业内部的AI客服,只能回答员工手册里写的问题,不知道就说“这个问题我暂时没法解答,请联系HR”,这就是典型的基于反幻觉基础逻辑做的应用。
大模型检索增强反幻觉流程示意图
大模型检索增强反幻觉流程示意图

普通用户能用上的基础操作技巧

普通用户能用上的基础操作技巧
普通用户能用上的基础操作技巧
说实话,不用等技术团队优化,我们自己提问的时候就能用反幻觉的基础逻辑减少踩坑。 据一些用户反馈,只要在提问的时候加一句约束,就能降低不少幻觉概率。比如你要AI基于你给的材料写总结,就加上“只能使用我给的材料内容,没有提到的信息不要自己补充”。要是你不确定信息真假,就加上“不知道的内容请直接说不知道,不要杜撰”。 需要留意的是,不管用了什么反幻觉技术,涉及法律、金融、医疗这类严肃信息,都要自己再核验一遍。这个可能因人而异,不同场景对幻觉的容忍度也不一样,日常聊天其实无所谓,专业场景就得绷紧弦。 您在使用AI的时候,遇到过哪些离谱的幻觉问题?有没有试过用调整提问的方式减少AI胡说八道?欢迎结合具体场景继续探讨。
免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:反幻觉技术基础:帮大模型少胡说八道的核心逻辑
文章链接:https://m.ttrenwu.com/geo/247.html