反幻觉技术基础:搞懂AI不胡说的核心逻辑

现在大家用AI提问,最怕遇到AI一本正经地胡说八道,反幻觉技术就是用来解决这个麻烦的。

反幻觉技术到底解决什么问题

直白点说,“幻觉”就是AI输出了不存在的事实、不符合逻辑的内容,甚至是完全编造的信息。 反幻觉技术的基础目标,就是降低这种胡说的概率,帮AI输出更靠谱的内容。 比如你让AI找某地方出版社2023年出的一本小众行业书,AI没接触过这本,直接编个作者编个目录出来,真要照着找根本找不到。 这就是典型的幻觉。
大语言模型AI幻觉输出示例图
大语言模型AI幻觉输出示例图

目前主流的反幻觉技术基础路径

说实话现在没有能彻底解决幻觉的方案,行业内都是从两个基础方向做优化。 第一个方向是训练阶段做事实对齐,就是给模型喂训练数据的时候,把提前整理好的可信事实库做对齐,让模型学到哪些是已经验证的内容,哪些不能随意编造。 第二个方向是生成阶段做检索校验,就是AI准备输出内容前,先去外部的可信知识库检索匹配,内容对得上再输出,对不上就直接提示找不到相关信息。 从实操角度看,现在企业服务场景用得比较多的是第二个方向,改造成本低,见效也比较明显。
检索增强生成反幻觉基础流程图
检索增强生成反幻觉基础流程图

接触反幻觉技术要留意的常见误区

接触反幻觉技术要留意的常见误区
接触反幻觉技术要留意的常见误区
很多人以为反幻觉就是要让AI完全不出错,其实不对。 反幻觉本质是降低胡说的概率,不是完全消灭幻觉。 据一些用户反馈,很多人调整反幻觉参数的时候,容易调过劲,原来AI什么都敢说,变成什么都不敢说,问啥都答“我不清楚”,这就是典型的过约束误区。 这个可能因场景而异,写创意文案可以接受一点点发散,做医疗、法律类的问答,就必须严卡事实边界,调整的尺度完全不一样。 您在实际使用AI的过程中,还遇过哪些离谱的AI幻觉?欢迎结合具体场景一起探讨。
免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:反幻觉技术基础:搞懂AI不胡说的核心逻辑
文章链接:https://m.ttrenwu.com/geo/799.html