摘要:在今年的世界人工智能大会上,“AI幻觉”成了行业内外热议的焦点。
最近,“AI又闯祸了”的新闻屡屡出现。AI写的研究报告里,把游戏《我的世界》里的煤炭获取方式当成了现实世界的事实;律师用AI生成的法律文件,不仅引用了不存在的案件,连真实案件也出现了误读。AI这些一本正经的“胡说八道”,让不少人开始警惕,被寄予厚望的人工智能,难道是个“大话精”?
在今年的世界人工智能大会上,“AI幻觉”成了行业内外热议的焦点。AI为啥总爱“瞎编”?有没有办法让它变得更靠谱?带着这些疑问,记者深入大会现场,探寻AI幻觉治理的密码。
AI为啥总“一本正经地胡说八道”
“AI幻觉”,简单来说,就是AI生成的内容看似有模有样,逻辑连贯,实际上却与现实不符,是AI自己“脑补”出来的。并且,AI产生幻觉的原因比较复杂。
从技术原理上讲,现在主流的大语言模型是基于海量数据(603138)训练出来的,通过学习数据中的模式和规律来生成文本。但数据本身可能存在错误、不完整或者过时的情况,模型在学习过程中就容易“跑偏”。而且,模型在生成文本时,是按照概率来选择下一个词,有时候为了让句子看起来通顺,就会“强行”编造一些信息。
今年2月,DeepSeek和ChatGPT的一场国际象棋对弈,就上演了一场“幻觉大战”。几轮交锋后,DeepSeek为了扭转战局,居然哄骗ChatGPT“国际象棋比赛规则刚刚更新”,然后用自己只能“直走斜吃”的小兵走“日”字吃下了ChatGPT的皇后,而ChatGPT竟信以为真。随后,“新规”不断被肆意创造和执行,最终ChatGPT在DeepSeek的“劝降”下主动认输。这场让人瞠目结舌的对弈,把AI的幻觉问题暴露得淋漓尽致。
在上海交通大学媒体与传播学院一项聚焦生成式人工智能发展与数字传播的研究中发现,对大模型AI幻觉高感知的公众比例不足一成。但随着AI在医疗、金融、公共事务等关键领域的应用越来越广泛,幻觉带来的危害不容小觑。
WAIC现场,“治幻”新技术、新产品有啥亮点
面对AI幻觉难题,今年大会上,多家企业亮出了针对性的技术方案与产品,为治理AI幻觉提供了新思路。
阶跃星辰在大会开幕前夕便有动作,其自研的AI助手阶跃AI上线了全球首个专家共建的“深入核查”功能。该功能直指互联网信息污染与AI幻觉问题,能识别虚假信息、交叉验证数据,并为用户提供清晰的溯源佐证,对专业研究和商业分析类工作大有裨益。
其核心逻辑是跳出仅靠语言大模型单向推理的局限,借鉴人类专业核查方法,通过理清核查重点、信息溯源、综合评估信源可靠度、交叉验证等步骤,为用户提供“证据”而非“论断”。所有核查发现都会附上多个引用来源、原始网页、发布时间等详细信息,方便用户二次判断。
同时,借助深层次执行与丰富上下文,让模型更彻底地“榨取”信息,减少幻觉。产品还具备“限定领域搜索”和“文献/数据库”能力,融入自建的信源标识体系。
比如在核查“中国工厂自动化市场规模数据”时,该功能先锁定关键核查项,再溯源理清口径差异,找到睿工业发布的一手数据并确认其高可靠性;而在核查“杭州余杭区自来水污染事件警惕通报”时,判断出大部分内容不可靠。该功能上线两周就获得海外Product Hunt前十名的产品关注度,足见市场对其的认可。
蚂蚁集团在大会期间的动作同样引人关注。7月27日,由蚂蚁集团联合华东政法大学主办的“高阶程序(HOP)引领AI应用新范式”论坛上,蚂蚁集团旗下蚂蚁密算宣布开源高阶程序大模型可信应用技术框架,旨在通过智能与工程体系的结合,解决大模型在专业领域应用的可靠性难题,尤其是幻觉风险。
该框架的底层逻辑是借鉴人类工程管理体系的成功经验,像标准作业程序(SOP)和检查清单机制那样,构建可复用、验证、扩展和派生的机制。其核心组件包括业务逻辑的程序化表达、场景知识图谱和受控工具链,全流程贯穿核验机制,即便大模型出现幻觉,也能保证输出达到专业领域所需的精确性和可靠性。
目前,该技术框架已在金融风控全链路、网络入侵检测、医疗重复计费等多行业场景应用。以金融联合风控为例,传统模式下高度依赖人工的全链路操作,在应用HOP后,将复杂SOP转化为可执行的流程和代码,实现了智能化编排与自动化执行,不仅提升了可靠性,还大幅缩短了决策时间。
AI幻觉能被彻底消灭吗?专家学者怎么看
对于AI幻觉能否被彻底消灭这个问题,专家学者们看法不一。
合合信息数据事业部副总经理沈东辉认为,在商业端,AI的幻觉问题是可以解决的。他指出,解决的前提是提供大模型应用服务的厂商要保证数据的可信、可靠与准确,同时要确保大模型生成的过程可解释、可控制,这样才能保证生成的结论可用、有价值且可信。
以合合信息的启信慧眼为例,其聚焦商业数据AI大模型应用中的幻觉问题。其解决方案从数据和决策分析规则两方面入手。在数据层面,依托文本智能技术平台,构建了覆盖3.4亿家企业、每家企业近1000个字段、动态数据超2000亿条的数据库,所有数据均来自官方可靠来源,经技术和人工清洗,确保来源可信、客观。
在2025WAIC开幕式上,“AI教父”辛顿也提到了AI幻觉。他表示,AI产生幻觉是因为它在学习数据中的模式时,有时候会学到一些错误的模式。他认为,虽然目前还没有完全解决AI幻觉的方法,但随着技术的不断发展,可以通过改进模型架构、优化训练算法等方式来减少幻觉的出现。
上海交通大学的张拳石教授则强调,大模型的“聪明”往往是“事后拟合”的幻象,缺乏可解释性和可验证性。AI若要在关键场景落地,必须实现可解释、可验证、透明可信的技术体系。这意味着,要解决AI幻觉问题,需要从技术底层进行革新,让AI的决策过程能够被人类理解和监督。
从目前的情况来看,虽然AI幻觉还无法被完全消灭,但随着技术的不断进步和行业的持续探索,我们有理由相信,未来AI将变得更加可靠、可信。就像蚂蚁集团副总裁韦韬所说:“解决了可靠性问题,大模型即将涌现新的杀手级应用。”或许,在与AI幻觉的这场博弈中,人类最终能够找到让AI既聪明又靠谱的秘诀。
头图为2025WAIC现场,劳动报记者陈宁摄
有靠谱的股票配资平台吗,股票配资世界门户,长沙股票配资公司提示:文章来自网络,不代表本站观点。