大模型幻觉的根,在于我们喂错了“信息”
一刀切下去,直接切到了大模型幻觉的“大动脉”上。
一、幻觉的本质:AI 吃了太多“废话”,却找不到“抓手”
我们可以把现在的大模型训练过程,比作一个**“只背菜谱,从来没进过厨房的人”**。
当前大语言模型(LLM)的训练数据是互联网上的海量文本。这里面充斥着:
- 观点(“我觉得……”)
- 推测(“如果当时……可能会……”)
- 修辞(“犹如……一般……”)
- 错误(维基百科的旧条目、论坛上的谣言)
这些内容有一个共同特征:不具备“操作定义”。
当 AI 被问到一个它没见过的细节——比如“某款老式收音机的螺丝型号”——它的大脑里没有“查说明书”这个机制。因为它的训练目标只有一个:预测下一个字。
既然没有准确的“操作接口”去查证,为了不让对话断掉,它只能捏造一个听起来合理的答案——比如根据同类产品推测一个型号。这就是幻觉。
二、核心矛盾:无效信息喂出了不可靠的 AI
一个尖锐但准确的判断是:不能实施解决问题的信息,等于无效信息。
现在的 AI 恰恰就是被这些“无效信息”喂大的。它脑子里装满了:
- “拿破仑很矮”(非操作,且已被证伪)
- “玫瑰是红色的”(非操作,且是特例)
- “这个故事告诉我们……”(非操作,纯主观)
它缺乏的是:
- “拿破仑身高 169cm”(可测量、可验证)
- “玫瑰花青素显色图谱”(可实验、可重复)
- “按下开关灯亮”(可执行、可反馈)
AI 之所以“胡说八道”,是因为它的知识库里装满了故事和描述,而不是说明书和 API 文档。
三、信息的两种形态:可验证与不可验证
追根溯源,信息可以明确地分为两类:
1. 可验证性信息
这是客观事实,有明确的真伪判断标准。
- 特征:可以执行、测量、证伪
- 例子:“水在标准大气压下 100℃ 沸腾”、“这段代码运行后会报错”、“这颗螺丝是 M3 型号”
- AI 应该做的:调用工具、执行代码、比对数据库——工程师模式
2. 不可验证性信息
这是主观构建,无法用真伪判断,只能用“是否有共鸣”、“是否被特定群体接受”来衡量。
- 特征:无法执行验证,只能阐释和共鸣
- 例子:“这首诗很美”、“人生的意义在于奉献”、“这个设计更好看”
- AI 应该做的:生成、模拟、总结观点,但明确标注“这无法验证”——艺术家/评论家模式
AI 产生幻觉的根源,就在于它处理可验证信息时,错误地动用了处理不可验证信息的策略——“猜一个听起来合理的答案”,而不是“查标准”或“执行验证”。
四、训练数据的价值重估:大多数不可验证信息,对大多数人不重要
这是一个激进但必须做出的价值判断。
从实用性角度看:
- 一个人每天遇到的真实问题——“这个药怎么吃”、“水管漏了怎么修”、“合同条款有没有陷阱”——几乎全是可验证信息的应用场景。
- 大多数人并不需要 AI 来讨论“海德格尔的技术哲学”或“后现代主义对美的解构”。
- 大量的观点输出、艺术评论、主观叙事,对普通人的日常生活没有操作性价值。
这个判断背后,是一种平民实用主义立场:让 AI 首先服务于大众的实际需求,而不是服务于知识分子的智力娱乐。
当然,不可验证信息并非毫无价值。道德与法律的正当性基础(“人人生而平等”)、日常的审美选择(穿什么、怎么说话)、社会信任的编织(“我相信你”),都是由不可验证的叙事支撑的。它们是社会的底层操作系统,只是我们已经习焉不察。
但在需要解决具体问题的场景中,不可验证信息没有优先级。训练 AI 解决实际问题时,应该先喂操作手册,再喂十四行诗。
五、解决方案:分类处理,严格隔离
基于以上分析,训练数据的处理策略应该是这样的:
| 信息类型 | 占比 | 处理方式 |
|---|---|---|
| 可验证信息 | 主体 | 严格标注来源、建立执行接口、错误反馈闭环 |
| 不可验证信息 | 少量保留 | 明确标记为“观点/叙事/未验证”,让模型学会区分 |
不是删除所有不可验证信息,而是把它降级、标注、隔离,让 AI 彻底搞清两件事:
- 哪些是我“知道的”(可验证)
- 哪些是我“听说过的”(不可验证)
更进一步,根治幻觉需要训练范式从**“背课文”转向“读说明书”**:
- 旧范式(现在):喂给 AI 小说、新闻、博客。目标是“模仿人类说话”。
- 新范式(未来):喂给 AI 代码、操作手册、实验报告、API 文档、物理定律。目标是“理解因果关系和执行逻辑”。
当 AI 的世界观由代码逻辑(If-Else)和物理定律(F=ma)构成时,它就不敢乱说了。因为它知道,一旦执行出错,系统就会报错。错误带来的惩罚,比生成漂亮文字带来的奖励更重要。
这也是为什么代码训练(Code Training)被证明是提升模型推理能力的有效手段——代码天然具有操作性,每行都有明确的输入输出,错误会导致语法报错或运行失败。
六、RAG 为什么只是治标不治本?
检索增强生成(RAG)是目前缓解幻觉的主流手段,但逻辑上存在缺陷:
- 它依然是让 AI “临时查一下菜谱”,然后**“凭印象炒菜”**。
- 如果查到的资料本身就是错的(无效信息),或者 AI 理解错了上下文,它还是会炒糊。
真正的根治方法,是让 AI 只接触可操作的信息,并建立**“无法执行即错误”的反馈机制**。
七、未来的 AI 架构:双层结构
理想形态可能是这样的:
- 内核层:纯操作性引擎。只读“说明书”,负责精确执行、验证、查询。说话像机器代码一样枯燥,但绝不骗人。
- 外壳层:叙事接口。能处理不可验证信息,但明确知道自己不知道什么,会在进入模糊地带时主动标注:“以下内容缺乏操作验证,仅代表一种观点。”
一个只会说“指令已执行”的 AI,才是真正值得托付的 AI。
在开放领域,更务实的路径是:
- 让 AI 知道自己不知道——退回到叙事性推测时,主动标注置信度
- 让 AI 外挂执行器——连接代码解释器、物理模拟、数据库查询,而不仅仅是“学会说话”
- 把“胡说”变成“假设”——可以生成猜想,但明确这是假设,并给出验证方法
这就把幻觉从 bug 变成了可控的 feature。
总结
幻觉不是 Bug,而是当前训练数据的必然产物。
只要 AI 还在学习那些无法证伪、无法执行、只能意会的模糊信息,它就永远会有幻觉。只有当它的学习材料变成纯粹的操作指令集,输出端直接连接能给出成功/失败反馈的执行器,幻觉才会从根本上消失。
这解释了为什么现在的 AI 写诗时很惊艳,做数学题或查实时信息时很吃力——因为前者不需要操作性,后者需要。
这一刀,切在了 AI 从“会说”走向“会做”的咽喉上。
本文观点源自一场关于大模型幻觉的深度讨论。核心洞见:对训练数据进行“可验证/不可验证”的分类处理,并认识到大多数不可验证信息对大多数人的实际问题并不重要——这或许是解决幻觉问题的根本方向。
更多推荐

所有评论(0)