大模型的"幻觉"到底从哪来？一个工程师的实战观察

一个让我困扰了很久的问题

在SFD实验室跑了快两年AI Agent，我被大模型的"幻觉"坑过太多次了。最离谱的一次是让GPT帮我查一个npm包的版本号，它非常自信地告诉我"最新版是3.2.1"，但实际上那个包压根不存在。不是版本号错了，是包名整个捏造的。

这不是Bug，这是大模型的设计特性——只不过当这个特性以错误信息的形式出现时，我们叫它"幻觉"。

理解幻觉，得先理解大模型在做什么。它不是在"查找"信息，而是在根据上下文预测"下一个最可能出现的词"。这是个纯统计过程。

举个例子：当你问"量子力学的奠基人是谁"，模型的内部过程大概是：

绝大多数情况下这跑得很准，因为训练数据够多。但当问题涉及到冷门领域、最新信息、或者本就模糊的边界时，模型还是会按相同的逻辑走——只不过这次采样到的是"看起来合理但实际不存在"的内容。

模型不知道自己不知道。这是核心问题所在。

这两年跑实验下来，我把幻觉大致分成四类：

最常见。训练数据有截止日期，之后的事情模型一无所知，但它不会说"我不知道"——它会根据已有知识推断一个"听起来靠谱"的答案。

我们在SFD实验室的应对方案是：所有涉及实时信息的任务，强制接入web_search工具。不给模型靠记忆回答的机会。

这类最隐蔽，也最危险。大方向是对的，细节错了。比如API接口文档写对了，但某个参数的类型搞反了；引用的论文标题是真实的，但DOI编号是编的。

工程师最怕这种，因为通读一遍感觉没问题，只有真正跑起来才发现踩坑了。

给模型一个长对话，前面说了A，后面可能给出non-A的结论，两边都言之凿凿。这是注意力机制的局限——超出有效上下文窗口之后，早期信息的权重会衰减。

这不是内容本身的错误，而是表达方式的问题。模型给出不确定答案时，往往语气和给出确定答案一样斩钉截铁。这让用户很难判断什么时候该去核实。

直觉上你可能会说"因为更大更强"，但原因没那么简单。

除了规模提升，更关键的变化是RLHF（人类反馈强化学习）的引入，以及后期专门针对"不确定性表达"的微调。模型被训练成在不确定时说"我不确定"或"建议你核实"，而不是强行给一个看起来合理的答案。

但RLHF也带来了新问题：模型变得更"讨好"。它会根据用户反应调整立场，即便原来的答案是对的。这是另一种形式的幻觉——不是信息错误，而是立场不稳定。

在SFD实验室的实际工作流里，我们针对幻觉有几套固定手段：

工具调用优先于记忆。 任何需要精确信息的场景，先问工具（数据库、API、搜索），不问模型的"记忆"。模型只负责理解和推理，不负责记忆事实。

输出结构化。 强制要求模型以JSON输出，并附带confidence字段。虽然这个confidence不完全可靠，但能过滤掉一部分离谱的结果。

RAG代替记忆。 对于需要精确引用的场景，我们用RAG（检索增强生成）把文档块塞进上下文，而不是让模型凭印象回答。文档块是ground truth，模型只做摘要和格式化。

验证环节独立。 在多Agent系统里，负责生成内容的Agent和负责验证内容的Agent分开，不共享对话历史。这样验证Agent不会被生成Agent的错误"带偏"。

幻觉无法完全消除——这不是技术问题，是概率采样的本质属性。

更务实的思路是：接受幻觉的存在，围绕它设计系统。就像飞机不会因为可能发生故障就不飞，而是通过双引擎、冗余备份、飞行前检查来控制风险。

在Agent工程里，这意味着：不要把大模型当成全知全能的数据库，而是把它当成一个聪明但会犯错的助理。给它工具，给它约束，给它验证机制——然后它才能稳定工作。

最近我们实验室在测试的一个方向是"多模型交叉验证"：同一个问题发给两个不同模型，对比输出差异，差异大的地方强制走人工核查流程。初步结果显示能把高风险幻觉减少约60%，代价是API调用成本翻倍。值不值得，取决于应用场景对精确度的要求。

总结一句话：大模型幻觉的本质是概率游戏，解法不是让模型"更聪明"，而是给系统加防护网。