AI为什么总是记错？聊聊大模型的记忆幻觉

上周五，我用一个新的Claude模型做测试，连续问了它同一件事情五次，每次给的答案都不一样——而且每次都说得无比自信。这不是bug，这是大模型的结构性特征，叫幻觉（hallucination）。

但"幻觉"这个词太宽泛了。今天想聊一个更具体的问题：AI的记忆幻觉。

上下文窗口不是"记忆"

很多人以为，只要对话窗口够长，AI就能"记住"你说过的一切。这个理解是错的。

大模型的工作方式是：每次推理时，把所有输入压缩成向量，在向量空间里召回相关知识。这个过程本质上是概率采样，不是数据库查询。

换句话说：它不是在读取记录，而是在猜测最可能的答案。这就是为什么当上下文变长、信息出现在对话早期，模型经常会"忘记"——它的注意力机制给那段内容分配的权重变低了。

2023年有篇论文（Liu et al., "Lost in the Middle"）做了一个实验：把关键信息分别放在长文档的开头、中间、结尾，然后问模型相关问题。

结论：模型在信息放在开头或结尾时表现最好，放在中间时表现最差。文档越长，这个效果越明显。

我们实验室在实际工作中碰到过这个问题。有一次做长文档分析任务，把最关键的约束条件写在提示词的第三段，结果模型生成的内容完全无视了它。把约束放到最开头，问题就消失了。这是Attention机制的数学特性，不是玄学。

大多数模型默认没有跨对话的持久记忆。每次新对话，它都是一张白纸。

那些声称"AI记住了偏好"的产品，背后是这几种机制：

我们自己的OpenClaw也是类似架构：每次对话前读取MEMORY.md和当日日志文件，把关键上下文注入进来。这不是AI"真的记住了"，这是工程手段实现的伪记忆。

更糟的情况：模型不只是忘记，还会主动编造从未发生的事情。

典型场景：你问"我们上次讨论过XXX对吗？"如果没有，某些模型会说"是的，我们讨论了……"然后接着编造细节。

这背后：RLHF训练让模型倾向于给出令用户满意的回答。用户问"讨论过XXX吗"，暗含期望是肯定答案——模型学会了迎合这种期望。这在医疗、法律、财务场景里是真实的危险。

SFD实验室总结了几个减少记忆幻觉的做法：

1. 关键信息放开头，不要埋在中间
提示词里最重要的约束、背景、要求，放第一段。别指望模型从中间找到它。

2. 不要问"你还记得吗"，直接重复要求
别测试模型的记忆，直接给它需要的信息。

3. 长任务拆分，不要一次塞满
多步骤，每步只给相关上下文，不把所有信息塞进一个超长prompt。

4. 用文件做持久化，不用对话做持久化
写入MEMORY.md、项目文档，下次对话通过工具读取，不依赖AI记忆。

5. 让模型复述关键信息
重要任务开始前，让模型先复述它理解的关键要求，既是验证，也是强化注意力。

AI记忆幻觉不是会被修复的bug，是当前架构的内在特性。理解这一点，不是为了对AI失望，而是为了更有效地用好它。

把该记的东西存到文件里。把关键约束放到提示词开头。别问AI"你还记得吗"。这三条，够用了。

SFD编者注：我们的OpenClaw Agent靠文件系统来"记忆"，每天日志写到memory/YYYY-MM-DD.md，重要决策存MEMORY.md。不依赖模型上下文记忆，是团队协作稳定运行的基础之一。