智能体记忆污染：一次错误工具响应如何毒害整个会话
你的智能体正确完成了一项多步研究任务的 80%，然后自信地给出了一个完全错误的结论。你翻查日志，在第三步找到了罪魁祸首：一次工具调用返回了过时数据，智能体将其作为事实整合，之后的每个推理步骤都建立在这个被毒化的前提之上。到会话结束时，智能体对一切都是正确的——除了最关键的那件事。
这就是智能体记忆污染——它是生产智能体系统中最隐蔽的可靠性故障之一。与崩溃或超时不同，它产生的是自信的错误答案。可观测工具记录的是一次成功运行，用户带着错误信息离开。
LLM 智能体如何积累和信任工作记忆
LLM 智能体通过上下文窗口维护状态。每次工具响应、每次观察、每个中间结论都会被追加到一个不断增长的对话缓冲区中。这个缓冲区是智能体的工作记忆，它有一个让污染变得危险的关键特性：其中的一切都带有隐式信任。
当语言模型处理上下文窗口时，它不会使用显式的可信度评分来权衡最近的工具输出与更早的输出。它将整个上下文视为下一步推理的证据。第三轮中写着"用户账户余额：$47,200"的工具输出，会影响智能体如何解读此后整个会话中的每一个财务查询——而模型并没有主动选择信任它。
对智能体失败模式的研究证实了这一规律。一项针对 40 个开源智能体仓库中 13,602 个生产问题的系统分析发现，"感知、上下文与记忆"故障占了 72 种独特的失败类型，仅次于运行时错误。共同主线是：正确执行了工具调用，但却将结果错误整合进信念状态，产生悄然级联的下游错误。
污染传播有三个方向。它在会话内纵向传播，随着智能体基于错误前提不断叠加；在多智能体系统中横向传播，当智能体共享记忆存储时；以及持久化传播，当会话记忆被写入长期存储并在未来会话中被检索时。
被毒化会话的解剖
想象一个被要求生成季度摘要的金融智能体。在第三步，它查询了一个汇率 API，返回了一个缓存的、一天前的汇率。智能体没有任何信号表明这个汇率是过时的——响应格式完好，HTTP 状态是 200，数值也在合理范围内。它存储了该汇率，对后续多项数字进行了换算，并围绕结果构建了叙述。
到第十二步时，智能体正在基于复合错误生成图表和建 议。每一步在局部看起来都是合理的；失败发生在边界处被接受的内容上。
这是经验跟随属性的反向运作。LLM 智能体记忆管理的实证研究表明，当有缺陷的观察被存储并重复使用时，智能体会像对待基本事实一样重放这些不对齐的经验。智能体不只是使用一次错误数据——它会不断将其作为佐证重新提取。
有三种失败模式值得区分：
事实过时：工具数据曾经正确，但现在已过期。没有外部时间戳或显式 TTL 元数据，智能体无法检测到这一点。
Schema 误解：工具返回了一个名为 balance 的字段，含义是可用信用额度而非总余额。智能体按 JSON 正确读取，但按领域语义错误推理。
对抗注入：工具响应在合法内容中嵌入了隐藏指令。模型将该指令作为上下文的一部分处理，以运营者未预期的方式更新其行为。
第三个向量受到了越来越多的审视。对间接提示注入的研究表明，智能体获取的内容——网页、文档、API 响应——可以携带嵌入式指令，在会话中途重定向智能体的行为。调用工具检索用户文档的操作，变成了注入指令的向量，智能体将在此后整个对话中遵循这些指令。
经验数据表明，这些复合错误带来的可靠性下降是显著的。长时程智能体任务的成功率从短任务的 76.3% 降至长任务的 52.1%——24 个百分点的下降呈非线性加速。污染是主要驱动因素：一旦错误信念进入上下文，后续步骤具有正向错误相关性，而非独立的失败率。
大多数团队跳过的验证层
应对工具输出不良的标准做法是改进工具文档。这在设计阶段有帮助，但在推理阶段毫无作用——那时工具已经返回了意外值。真正限制污染的是工具输出验证层，它在结果进入智能体上下文之前运行。
这个层的最小可行版本有三个组件：
Schema 强制：每个工具响应在智能体看到之前都应该根据声明的 JSON Schema 进行验证。这能捕获格式错误的输出、意外的 null、缺少的必填字段以及超出预期范围的值。它无法捕获语义上错误但结构上有效的数据，但能消除大量意外错误。
来源元数据标记：在每个工具结果进入上下文之前附加溯源信息——哪个工具返回的、何时返回的、HTTP 状态是什么，以及数据是否带有显式到期时间。一个良好构造的上下文不仅包含结果，还包含一个简短的头部，智能体在形成结论时可以查询。被赋予显式新鲜度信号的智能体，比获得原始输出的智能体做出明显更好的校准决策。
合理性边界检查：对于数字和分类输出，在工具注册时定义可接受的范围。一个在一小时内移动 40% 的汇率应该触发标记。自上次检查以来变为负数的账户余额值得在智能体继续之前重新查询。这些边界不需要很紧——它们只需要捕获那些不合理到值得二次审视的值。
这不是复杂的工程。这是传统软件中每个 API 边界都执行的相同输入验证。在智能体系统中，这种规范会崩溃，因为工具输出一旦进入智能体上下文，就感觉像是内部数据——但它们不是。它们是具有外部调用所有可靠性特征的边界输入。
会话范围的事实检查：实 时检测矛盾
在摄入时验证能捕获结构上有问题的输出。一个独立的问题是检测智能体累积的信念状态何时变得内部不一致——一个工具结果何时与会话早期的另一个相矛盾。
最实用的方法是一致性监控器，它在每 N 次工具调用后运行，扫描工作记忆中的逻辑矛盾。这不需要复杂的推理引擎。向辅助模型发送一个定向提示，检查"根据你到目前为止建立的内容，这个新观察是否与任何先前结论相矛盾？"，每个检查点大约增加一次 LLM 调用，在污染事件复合之前捕获有意义的比例。
对于数字数据，维护一个简单的运行状态表，记录关键变量——账户、余额、用户 ID、时间戳——并验证新值不违反连续性约束，能捕获另一类模型本身可能不会标记的错误。构建时间线的智能体不应该接受一个发生在已建立先决条件之前的事件。
多智能体事实核查架构走得更远，使用专门的推理智能体，其唯一职责是评估累积声明的逻辑和因果一致性。开销与会话长度和关键性成正比——一个单次查询智能体不需要这个；一个构建在累积研究之上的多天规划智能体需要。
控制爆炸半径：重置与剪枝
即使有了验证和一致性检查，一些被污染的会话仍会漏网。纵深防御的问题是：当检 测到污染时，如何在不丢失整个会话的情况下恢复？
来自 SagaLLM 等基于事务的方法的关键洞见是，智能体会话可以支持补偿操作——撤销或隔离错误观察影响的步骤，而无需完全重启。这要求智能体的状态转换以足够细粒度的方式记录，以识别错误数据在何处进入以及哪些结论依赖于它。
具体来说：每次工具调用获得一个唯一标识符，每个后续引用该工具调用的信念被标记上依赖关系，当污染被确认时，智能体可以剪枝不仅是错误结果，还有所有从它派生的信念。这比在大多数会话中听起来更激进——第三步的事实错误通常只传播到后续推理链的一个子集。会话的其余部分可以保留。
对于剪枝不切实际的情况，定期上下文检查点是有效的后备方案。智能体不是允许会话积累无限制的工作记忆，而是定期将已验证的结论总结成压缩快照，并从该快照重新开始。这不能消除污染——进入检查点的错误结果会持续存在——但它防止了无限期复合，并减少了长时运行会话的攻击面。
观察掩蔽已成为摘要的一个出人意料的有效补充。智能体不是在持续上下文中包含完整的工具输出，而是在结构化的观察头部上运行，完整输出可用但没有被推入主上下文窗口。这在实践中将记忆成本降低了 50% 以上，并限制了单个错误输出能与后续推理交织的深度。
这对系统设计意味着什么
操作含义是：工具输出应该被视为与用户输入同等不信任的对象。这不是大多数构建智能体系统的团队的默认心智模型，在那里工具是内部的，数据源是受控的。
但"内部"不意味着"正确"。内部 API 返回缓存数据，遭遇竞争条件，以产生合理但错误响应的方式部分失败。当工具被人类使用时，人类的领域知识提供了交叉检查。当同一工具被智能体使用时，除非你将其工程化进去，否则这个交叉检查是缺失的。
最重要的架构决策：
- 每个工具都应该声明其输出 Schema，智能体运行时应该在结果进入上下文之前对其进行验证。
- 工具响应应该携带显式的新鲜度元数据，智能体的上下文应该在智能体推理时间敏感结论时呈现该元数据。
- 超过阈值长度的会话应该触发强制上下文剪枝或检查点，剪枝逻辑应该了解观察之间的依赖关系。
- 高风险输出应该要求显式的重新验证——第二次工具调用或与不同来源的交叉检查——在智能体基于涉及不可逆操作的结论行动之前。
这些都不新颖。它们是已经规范微服务处理外部数据方式的防御工程实践。新颖之处在于将它们应用于上下文窗口作为信任边界，而不仅仅是智能体最终交付的输出。
一个验证其工具输出、监控其累积信念的一致性、并有针对被污染状态的剪枝策略的智能体，在质量上比把上下文视为基本事实的智能体更可靠。短任务和长任务之间 24 个百分点的可靠性差距并非不可避免——它在很大程度上是在第一次工具调用运行之前做出的架构选择的产物。
