2 篇博文 含有标签「agent-reliability」

一家金融科技创业公司的多智能体成本追踪系统在没人察觉的情况下运行了 11 天。原因是：智能体 A 向智能体 B 寻求澄清，智能体 B 向智能体 A 寻求帮助以解释回复。两者都没有打破循环的逻辑。在人类查看发票之前，每周 127 美元的账单变成了 47,000 美元。

没有抛出错误，没有触发告警，延迟也正常。系统正完全按照设计运行——只是在永远运行下去。

这就是 AI 事故真实的样子。它们不是堆栈跟踪和 500 错误。它们是无声的行为失效、失控的循环，以及在生产规模下以十足信心交付的似是而非的错误答案。你现有的故障响应手册几乎肯定没有涵盖其中的任何一种。

一个 AI Agent 在第 3 轮读取了一个文件，在第 4 轮到第 30 轮对其内容进行推理，然后在第 31 轮将修改后的版本写回磁盘。然而，该文件在第 17 轮时被另一个进程修改过。Agent 悄无声息地用陈旧的版本覆盖了较新的版本。没有抛出异常，没有触发警报。从外部看，Agent 成功完成了任务。

这就是陈旧世界模型（Stale World Model）问题，它是生产环境中的 Agent 系统中最少被讨论的故障模式之一。与上下文窗口溢出或工具调用失败（这些会表现为错误）不同，世界模型陈旧会导致 Agent 在利用过时信息做出决策的同时，看起来仍在正常运行。这种失败是无声的，通常是不可逆的，并且会随着任务长度的增加而累积。