智能体记忆漂移:为什么一致性对齐是你缺失的关键环
你长期运行的智能体(agent)所做的最危险的事情,也是它做得最自信的事情:根据记忆回答。客户的地址在上周二更改了。智能体认为“开启”的工单在昨天被人工关闭了。智能体拥有整洁解释笔记的产品功能,其实际交付的形式与智能体三周前阅读的规范不同。在教科书定义上,这些都不属于幻觉——模型准确地召回了它存储的内容。只是在智能体看向别处时,世界已经发生了变化。
大多数团队将记忆视为一个写入问题:智能体应该记住什么、我们如何总结、嵌入(embedding)策略是什么、如何防止存储爆炸。这种思维方式产生的架构会随着错误程度的增加而变得更加自信。更难的问题——那个决定你的智能体在第三周后是否仍然有用的问题——是对账(reconciliation):这是一个明确的、持续的闭环,用于比较智能体认为真实的情况与底层系统当前显示的真实情况。
如果你曾经交付过基于数据库的缓存,你已经知道这种模式。没有失效机制(invalidation)的缓存就是地雷。没有对账的记忆也是同样的地雷,只 不过你的智能体还会用流畅的散文来描述这场爆炸。
你无法防止、只能检测的漂移
漂移不是一个 bug。它是任何运行窗口超过其所知实体平均变更时间的智能体的一种热力学属性。从智能体写下一个事实的那一刻起——“用户偏好异步站会”、“该账户处于专业版计划”、“部署管道在合并前运行测试”——那个事实是正确的。从那一刻起,每过一分钟而不重新检查,它变错的可能性就会累积一分钟。
这就是为什么“让智能体记住更多”很少是长期系统的正确下一步投资。更多的记忆意味着更多的漂移暴露面。Tuesday Towards Data Science 对构建生产级记忆系统的从业者进行的一项调查发现,反复出现的教训是:今天有用的记忆明天就会过时,唯一的持久策略是针对重新验证(re-validation)而非保留(retention)进行设计。
正确的思想模型不是充斥在智能体文献中的人类记忆比喻。它是一个落后于主库的数据库副本。副本不会对其存储的内容撒谎;它们会准确地告诉你它们上次复制的内容。纪律并不在于让副本变得更聪明,而在于精确地知道它有多陈旧、它追赶到了哪个水位线(watermark),以及如何处理那些需要比现有数据更清新的读取请求。
