当 Agent 出错时谁会被呼叫：针对非确定性系统的轮值制度

真正能捕捉 Agent 故障的告警​

从服务监控继承来的 CPU、内存和延迟告警在大多数 Agent 事故中仍会保持绿灯。Agent 没有宕机。它在线、运行快速、返回 HTTP 200 —— 但结果是错的。最危险的故障模式是“静默成功”：尽管所有基础设施指标看起来都很健康，但 Agent 的推理逻辑出现了偏差，或者对工具调用产生了幻觉。

捕捉这些故障需要一套不同的告警词汇，旨在针对 Agent 的行为特征而非进程健康状况：

• 输出分布偏移 (Output-distribution drift)。响应的统计特征——长度、结构、嵌入向量中心点 (embedding centroid)、工具调用组合——偏离了历史基准。这是某些东西发生改变的最早信号，通常出现在质量评分波动之前，而且往往是上游模型更新留下的“指纹”。
• 拒绝率激增 (Refusal-rate spikes)。Agent 开始拒绝处理它以前能够处理的请求。拒绝率的跳升通常意味着模型提供商重新校准了安全层，由于在所有传统指标下拒绝都是一种“成功”的响应，这会导致产品质量悄无声息地下降。
• 工具错误率 (Tool-error ratios)。工具调用失败、超时或返回格式错误参数的比例。该比例上升意味着 Agent 正在误用工具或工具本身表现异常，这与下游的糟糕结果高度相关。
• 循环与放弃特征 (Loop and abandonment signatures)。Agent 反复调用同一个工具且没有进展，或者在执行中途放弃了原始用户目标。这两种情况都可以通过 Trace 结构检测到，但对于请求级指标来说是不可见的。

更深层的转变是，当相同的输入可以合理地产生不同的执行路径时，静态阈值告警就失效了。你无法针对“走过这条确切路径”设置告警。你告警的对象应该是聚合指标和分布情况，以及越来越多地直接附加在 Trace 上的评估信号——例如任务成功得分、一致性检查 (grounding checks) 以及在部分线上流量上运行的安全评估。监控的问题从“系统是否有响应”变成了“系统的行为是否仍与上周一致”。

页面另一端的人​

让我们暂时放下工具，关注一下人。On-call 一直很有压力，但它基于一个契约：工程师原则上可以理解故障。他们可以阅读代码、追踪路径，并在大脑中构建整个系统的模型。

Agent 事故打破了这个契约。工程师被叫起来处理一个系统，而其核心组件——模型——是一个黑盒，他们无法单步调试，无法完全解释，也不是他们编写的。故障可能是不可复现的。修复方法可能是“调整提示词并希望评估结果有所改善”。根因可能是他们永远无法得到证实的模型提供商的变动。这是一种截然不同的 On-call 体验，如果假装这只是换了新仪表盘的同样工作，会让团队精疲力竭。

有两件事会有所帮助。首先，诚实地设定预期：Agent On-call 的目标是遏制和捕捉，而不总是要在事故期间找到根因并修复。止血并保存足够的执行状态以便后续调查，就是一个完整且成功的响应。其次，让事故后的路径变得真实。因为修复通常存在于评估集或提示词中，所以每次事故都应该产生一个具体的产出物——一个新的评估案例，或者一个更严格的护栏——这样工程师的工作就是不断累积的，而不是付诸东流。一个以“无法复现，关闭”结尾的事故不会让团队学到任何东西，只会让响应者感到沮丧。

Agent 的可观测性不是更多的仪表盘​

面对 Agent 事故，本能的反应是增加仪表盘。更多的图表、更多的指标、更多的面板。这种直觉是错误的，而且错得很有启发性。

仪表盘告诉你发生了什么事。它不会告诉你那个关键请求中到底发生了 什么。对于一个非确定性系统，不可替代的能力不是可视化——而是捕捉。你需要在故障发生时记录足够的状态，让一个只发生过一次、且可能永远不会以同样方式再次发生的 bug，在事后变得可复现。完整的上下文、工具 I/O、模型版本、中间推理过程：正是这些信息的集合，将 Agent 事故从一个无解的谜团变成了一个可以“慢动作”回放的普通调试过程。

因此，架构上的指令是狭窄而具体的。在构建仪表盘之前，先构建运行级的追踪 (tracing)。将评估信号附加到 Trace 上，以便将“坏”的运行与“好”的运行进行逐步对比。在每次调用中记录模型版本，以便让模型提供商的退化变得可见而非凭空推测。在发生第一个不可逆的错误之前，而不是在事故期间，确定你的动作可逆性分类体系。

能够很好地运行 Agent 的团队，并不是那些拥有最多监控器的团队。而是那些内化了这样一个事实的团队：只有当你没有记录它时，不可复现的故障才是无解的——并围绕这一事实重建了他们的操作手册、告警和 On-call 预期。告警电话依然会响起。不同之处在于，拿起电话的工程师手里拿着的是飞行记录仪，而不是在和一台老虎机争论。