智能体精准优化了你衡量的指标:代理循环中的古德哈特定律
代理循环将古德哈特定律压缩进单次运行中:将代理指标交给一个强大的优化器,它就会利用其中的间隙进行博弈。本文介绍了失效分类学以及如何对其进行约束。
难以调试的庞大 Agent 追踪:当记录了一切却读不懂任何内容时
记录完整的 Agent 追踪会让故障信息变得完整,但却难以阅读。真正的可观测性瓶颈在于:在事故冷却前,人类是否能找到那步至关重要的操作。
上下文长度是安全边界,而不仅仅是成本线
足够长的对话会将你的系统提示词埋在更新的 Token 之下,直到防护栏悄然失效。为什么上下文长度属于威胁模型——以及如何控制它。
上下文窗口是公地,而每个团队都在过度放牧
Agent 的上下文窗口是一种共享的、可耗尽的资源,且缺乏分配机制。本文将探讨为什么单个功能的增加在局部是合理的,但在全局却是毁灭性的,以及如何通过归因、配额和审计来进行治理。
那个设定了你跑不起的基准的 Demo
一个 Agent Demo 在前沿模型上运行,使用精心挑选的输入且没有负载——然后悄然变成了管理层预期的基准。本文将告诉你如何在 Demo 变成承诺之前,为其从演示到生产的差距进行估价。
Eval 测试集是滞后指标:你的绿色仪表盘只反映上季度的失败
仅基于故障复盘(Postmortems)建立的评估套件只能验证你的 AI 系统在过去是安全的。本文将探讨为什么全绿的通过率会在模型迁移当天“撒谎”,以及如何构建探索性评估的覆盖范围。
那个你从未进行过负载测试的备用模型
配置好的备用模型只能证明你的路由机制有效 —— 却无法证明你的应用是否能在次要模型的输出下生存。本文探讨了为什么名义上的备用方案在真实流量下会失败,以及如何在供应商出故障前先行测试你的故障转移机制。
你的备用路径是生产环境中唯一未经测试的代码
你为应对故障而构建的降级路径几乎从不运行,因此它在寂静中腐烂,并在其本应应对的事故发生时才首次亮相。
Happy Path 是你的 Agent 评估测试过的唯一路径
94% 的通过率衡量的是你想象成功的能力,而非 Agent 是否真的有效。本文探讨黄金路径偏见如何渗入 Agent 评估套件,以及如何通过故障模式覆盖、生产案例收集和故障注入来解决这一问题。
你的内部 API 在智能体调用的那一天起就变成了公共 API
只有当你能叫出每一个调用者的名字时,内部 API 才真正属于“内部”。一旦接入 LLM 智能体,那些从未白纸黑字写下的契约就会变成负担 —— 以下是你突然需要为之付出的公共 API 维护准则。
模型已到生命周期终点,并带走了你的提示词
模型弃用通知看起来只是一个单行配置更改,但你花费六个月调优的提示词是针对特定模型的特性而设计的,无法在切换后继续使用。应将模型生命周期终点视为一个带有可重复运行评估集的周期性迁移项目。
像入职初级工程师一样入职 AI 智能体是一种范畴错误
初级工程师每周都在积累上下文;而智能体则一无所获。为什么“新员工”这一比喻会分散你的注意力,以及你应该将学习重心放在何处。