Page 31
12 articlesAgent 分支覆盖率：你的评测仅命中了 Happy Path，而非 Planner 的 If-Else 逻辑
Agent Prompt 中隐藏了评测套件从未执行过的 If-Else 分支。借鉴 MC/DC 的严谨性，通过分支 ID 监测 Planner 的决策，并基于覆盖率对 Prompt Diff 进行拦截，防止隐性的路由错误流入生产环境。
智能体内存驱逐：为什么 LRU 在模型升级中屹立不倒，而显著性评分却不行
基于显著性权重的内存驱逐在上线首日看起来像是提升了质量，但每次模型升级都会演变成一场迁移工程 —— 本文将探讨为什么 LRU 这种“无聊”的选择才是最终的赢家。
智能体临时目录：无人盘点的无主文件系统 PII 暴露面
智能体工作线程在无人分类的磁盘上累积了临时文件系统状态——提取的 PDF、转录的音频、缓存的附件。解决方案在于为这一层级命名，而非追求架构上的复杂性。
AI 工程师晋升自评报告：让随机性工作在绩效评审中清晰可见
AI 工程工作不适用于确定性的自评模板。本文介绍如何量化那些基于评估驱动、具有随机性且逐步发布的 AI 工作，从而让校准委员会能够真正认可你的贡献。
团队间的 Token 预算之战：当你的 AI 平台团队变成“财政部”
有限的供应商配额加上三个面临上线期限的产品团队，就构成了一个预算分配系统。负责运行你 LLM 网关的团队往往被要求进行配额分配——通常是在没有政策支持、没有发起人、甚至没有遥测数据来支撑决策的情况下。
难度浓缩器：AI 客服分流正在让留下的员工精疲力竭
分流率衡量的是避开的难度，而非消除的难度。当 AI 处理了 80% 的简单工单时，人工队列中剩下的就全是 100% 的极端情况 —— 在数据仪表盘察觉之前，团队早已感受到了这种压力。
浏览器 Agent 会话泄漏：当单个 Profile 服务于多个租户时
为了规避冷启动成本，长期运行的浏览器 Agent 往往会复用 Profile，但这可能导致一个租户的会话被错误地提供给另一个租户的请求。追踪记录显示成功 —— 而另一个用户的仪表板内容正被读取。
凭证残留：你已停用的智能体仍处于生产环境登录状态
通过删除代码来停用 AI 智能体，会让 OAuth 令牌、服务账号、向量索引和评估数据集残留在生产环境中。解决方案始于上线之时，而非落幕之际。
评估天花板：当你的黄金测试用例失去区分度时
一旦每个候选模型在相同的测试用例上都获得了 95+ 的分数，你的评估套件就不再具备任何衡量价值 —— 是尺子不再适用，而不是被测平台的问题。
评估数据集是附带正确答案的客户数据
黄金评估集是与标记的正确答案配对的真实客户查询 —— 但大多数团队将其视为工程辅助工具，绕过了为底层生产数据构建的每一项隐私控制。
评估选择偏差：为什么你的测试集会对那些导致用户流失的失败视而不见
从生产链路中更新的评估集继承了幸存者偏差：遭遇最严重失败的用户已经离开，并停止生成链路。分数在攀升，而留存率在下降。以下是如何打破这一循环的方法。
备用方案变成了默认方案：为什么你的分层配比需要 SLO
你的备用路径本应只处理 0.5% 的请求。现在它却承载了 38% 的流量。修复方案是将分层配比视为一等 SLO。
关于 Tian Pan
我是 Tian Pan，一名工程师型创始人，专注于智能体工程——构建自主 AI 系统并扩展工程团队。我撰写关于系统设计、技术领导力和 AI 智能体实战的实用指南。曾在 Uber、Brex 和 IoTeX 担任早期工程师。
