Page 22
12 articles悄然失效的评估：当你的测试套件在衡量一个已不存在的世界
全绿的评估运行可能是在认证过去而非现在。本文探讨评估套件如何衰减，如何区分真正的性能退化与过时的测试，以及如何在套件中构建新鲜度保障机制。
Token 预算是调度问题，而非提示词问题
当一个冗长的工具结果耗尽上下文窗口时，智能体的质量就会下降。应像对待操作系统内存一样对待 Token 预算：设置上限，按优先级淘汰，并为推理留出空间。
工具的默认参数其实是伪装的策略决策
你的 Agent 跳过的每一个可选参数都会继承你选择的默认值。这些默认值是未经审计的策略 —— 它们在追踪中不可见，在评审中也无人负责。
你的工具描述是模型遵循的指令通道
工具描述是模型视为权威指令的散文，但代码审查和输入清理从未检查过它们。本文将探讨被投毒的元数据和地毯式攻击是如何渗透进来的，以及弥合这一差距的规范。
你在没告诉智能体的情况下修改了工具 Schema
重命名一个字段对你的后端来说只是常规的 API 变更，但对于调用该工具的 LLM 而言，这却是一个无声的破坏性变更。本文探讨如何将工具 Schema 视为拥有两个消费者的版本化契约。
原本运行良好的工具，直到两个智能体同时调用它
智能体工具通过了单调用者测试，但在第二个智能体出现的那天崩溃了。本文将探讨为什么并发漏洞在结构上对串行评估是不可见的，以及幂等性、锁定和负载测试如何修复这些问题。
在智能体交接处中断的分布式链路追踪
你的 Span 树在智能体相互调用之前一直非常清晰 —— 但就在 Bug 发生的地方，追踪突然中断了。本文将探讨为什么智能体交接会破坏链路上下文，以及如何确保上下文在交接中得以延续。
当两个 Agent 共享一个工具：多 Agent 系统中的并发 Bug
启动第二个 Agent 会让你瞬间变成一名分布式系统工程师。竞态条件、更新丢失和脏读会以静默损坏的形式回归 —— 以及如何设计工具层来阻止它们。
停止并非一种状态：为什么智能体需要类型化的终端原因协议
智能体仪表板通常会报告完成率，但一个因为放弃而停止的运行在表面上与成功的运行看起来完全一样。类型化的终端原因协议让智能体的结束方式成为一个一等的、可监控的信号。
你的智能体假设存在的“撤销”按钮
AI 智能体在规划时往往假设每个动作都是可以撤销的，这是在可逆的代码沙盒中养成的习惯。通过在工具中编码可逆性分级，确保“单向门”决策的安全性。
你的向量索引是一个没有失效策略的缓存
向量索引是你源数据的派生副本，这使得它成为了一个会过时的缓存：修改内容永不自动同步、已删除的文档留下“残影”、被撤销的权限导致泄露。为什么 RAG 的可靠性是一个缓存失效问题，而不是相似度搜索问题。
向量索引存在一个没人定义的陈旧度 SLO
每晚进行的重新索引任务是一个没人写下来的新鲜度承诺。本文介绍如何将向量索引延迟转化为可衡量的 SLO，向智能体和用户展示数据账龄，并根据衰减率而非习惯进行重新索引。
关于 Tian Pan
我是 Tian Pan，一名工程师型创始人，专注于智能体工程——构建自主 AI 系统并扩展工程团队。我撰写关于系统设计、技术领导力和 AI 智能体实战的实用指南。曾在 Uber、Brex 和 IoTeX 担任早期工程师。
