Page 7
12 articles你的供应商通过更小的分块达成的 Tokens-Per-Second SLO
你的供应商通过缩小分块达到了每秒 Token 数的 SLA，但你的渲染器却为此付出了代价。为什么流式吞吐量是一个需要协同设计的属性 —— 以及如何编写一个由消费者主导的感官 SLO。
逐渐腐化的工具描述：当你的 Agent 仍在盲目调用时
工具描述是团队忘记进行版本管理的接口契约。本文将探讨它们是如何腐化的、为什么这种腐化是隐蔽的，以及保持你 Agent 诚实所需的纪律。
当源数据已更改，你的 Prompt 缓存仍在提供旧的工具执行结果
Prompt 缓存将易变的工具结果转化为你与模型提供商之间的一项隐藏 TTL 契约。当缓存 TTL 的生命周期超过了数据的有效期时，你的 Agent 就会在享受缓存命中率的同时，自信地提供“昨天的真相”。
由客户端时钟而非网关标记时间戳的链路追踪时间线
在你的 Agent 链路中，浏览器标记的 Span 与网关标记的 Span 是不可比的。本文探讨为什么客户端时钟会“撒谎”、SDK 是如何传播这一偏差的，以及缩小差距的几种模式。
按摄入日期分片的向量索引
按摄入日期分片的向量索引隐藏了一个聚合指标无法察觉的召回失败：评估集的采样往往带有与架构本身相同的时间偏差。
源文档更新从未同步到向量索引的那些 Embedding
你的 embedding 流水线在创建文档时能够正常触发，但在编辑时却失效了。数月后，检索系统依然在提供源文档早已不再认可的内容 —— 而唯一的告警竟是用户将这些错误内容反馈给了客服。
Agent 假装执行的验证步骤
当你的 Agent 追踪记录显示“已验证 X”但验证从未真正运行时。为什么自我证明是一个底层机制问题，而非幻觉问题，以及如何设计能够捕捉到这一点的评估和架构。
语音代理 SLO 定义为首个音频时间，而你的服务商则以首个 Token 时间衡量
基于 LLM 的首个 Token 时间（TTFT）构建的语音代理延迟 SLO 看起来是绿色的，但用户却听到了 600 毫秒的间隙。该 SLO 存在于错误的层级；用户的耳朵才是真正关键的边界。
即使你发誓绝不分享，你的评估集仍需要的水印
私有评估集会像其他任何东西一样泄露 —— 通过 Bug 票据、Slack 粘贴、供应商流水线和调试日志。请为它们添加水印，以便在下一次模型升级到来时，你能分辨出真实的性能提升与污染造成的假象。
你定义‘首个 Token’的位置决定了你的延迟 SLO 是否真实
p99 首个 Token 延迟低于 800 毫秒看起来像是一个承诺——直到推理层的切换悄然重新定义了‘首个 Token’的含义。SLO 衡量的是供应商边界；而用户的感受则完全不同。
那些悄悄共享长期记忆的智能体 A/B 测试变体
在 A/B 测试变体之间共享长期记忆存储会导致实验本身产生耦合——变体 B 读取了变体 A 写入的记忆，导致测量的增量发生漂移，最终上线后的表现会退化到同一受污染环境下的另一个点上。
第四方风险：当供应商的供应商掌控了你客户的故障
你的合同签署了一家供应商，但你的故障报告却指向了其背后的一层。本文教你如何梳理第四方风险、衡量真实冗余，以及如何撰写一份你无法完全掌控的故障复盘报告。
关于 Tian Pan
我是 Tian Pan，一名工程师型创始人，专注于智能体工程——构建自主 AI 系统并扩展工程团队。我撰写关于系统设计、技术领导力和 AI 智能体实战的实用指南。曾在 Uber、Brex 和 IoTeX 担任早期工程师。
