Page 56
12 articles异步智能体需要收件箱，而非聊天框
当智能体的运行时间超过 30 秒时，聊天界面的用户体验就会崩坏。收件箱这一原语——持久化的运行 ID、完成通知以及“结果重于过程”的架构——才是长程智能体真正需要的产品形态。
基准测试泄露：你的评估集是如何悄悄加入训练语料库的
公开的 LLM 基准测试正悄然变成训练数据，并导致评分虚高 5–15 分。本文将介绍实用的污染审计方法（n-gram、金丝雀字符串、留存测试），以及你的评估团队不愿执行这些审计的组织层面原因。
取消税：用户点击停止后的推理账单
点击停止只是停掉了你的 UI，而不是 GPU。大多数供应商会完成生成，并为你那些用户从未读过的 Token 计费。本文将介绍如何衡量并缩小这一差距。
级联路由的可靠性陷阱：当成本优化悄然摧毁你的 p95 延迟
级联路由能够显著降低 LLM 开销 —— 但同时也会悄然降低尾部延迟、污染你的训练数据并使 A/B 测试失效。在成本收益变成可靠性账单之前，以下是你需要进行观测的指标。
你的思维链是一个故事，而非审计日志
推理追踪读起来像审计证据，但它们仅描述了意图——而非实际执行的内容。本文探讨了为什么合规性需要运行时生成的边车操作日志。
智能体无法察觉的死锁：生成计划中的循环工具依赖
LLM 编写的智能体计划通常包含经典死锁检测无法发现的隐式循环。通过静态计划图处理结合运行时看门狗，可以在 Token 耗尽前捕获这些问题。
你的 Prompt 时钟是正确性边界，而非日志字段
LLM Agent 没有时钟 —— 它们信任你注入的任何时间戳。将 Prompt 中的时间视为正确性契约，而非日志字段，否则你将不断遇到“周二还是周三”的 Bug。
冷启动评估：如何在零生产环境追踪的情况下发布 AI 功能
没有生产追踪意味着没有免费的评估信号 —— 但等待真实用户也不是解决办法。本文介绍一套四层冷启动评估栈：结构化的内部试用、基于角色的场景模拟、专家标注的种子集，以及公开的对抗性探测库。通过明确权重，确保声音最大的内部用户不会左右评估标准。
对话分支作为一等公民：为什么线性线程迫使用户不断杀死并重启对话
线性聊天线程迫使用户通过“杀死并重启”来探索不同方案。本文探讨了写时分支（copy-on-branch）状态模型、DAG 存储以及让发散成为原生功能而非补丁的 UI 模式。
对话历史是你的提示词从未承认的负担
聊天历史并非免费的上下文。每一轮对话都会增加噪声，干扰注意力，并导致单轮准确率下降 —— 本文将介绍如何检测、压缩和整理这些内容。
按功能计费，而非按 Token 计费：AI 预算分配中的缺口
每个端点的 Token 支出掩盖了哪些 AI 功能在赚钱。将推理追踪与产品遥测相结合的打标规范，能将定价、准入控制和功能废弃的决策从“凭感觉”转变为“看数据”。
演示循环偏见：你的开发流程如何悄然演变为针对“有魅力的失败”进行优化
演示往往会选择流畅、自信的输出，而非正确的输出。本文将探讨 LLM 开发循环如何悄然滑向“有魅力的失败”，以及修复这一问题的评估工作流。
关于 Tian Pan
我是 Tian Pan，一名工程师型创始人，专注于智能体工程——构建自主 AI 系统并扩展工程团队。我撰写关于系统设计、技术领导力和 AI 智能体实战的实用指南。曾在 Uber、Brex 和 IoTeX 担任早期工程师。
