Page 80
12 articles对话分支作为一等公民：为什么线性线程迫使用户不断杀死并重启对话
线性聊天线程迫使用户通过“杀死并重启”来探索不同方案。本文探讨了写时分支（copy-on-branch）状态模型、DAG 存储以及让发散成为原生功能而非补丁的 UI 模式。
对话历史是你的提示词从未承认的负担
聊天历史并非免费的上下文。每一轮对话都会增加噪声，干扰注意力，并导致单轮准确率下降 —— 本文将介绍如何检测、压缩和整理这些内容。
按功能计费，而非按 Token 计费：AI 预算分配中的缺口
每个端点的 Token 支出掩盖了哪些 AI 功能在赚钱。将推理追踪与产品遥测相结合的打标规范，能将定价、准入控制和功能废弃的决策从“凭感觉”转变为“看数据”。
演示循环偏见：你的开发流程如何悄然演变为针对“有魅力的失败”进行优化
演示往往会选择流畅、自信的输出，而非正确的输出。本文将探讨 LLM 开发循环如何悄然滑向“有魅力的失败”，以及修复这一问题的评估工作流。
“完成！”不是返回码：为什么智能体完成需要结构化信号
智能体用自然语言发出完成信号；编排器则需要结构化事件。一个带有状态枚举、原因代码和可恢复句柄的 done 工具，能将静默的智能体失败转变为清晰的模式违规 (schema violations)，让你的流水线能够真正进行路由。
持久化智能体：为什么异步队列无法胜任长运行 AI 工作流
多步骤 AI 智能体在生产环境中往往会失败，因为队列采用“至少一次”交付，而 LLM 的规划具有非确定性。解决方案是持久化执行 —— 通过 Saga 模式、幂等检查点以及围绕无状态规划器的有状态底层来构建。
Embedding API 的 “隐藏税”：为什么向量支出在不知不觉中超过了生成成本
Embedding API 的支出在规模化过程中会悄然增长，并最终超过生成成本。本文将深入分析主导账单的工作负载、扭转成本曲线的架构杠杆，以及自托管的盈亏平衡计算。
Embedding 模型轮换是数据库迁移，而非代码部署
更换 Embedding 模型并非简单的配置更改——新向量存在于与旧向量不同的流形中，因此这本质上是一次完整的重新 Embedding 加上一次伪装成部署的切换。这是一份包含影子索引、双读一致性指标、分阶段流量切换以及团队经常遗漏预算的运营成本的迁移指南。
你的评测框架是单用户运行的，但你的智能体并非如此。
顺序运行的评测框架无法捕获当多个智能体共享基础设施时爆发的漏洞。本文介绍了四种失效模式以及修复它们的架构方案。
Eval-Prod 漂移：测试中的智能体并不等同于生产环境中的智能体
为什么你的评估框架所测量的智能体会与用户实际交互的智能体发生隐形偏离 —— 以及如何通过指纹识别、金丝雀测试套件和所有权规范来弥合这一差距。
你的黄金标签是从你的模型中学到的：通过生产环境泄漏导致的评估集污染
当标签来自生产反馈、查看草稿的人类标注员以及 RLHF 痕迹时，评估集会悄无声息地记住你的模型偏差。本文将探讨防止“镜子”获胜的溯源规范。
“以后再加评估”的陷阱：测量债务如何产生复利效应
跳过评估能让你在一个季度内发布得更快，但接下来的四个季度会变慢。本文探讨了测量债务如何产生复利效应、早期的预警信号，以及防止这种偏移的组织级强制机制。
关于 Tian Pan
我是 Tian Pan，一名工程师型创始人，专注于智能体工程——构建自主 AI 系统并扩展工程团队。我撰写关于系统设计、技术领导力和 AI 智能体实战的实用指南。曾在 Uber、Brex 和 IoTeX 担任早期工程师。
