Page 70
12 articles编程智能体自主曲线：阅读是免费的，合并是事故级的
对于编程智能体来说，单一的自主开关是错误的抽象方式。应该将每个工具映射到特定的爆炸半径层级，根据层级调整审批闸门，并使智能体的执行速度与你的回滚速度相匹配。
LLM 工具表面的契约测试：当供应商更改字段而你的智能体静默适应时
当供应商重命名工具响应字段时，你的智能体不会崩溃 —— 它会自行适应并交付一个质量下降的答案。为什么微服务契约测试必须迁移到智能体技术栈，以及如何进行配置。
反事实日志：通过今天的充足记录，在明年的模型上重放昨天的流量
生产环境中的 LLM 日志能很好地回答“模型说了什么”，却难以回答“模型看到了什么” —— 正是这种差距导致了数月后的模型迁移评估宣告失败。本文介绍了一种用于可重放追踪的实用模式。
你的智能体有两条发布流水线，而非一条
智能体提示词和智能体工具在磁盘上看起来像是同一种资产，但它们的失效方式完全不同 —— 通过同一条流水线发布它们，是导致大多数智能体事故的根本性架构错误。
确定性预算：将随机性视为按层面的分配，而非全局开关
温度不是一个全局开关。应按层面分配随机性——路由、解析、合成、生成、探索——否则你将为不需要的方差付出代价。
Wiki 迎来了第二位租客：为什么面向 AI Agent 的文档与面向人类的文档截然不同
工程团队正悄悄地为其内部文档积累第二批受众——即每位开发者的 AI 助手。如果团队只为其中一类读者编写文档，那么提供给另一类读者的内容注定是残缺的。
Embedding 迁移是新时代的 Schema 迁移
在生产环境中更换 embedding 模型不仅仅是一个批处理任务 —— 它是一场具有语义影响的 Schema 迁移。为什么点对点评估会遗漏回归问题，双写窗口和邻域稳定性指标究竟能为你带来什么，以及成本结构在哪些地方会让团队措手不及。
评估作者的单一文化：为什么你的基准测试会变成一张自画像
评估套件并不是对你模型的测量——它是编写者的一张静态画像。在绿色的 CI 变成一个自我陶醉的谎言之前，请审计、轮换并消除基准测试中的单一文化。
评估框架（Eval Harness）而非提示词，才是你真正的供应商锁定
重写提示词是切换 LLM 供应商时最简单的部分。评估框架才是真正的供应商锁定所在 —— 当你尝试重新协商时，真正的账单就会随之而来。
评测环境的延迟谎言：为什么你的 p95 在生产环境中翻倍
评测套件测量的是在一台安静机器上针对热缓存进行的串行调用；生产环境则是另一回事。将延迟视为部署的属性，而非模型的属性，否则你的 p95 数据将会具有误导性。
你的评估准则是真正的产品规格书 —— 且没有产品经理签过字
你的工程师为了让 LLM-as-judge 跑通而编写的包含 47 条标准的评估准则，已经悄然成为了你的产品规格书。每一个权重、每一个评分边界、每一个缺失的标准，都是产品经理从未正式做出的产品决策。
评估集作为模拟器的偏移：当离线指标提升而生产表现恶化时
一个 LLM 评估套件就是一个模拟器。如果跳过重新校准周期，你可能会针对一个在第三个月就不再像生产环境的数据集发布六个“全绿”版本。
关于 Tian Pan
我是 Tian Pan，一名工程师型创始人，专注于智能体工程——构建自主 AI 系统并扩展工程团队。我撰写关于系统设计、技术领导力和 AI 智能体实战的实用指南。曾在 Uber、Brex 和 IoTeX 担任早期工程师。
