Page 47
12 articles确定性预算：将随机性视为按层面的分配，而非全局开关
温度不是一个全局开关。应按层面分配随机性——路由、解析、合成、生成、探索——否则你将为不需要的方差付出代价。
Wiki 迎来了第二位租客：为什么面向 AI Agent 的文档与面向人类的文档截然不同
工程团队正悄悄地为其内部文档积累第二批受众——即每位开发者的 AI 助手。如果团队只为其中一类读者编写文档，那么提供给另一类读者的内容注定是残缺的。
Embedding 迁移是新时代的 Schema 迁移
在生产环境中更换 embedding 模型不仅仅是一个批处理任务 —— 它是一场具有语义影响的 Schema 迁移。为什么点对点评估会遗漏回归问题，双写窗口和邻域稳定性指标究竟能为你带来什么，以及成本结构在哪些地方会让团队措手不及。
评估作者的单一文化：为什么你的基准测试会变成一张自画像
评估套件并不是对你模型的测量——它是编写者的一张静态画像。在绿色的 CI 变成一个自我陶醉的谎言之前，请审计、轮换并消除基准测试中的单一文化。
评估框架（Eval Harness）而非提示词，才是你真正的供应商锁定
重写提示词是切换 LLM 供应商时最简单的部分。评估框架才是真正的供应商锁定所在 —— 当你尝试重新协商时，真正的账单就会随之而来。
评测环境的延迟谎言：为什么你的 p95 在生产环境中翻倍
评测套件测量的是在一台安静机器上针对热缓存进行的串行调用；生产环境则是另一回事。将延迟视为部署的属性，而非模型的属性，否则你的 p95 数据将会具有误导性。
你的评估准则是真正的产品规格书 —— 且没有产品经理签过字
你的工程师为了让 LLM-as-judge 跑通而编写的包含 47 条标准的评估准则，已经悄然成为了你的产品规格书。每一个权重、每一个评分边界、每一个缺失的标准，都是产品经理从未正式做出的产品决策。
评估集作为模拟器的偏移：当离线指标提升而生产表现恶化时
一个 LLM 评估套件就是一个模拟器。如果跳过重新校准周期，你可能会针对一个在第三个月就不再像生产环境的数据集发布六个“全绿”版本。
当你的评测结果不一致时：在数据互相矛盾时的一套信号优先级体系
对于提示词变更，四种不同的评测信号很难完全一致。如果没有一套明确的优先级体系来规定在何种情况下以哪个信号为准，那么每个发布周都会变成一场关于“该信任谁的数据”的争论。
少样本腐化：为什么昨天的示例会拖累今天的模型
少样本示例是针对特定模型进行优化的。在模型升级后，那些曾经提升准确率的演示示例可能会悄无声息地开始产生负面影响 —— 本文介绍了防止腐化的审计和溯源规范。
发现的能力：当用户上线了你团队从未规划的功能
每一个足够强大的模型都会暴露出你团队从未规划过的行为。用户发现了它们，并在其基础上构建了工作流，然后将下一次模型升级视为一种回归。这里有一种产品准则，能将这些“发现的能力”转化为由你真正掌控的决策。
生成式 UI 作为一种生产规程：当模型渲染屏幕时
当模型输出的是组件树而非文本时，设计评审、无障碍审计以及提示词注入威胁模型都必须从头开始重构。
关于 Tian Pan
我是 Tian Pan，一名工程师型创始人，专注于智能体工程——构建自主 AI 系统并扩展工程团队。我撰写关于系统设计、技术领导力和 AI 智能体实战的实用指南。曾在 Uber、Brex 和 IoTeX 担任早期工程师。
