Page 65
12 articlesLLM 裁判的天花板：为什么你的自动评估在关键分数点上不再与用户对齐
LLM 作为裁判与人类的一致性在模糊的中间地带最高，但在决策边界处会崩溃。保持评估诚实的关键规范包括：分片 Kappa 分析、漂移仪表盘、针对高风险分片的跨模型系列集成，以及一个明确的、超过后需由人类评分的天花板。
LLM SDK 升级税：为什么补丁版本更新实际上是一次伪装的模型发布
模型 SDK 的补丁版本更新可能会悄悄重写提示词行为、破坏 JSON 解析，并让回归缺陷绕过你的评估网关。本文将介绍捕获这些问题的规范。
你的 APM 正在悄悄丢弃 LLM 遥测数据，而 Bug 就隐藏在这些缝隙中
传统的 APM 是为有限维度和无状态服务设计的。LLM 工作负载的基数特征更接近产品分析，这种不匹配会悄悄抹除那些能暴露提示词故障的唯一信号。
模型偏好分叉：为什么你的提示词库有三个版本且没人追踪漂移
一个共享的提示词库会悄悄地积累起无人追踪的特定模型分叉，在每次模型升级时破坏你的评估套件与路由层之间的约定。
模型回滚速度：从“这次升级有问题”到“旧模型完全恢复”之间的七小时鸿沟
回滚 LLM 升级并非按下一个按钮那么简单 —— 它是一个具有滞后性的部分操作，更接近于数据库迁移。在下一个错误模型上线之前，以下是你的事故应对指南中需要的控制平面。
LLM 模型路由是伪装成成本优化的市场细分
将 60% 的 LLM 流量路由到更便宜的模型不仅改变了成本曲线，还悄然将你的 AI 功能拆分为两个产品。聚合准确率指标平均化了受损部分的表现，两种失败模式在 Bug 报告中混为一谈，而客户在没有任何发布说明的情况下体验着两个截然不同的助手。
多语言评估成本放大效应：为什么七个语种的成本不只是 7 倍
你的英文评估套件花费了 4 万美元。七个语种的国际化发布成本并不会只是 28 万美元 —— 真实的增长曲线更接近于 N×L^1.3，因为跨语种对比是一种无法分解的元评估（meta-eval）。
你的值班轮换需要 AI 素养作为前提，否则不要在凌晨 2 点给任何人发报警
当其中一个服务是基于 LLM 的功能时，共享值班轮换机制会立刻失效。这里有一份关于 AI 素养前提、仪表板规范以及影子期运行手册的指南，能让 AI 团队在凌晨 2 点安稳睡觉。
端侧 AI 需要的是机群管理器，而非模型卡片
为每个用户推送相同的端侧模型，意味着你要么在旗舰机上空耗电池，要么在长尾设备上交付降级的产品。解决这一问题的工程准则更像是一个 CDN，而不是模型注册表。
分页是一项工具目录规范：为什么智能体在处理列表返回时会耗尽上下文
返回无界列表的工具会将智能体变成函数调用时代的 SELECT * 反模式。分页是一种降级原语 —— 应该将其作为工具目录中的规范，而不是逐个工具去决定。
单向量版本标签：每个 Embedding 迁移背后的缺失列
向量数据库在发布时并没有配备 Postgres 已经拥有二十年的迁移工具 —— 没有 ALTER TABLE，没有在线模式变更，也没有单行版本控制。使 Embedding 升级得以平稳进行的规范，始于一个大多数团队都忘记添加的列。
Prompt 缓存抖动：当最大租户上线导致所有人账单翻三倍时
Prompt 缓存的折扣在某个租户上线并逐出其他所有人的前缀之前是真实的。共享推理缓存是一个租户耦合面，而账单往往在事件发生几周后才送达。
关于 Tian Pan
我是 Tian Pan，一名工程师型创始人，专注于智能体工程——构建自主 AI 系统并扩展工程团队。我撰写关于系统设计、技术领导力和 AI 智能体实战的实用指南。曾在 Uber、Brex 和 IoTeX 担任早期工程师。
