你的评估准则是真正的产品规格书 —— 且没有产品经理签过字
你的工程师为了让 LLM-as-judge 跑通而编写的包含 47 条标准的评估准则，已经悄然成为了你的产品规格书。每一个权重、每一个评分边界、每一个缺失的标准，都是产品经理从未正式做出的产品决策。
少样本腐化：为什么昨天的示例会拖累今天的模型
少样本示例是针对特定模型进行优化的。在模型升级后，那些曾经提升准确率的演示示例可能会悄无声息地开始产生负面影响 —— 本文介绍了防止腐化的审计和溯源规范。
你的 LLM Judge 存在长度偏见、位置偏见和格式偏见 —— 且无人审计你的模型
LLM-as-judge 存在的长度、位置和格式偏见，正悄无声息地将 Prompt 迭代变成一台古德哈特机器。通过三次审计和版本化评判可以解决这一问题。
你的模型路由是基于评估集训练的，而不是你的真实流量
基于基准测试训练的路由器会带来隐蔽的质量退化：低成本路径在宏观数据上表现尚可，但在你的评估套件从未采样的少数关键用户群体中却会失败。本文探讨了为什么路由器是一个控制系统而非分类器，以及实现闭环处理究竟需要什么。
多模态评估漂移：为什么在文本表现稳定的情况下，图像和音频路径会出现回退
大多数团队将多模态作为其文本产品的薄扩展来发布，并沿用了一套系统性地无法察觉图像或音频回退的评估准则。解决方法是采用单模态评分标准、特定模态的黄金数据集，以及一个拒绝在不同输入类型间聚合质量指标的发布门控。
智能体动作空间的可达性分析：为你从未测试过的分支提供评测覆盖
你的工具目录加上规划器构成了一个可达的执行计划图，而你的评测（Evals）可能从未覆盖过这些路径。借鉴编译器的可达性分析方法，找出那些可能最先由事故频道（Incident Channel）发现的隐藏分支。
你的影子评估集是一个合规性定时炸弹
生产追踪评估管道积累了用户从未被承诺会以这种方式处理的 PII。其修复方法是在写入边界进行清理、使用架构化类型的 span 以及基于标签的数据保留 —— 而不是在读取时使用正则表达式脱敏器。
用于多轮 Agent 评估的合成用户：当你的测试固件需要“反击”时
单轮评估往往会忽略那些关键的多轮失败模式。具备人格、耐心预算和放弃阈值的 LLM 驱动用户模拟器每晚可以运行数千次对话 —— 但前提是模拟器与生产环境之间的差距是经过校准的，而非臆断。
95% 可靠性幻觉：为什么你的 10 步 Agent 在 40% 的情况下会失败
一个在单步可靠性为 95% 的十步 Agent，其端到端成功率仅为 60%。验证部署、冗余模式和更短的链条是改变这一曲线的架构杠杆。
演示循环偏见：你的开发流程如何悄然演变为针对“有魅力的失败”进行优化
演示往往会选择流畅、自信的输出，而非正确的输出。本文将探讨 LLM 开发循环如何悄然滑向“有魅力的失败”，以及修复这一问题的评估工作流。
你的评测框架是单用户运行的，但你的智能体并非如此。
顺序运行的评测框架无法捕获当多个智能体共享基础设施时爆发的漏洞。本文介绍了四种失效模式以及修复它们的架构方案。
评估通过，但工具全是 Mock 的：为什么你的 Agent 最棘手的生产故障从未进入测试框架
Mock 工具的评估让 CI 绿灯常亮，而生产环境却在一团糟。本文探讨了每个 Mock 默认做出的三个隐含假设，为什么评估通过率与事故率会发生背离，以及最终弥合这一差距的三级阶梯（Mock、录制回放、实时烟雾测试）。