供应商将你的模型标识符重定向到特定租户的微调模型，而其他人使用的却是基础模型
如果将 LLM 模型标识符视为权重的名称而非路由决策的标签，那么供应商可能会在评估套件仍保持“绿色”通过状态时，静默地将你的租户从微调模型切换回基础模型，导致客户最先察觉到问题。
那些悄然成为你唯一评测集阅读者的提示工程师
你的评测集只是一个文件，而使其具备可读性的判断力却存在于某个工程师的脑海中 —— 本文将探讨这种巴士系数如何在他们离职后才显现出来。
被你的团队视为独立于模型版本的提示词版本
Prompt v37 是针对 Claude 4.6 调优的。平台团队将别名滚动到了 4.7。你的事故时间线显示没有部署 —— 因为没有人追踪这种配对关系。
客户无法复现的隐形个性化层
推理时个性化层虽然可以提升整体满意度，但通过注入客户无法读取、重置或在其评估套件中复现的隐藏状态，它依然会破坏 API 合约。
那个把用户的字面问题“改写”没了的摘要器
对话摘要器会将旧的轮次压缩成改写后的文字，这往往会丢掉用户问题所依赖的核心动词，导致模型在第 41 轮对话时自信地回答了一个错误的问题。你应该把摘要器视为关键路径上的模型：锁定用户的确切原话，评估实体覆盖率，不要再让 Token 预算的旋钮来决定你的产品会忘记什么。
那些你团队的人员已悄然停止阅读的标注队列
标注者吞吐量是每个 LLM 评估计划的无声天花板，而队列排序则是无人设计的采样器。本文探讨如何将“为评分而采样”视为一等公民的工程界面。
抹除后续问题所需上下文的对话记忆修剪启发法
基于近因和长度的修剪会剔除后续轮次默默依赖的约束，而用户会将言之凿凿的错误回答视为能力退化。修剪是检索的对偶，那些为了 Token 数量而调整修剪策略的团队，正在悄然降低回答质量。
那些在评估集中遗漏、却在模型蒸馏中丢失的能力
蒸馏通过有限的样本优化散度，并根据有限的评估集进行交付。评估集未测量的行为是学生模型可以自由丢弃的熵 —— 而它首先丢弃的，通常是那些罕见但关键的能力。
被两个漂移向量拉扯的评估准则
一个同时由人类和 LLM 裁判阅读的评估准则会在两个轴向上同时发生漂移。综合得分掩盖了这种波动。本文介绍了一种测量协议，使每种漂移都变得可追溯。
先收敛、后悄然崩溃的评估
停滞不前的评估分数并不总是意味着模型达到了天花板。当标注者趋于同质化时，一致性指标会上升，而评估则不再能衡量团队认为它正在衡量的内容。
擦除模型原生对齐的微调过程
有监督微调（SFT）会悄然削弱基础模型自带的拒绝训练。本文将探讨为什么仅针对任务的评估会忽略这一点，并介绍在客户发现之前捕捉这种退化的四种实践方法。
你那两个独立的评估指标正不断破坏拒绝校准
将拒绝逻辑拆分为安全性评估和帮助性评估，注定会导致每次模型升级时两者此消彼长。解决方案是针对每个案例采用统一的“正确操作”指标进行评分。