一年前，你的评估套件（eval suite）表现得非常出色。候选模型的得分分布在 60 到 80 分之间，排名结果能为你提供有效的参考。新的微调模型比基准模型高出 6 分；更廉价的模型则低了 3 分。决策依据这些数字而产生。而今天，在同样的评估套件下，每个候选模型的得分都是 95、96 或 97 分，得分差距已经缩小成了噪音。你的团队仍在运行评估，仍在阅读报告，仍在利用它为迁移亮绿灯——但这份报告已经不再包含任何有效信息。
这不是基准测试污染（benchmark contamination），也不是世界漂移引起的衰减（world-drift decay）。这是一个测量工具的问题：你的测试用例是针对平台已经超越的难度水平而校准的。尺子没有坏；而是你正在测量的东西已经超出了它的量程。那些没有意识到这一点的团队，仍然在使用一个辨别范围与所比较的候选模型不再重叠的工具来进行模型决策。
饱和现象具有可辨识的特征
公共基准测试文献在过去两年里一直在大声疾呼这个问题，但这一教训尚未传播到内部评估套件中。MMLU 在前沿模型中已饱和至 88% 以上，得分集中在 2 分以内的区间。GSM8K 在顶尖竞争者中已突破 99%，使其对于顶层对比失去了作用。BIG-Bench Hard 在 2022 年设计时是为了考验前沿模型，但在发布后的 12 个月内得分就达到了 94%。Humanity's Last Exam 在 2025 年初被创建，明确是因为现有的工具已经耗尽了提升空间。
你的内部评估套件也呈现出相同的特征——同样的顶部压缩——但你并没有察觉到它如此严重，因为候选模型较少，且在停下来思考之前，那个区间看起来像是信号。问问自己，现在有多少比例的案例是每个候选模型得分都超过 95 的？当答案是“绝大多数”时，你的工具在每个问题上提供的信息量已趋于零。
经典的心理测量学框架是思考这一问题最清晰的方式。在项目反应理论（item response theory, IRT）中，每个测试题目都有两个关键参数：难度（difficulty）和辨别力（discrimination）。一个具有高辨别力的题目拥有陡峭的成功曲线——能力稍强的考生能通过，能力稍弱的则失败，拐点处的斜率非常尖锐。辨别力差的题目则是平坦的：任何超过某个较低阈值的候选者都能通过，因此该题目无法告诉你这些候选者中谁更优秀。评估套件是一个题库，而题库的使用寿命取决于其难度分布是否仍然跨越了你试图比较的能力范围。
当能力范围上移而难度分布保持不变时，每个题目都会从成功曲线中间的陡峭区域迁移到顶部的平坦区域。套件依然会产生一个数字。只是这个数字不再是一项测量指标。
失败模式是悄无声息且充满自信的
团队很少会注意到天花板，因为流程的每个环节依然运作良好。评估运行完成，报告正常生成，数字被填入模型对比表格中。评审人员引用“通过评估套件，96.2% vs 基准 95.8%”作为迁移安全的证据。这种决策过程的质感与套件尚具备辨别力的时代感觉并无二致。
失败会在几周后的下游环节显现。一个由 0.4 分的评估提升所批准的模型迁移，在上线四周后导致客户支持请求激增。一个被评估套件认可的供应商更换，导致了在没人测试过的长尾案例上出现质量退化的投诉。一个“评估分数相当的更廉价模型”决策因为重试而耗尽了预算，因为这个廉价模型在生产流量中失败了，而这些流量恰好不在评估套件的采样范围内。
这种损害不在于你选错了模型——有时你运气好，饱和的评估结果和真实排名正好一致。损害在于你在没有任何信息的情况下做出了决定，却对此一无所知。扔硬币或者看一眼生产追踪记录（production trace）可能都比这更好。评估带给你的信心仅取决于套件的全面性，而不是其中任何一个案例的辨别力。
与之密切相关的古德哈特定律（Goodhart's Law）失败进一步放大了这种盲目自信：供应商和内部团队多年来一直在针对公开的基准测试进行训练，因此你的私有套件中从公开来源借用的那部分案例，正是最饱和的部分。你从 MMLU 复制到“通用知识”评估部分的案例，很可能已经在候选模型的预训练过程中以某种形式出现过。评估不仅是饱和的——它在某种方向上被污染了，从而进一步压缩了得分空间。
有效的规范流程是什么样的
天花板并非永恒的状态。当评估套件保持静态，而其底层的平台能力翻倍时，就会出现天花板。遏制这一现象的规范并不显眼——它是测量维护工作，这种枯燥的工作保护了团队所做的每一个下游决策。
定期进行天花板审计。 每季度一次，重新生成你排名前三或前四候选模型在每个案例上的得分分布。统计所有候选模型得分均超过 95 的案例数量。这个数量就是你套件中的“盲区”大小。如果这个数字在增长，说明你现在用来挑选候选模型的有效工具规模比上季度更小了。这项审计只需要一个下午的时间，却能产生唯一能告诉你该套件是否仍有资格留在发布流水线中的数字。
将回归检测与候选模型筛选分开。 这两个功能对难度的要求完全相反，将它们混为一谈会导致天花板的出现。回归检测（regression catchers）是为了确保候选模型没有破坏已经实现的功能——它们应该是简单且稳定的，因为它们的任务是在基础功能退化时发出响亮的警报。候选模型筛选（candidate selectors）则是为了区分强大的候选模型——它们需要足够难，以至于目前的前沿模型也会在相当比例的情况下失败。一个混合了两者的单一套件最终会在辨别力维度上达到饱和，因为回归检测案例占据了总案例数的主导地位，将综合评分拉高到 90 多分。
构建动态难度流水线。 生产环境中的失败和对抗性探测是获取题目最廉价的来源，而且难度正好符合需求。因为从定义上讲，这些都是你至少一个已部署候选模型失败的案例。建立一个流程，将每一个经过梳理的生产环境失败案例在脱敏后转化为候选评估案例。每季度组织一次红队演练，其明确目标是寻找当前模型会失败的输入。这样，评估套件就会自动向正确的方向发展——其难度底线随能力提升而升高，而不是冻结在去年的前沿水平。
计算每个案例的辨别力得分。 对于套件中的每个案例，追踪候选模型在过去 N 次评估中是否产生过不同的判定。如果所有候选模型在六个月内对某个案例的判定始终一致，那么这个案例就没有测量任何东西；它们只是在占用空间并虚饰“全面性”。要么淘汰它们，要么提升它们的难度。IRT 文献对此有数十年的形式化定义——但在工程实践中，它只是电子表格中一列名为“此案例是否产生过分歧”的记录。
将评估集构成视为一等版本的工件。 当套件发生变化时——增加了新案例、淘汰了简单案例、重新平衡了难度——变化前后的分数是不具备可比性的。假装它们可比，正是团队说服自己“模型退化了”的原因，而实际上是评估变难了。为每个分数打上其对应的评估集版本标签。跨版本对比必须要求人工明确确认：测量工具已经发生了改变。
管理者的检查点 修复这一问题最困难的部分不在于技术。而在于说服那些评估分数的消耗者——工程经理、产品评审人员、校准委员会——更新评估集并不是在“移动球门柱”。当测试套件变得更难时，分数就会下降。在旧套件上能拿到 96 分的新候选模型，在新的套件上可能只有 78 分。那些习惯了 96 分的利益相关者会将 78 分视为退化，并质疑为什么团队让情况看起来变糟了。
这种定调必须在更新发生之前完成，而不是在事后。如果团队宣布更新是由于“我们发现套件已经失去了区分候选模型的能力，因此我们重新构建了它以恢复信号”，那么他们就能获得保护。如果团队悄悄地将分数从 96 降到 78 并等待利益相关者的反应，那么他们将会面临一场关于“为什么 AI 质量突然崩盘”的会议。同样的改变，截然相反的政治结果——而政治结果决定了这种规范能否在下一个发布周期中存续。
同样的逻辑也适用于内部。过去习惯于交付“评估分数提升 0.2”的工程师，应当获得一种能够奖励其对有意义工具（而非饱和工具）做出贡献的认可。如果团队的晋升叙事依赖于来自一个从未进行过天花板效应审计的套件的评估提升，那么工程师们就是在累积无法经受推敲的工作证据。
架构层面的认知 更深层的教训——那个能跨越任何特定工具时代的教训——是评估套件是一种测量工具，而测量工具就像任何其他基础设施一样，都有其有效生命周期曲线。一个量程为 0–100 PSI 的压力表无法告诉你 980 PSI 和 1020 PSI 之间的区别。它仍然会产生读数；但这个读数只是固定在量程的顶端，完全不包含关于输入的有效信息。如果一个团队在能力翻倍的平台上运行同一个评估套件长达两年，他们就在犯同样的错误——用一把新世界已经不再适用的尺子进行校准。
那些能保持效用的工具，是根据它们试图衡量的能力进行更新的，是能区分“捕捉退化”和“候选模型筛选”的，是由那些将题目难度视为动态变量而非一次性设置任务的人所掌控的。剩下的所有套件都会慢慢从“团队模型选择的真理来源”转变为“产生一个没人敢质疑的数字的仪式”，而这两个功能之间的差距，正是错误模型在机构充满信心的情况下被发布的源头。
修复的成本比失败的代价要低。你需要的核心包括：每季度的天花板审计、区分退化与筛选案例、由生产环境失败案例驱动的动态难度流水线，以及每个案例的区分度评分。掌控工具的团队能保持决策的敏锐。而那些任由工具饱和的团队，则会从他们信任的、因为“一直有效”的套件中，不断获得自信却错误的答案。
余下内容仅对会员开放。 会员可读完整内容 —— 每一个公开发布的观点背后，那些框架、决策与推理的全貌。
— 完整文章，包含未公开存档的部分 — 可落地的工作框架，附带权衡与决策依据 — 新文章抢先看，先于公开发布 登录以继续阅读→ 随时取消 · 一次订阅，畅读全部
