评估悖论：古德哈特定律如何破坏 AI 基准测试

没有任何一种方法本身是足够可靠的。一个模型可以表现出所有清洁评估的迹象，但仍然存在严重的污染。无法检测到污染并不代表训练是清洁的——这只代表检测方法还没跟上。

真正有效的方案：三种结构化修复手段​

在应对刷分（Gaming）行为方面取得进展的团队，通常会汇聚到这三种方法上。没有哪一种是完美的解决方案；关键在于组合使用。

动态、轮换的测试集。 静态基准测试一旦泄露，就会永久面临风险。另一种选择是持续替换：从模型训练截止日期之后的竞赛和真实事件中获取新问题，并进行时间维度上的追踪，以确保模型始终是在真正未见过的素材上进行测试。LiveCodeBench 收集了各模型知识截止日期之后的 LeetCode、AtCoder 和 Codeforces 题目，然后追踪不同时间窗口内的表现，以识别数据污染的特征。这种方法的开销比维护固定测试集要高，但防刷分的能力也更强。

大规模人类偏好。 众包偏好评判——让人在不知道答案来源的情况下，从两个模型响应中选出更喜欢的那个——比固定测试集更难刷分。评估目标是不断变化的人类偏好分布，而不是稳定的题库。没有可以死记硬背的固定答案。这种方法的实践版本是与来自多个领域的大量、多样化的评分者群体进行两两比较（Pairwise comparison）。其局限性在于，人类偏好并不总能准确反映专业或技术任务的质量，且该方法在大规模扩展时成本昂贵。

带有隐藏测试集的监考式评估。 这一核心洞察借用了标准化考试的经验：测试题目绝不应公开，仅在评估时展示，并在使用后弃用。模型在从未见过的测试集上接受评估，且测试集在评估完成前一直处于受保护状态。加密承诺（Cryptographic commitments）可以防止事后操纵。这种方法需要治理基础设施——谁决定包含哪些问题、谁验证有效性、题目如何更新——但它从根本上改变了激励结构。由于测试集在评估日之前并不存在，因此也就无从污染。

评分员问题也同样真实​

即使测试污染不是问题，评估也需要决定什么是“正确答案”。对于客观任务——这段代码能编译吗？这个计算结果一致吗？——这很简单。但对于任何主观任务，你都需要一个评分员（Grader），而评分员也是可以被刷分的。

LLM 即评委（LLM-as-judge）评估（即用大模型评估另一个模型的输出）已变得非常普遍，因为它扩展成本低廉。问题在于 LLM 评委也有偏好：它们偏好冗长的回答，偏好符合自身训练数据风格的输出，并且容易受到与质量无关的谄媚式措辞（Sycophantic framing）的影响。针对 LLM 评委优化的模型并不一定针对真实质量进行了优化，它只是针对评委奖励的模式进行了优化。

多评委系统会有所帮助。基于代码的评分员（快速、客观、可审计）结合基于模型的评分员（灵活、处理开放式任务），再结合定期的人类审查（捕捉另外两种评分员漏掉的系统性错误），提供了让刷分变得更难的冗余机制。任何单一类型的评分员都有可利用的弱点。这种组合提高了刷分的成本，使其变得不再实际。

Anthropic 在评估智能体（Agent）时增加了一个重要的约束：任务设计应确保两个独立的领域专家能达成相同的通过/失败判定。如果一个任务模糊到让评分员产生分歧，那么它就无法清晰地测量任何指标。为“评分者间一致性（Inter-rater agreement）”而设计的严谨性，过滤掉了许多看起来有意义但实际并非如此的任务。

激励问题不会消失​

从原则上讲，只要有足够的资源，上述每种结构化修复手段都可以被刷分。隐藏测试集需要值得信赖的治理。人类偏好委员会可以通过人口统计定位被操纵。动态基准测试会产生压力，迫使模型在非常新鲜的互联网内容上进行训练，以污染截止日期后的数据。

更深层的问题在于，基准测试分数已经变成了营销手段。公司在公开排行榜上争夺名次，因为排名能推动企业交易和开发者采用。刷分的激励与“看起来赢了”所带来的商业价值成正比——对于前沿 AI 公司来说，这一价值巨大。

这意味着，如果不改变基准测试的治理方式以及行业对待基准测试分数的方式，任何技术手段都无法完全解决问题。“我们的模型在基准测试 Y 上达到了 X%”与“我们的模型在任务 Y 上具备 X% 的能力”之间的区别是巨大的，但公众讨论往往会消除这种区别。从业者无法修复激励结构，但你可以停止将排行榜名次视为能力声明。

到底应该衡量什么​

对于大多数构建产品的团队来说，相关的问题不是“这个模型在 MMLU 上得分多少？”，而是“这个模型能处理我的用户遇到的特定失败模式吗？”通用基准测试对于初步的模型筛选和排除很有用。但在理解特定领域的生产质量方面，它们几乎毫无用处。

那些能逃脱古德哈特定律（Goodhart's Law）诅咒的评估，往往具有以下几个属性：

• 它们是细分的。 那些声称测量“推理”或“智能”的广泛基准测试是优化的目标。而在特定输入分布上测量特定、明确定义的行为的基准测试更难刷分，因为刷它们的价值较低。
• 它们与生产数据挂钩。 从真实用户交互中采样（配合适当的隐私控制）会创建一个不可能被污染的评估分布，因为它在部署之后才会存在。
• 它们包含对抗性输入。 专门试图破坏系统的人类会发现标准基准测试遗漏的失败模式。这虽然昂贵，但能产生有用的信号。
• 它们是变化的。 任何针对一个被积极优化的系统长期运行的固定评估，最终都会被刷分。从一开始就内置轮换机制，会迫使团队在评估质量上进行持续投入。

评估悖论是不可调和的。只要基准测试分数具有商业分量，就会存在针对分数进行优化而非针对其背后能力进行优化的压力。可以解决的是构建这样一套评估系统：让刷分需要投入巨大的精力以至于得不偿失，并且让信号在下一轮优化使其退化之前，能保持足够长的有效时间。

做对这件事的团队会将评估视为一个产品，而不是一个待勾选的任务。它需要持续的投入、对抗性思维，以及弃用那些已完成使命的测试的自律。没做对的团队将继续为基准测试分数欢呼，即便这些分数对用户的实际体验没有任何预测价值。