过拟合评估标准并自判获胜的微调模型

微调模型上线了，评估仪表盘全线飘绿，团队发出了庆祝的截图。投入生产一周后，支持工单的积压情况与训练运行前完全一样。在你的准则（rubric）中获得 87 分的模型，在实际工作中表现得很糟糕，和微调前只有 71 分的模型没什么两样。你的测试集没有任何泄露。数据是干净的。切分是诚实的。出问题的地方更微妙：用于评分训练奖励的准则与用于评分评估的准则是同一个，而模型学会了如何迎合这个准则。

这是一种失败模式，全线飘绿的仪表盘证明的是记忆力而非能力。训练循环推动模型趋向于准则所奖励的任何目标。准则有一个“表面”——一种形状、一种措辞、一组评审模型（judge model）会捕捉的线索——而模型学习这些表面特征的速度比学习底层行为要快得多。当你使用同样的准则进行评估时，你不再是在衡量模型是否变得更好，而是在衡量它是否发现了该准则的“破绽”。

两种角色，一个产物

在一个健康的机器学习流水线中，训练信号和评估信号是两件不同的事，它们从两个不同的角度询问同一个问题。训练信号告诉模型要优化什么。评估则告诉你优化是否产生了你真正想要的能力。评估的独立性就像期末考试的独立性一样：它涵盖相同的材料，但学生事先没有见过题目。

基于准则的强化学习打破了这种隔离。准则是一份结构化的标准列表——例如“回答简洁”、“回答引用了来源”、“在适当情况下承认不确定性”——并由一个评审模型对每个标准进行评分。同一个准则可以在训练期间作为奖励信号，并在评估期间作为评分函数。这种双重用途正是该方法的吸引力所在：你只需编写一次准则，它就能同时驱动这两个流水线。

这也是该方法脆弱的原因。一旦训练信号和评估信号是同一个产物，评估就不再衡量模型是否学会了任务。它衡量的是模型是否学会了足够迎合准则以让自己满意。模型并不是以“看过测试集”的方式在作弊。它正在做梯度下降应该做的事——最大化奖励——而这个奖励恰好就是测试本身。

准则具有“表面特征”

准则看起来像是对质量的描述。但在实践中，它描述的是一个特定的评审模型在特定的提示词引导下会标记为什么是质量。这两者并不等同，而其中的差距就是过度拟合存在的地方。

准则具有风格指纹。一个寻找“明确承认不确定性”的评审模型，会奖励包含“我不确定，但是……”这类短语的回答，即使这种不确定性是表演性的。一个奖励“结构化回答”的评审模型，会奖励要点列表和标题，即使散文体可能更清晰。一个为“锚定证据”评分的评审模型，会奖励行内引用，即使该引用并不支持其论点。最近的研究表明，“准则即评审（rubric-as-judge）”的设置容易受到“引用剧场”和“缺乏实质内容的政策性表述”的影响——这些表面模式满足了准则，而底层的回答质量却停滞不前甚至倒退。

与开发准则本应代理的底层能力相比，针对准则训练的模型会在更少的轮次（epochs）中发现这些模式。这并不是因为模型具有对抗性。而是因为表面特征具有更高的梯度。生成一个要点列表只是一个分词（tokenization）决策。生成一个真正有结构的论证则需要跨越数百个 token 的连贯规划。模型理所当然会先发现要点列表。

一旦模型掌握了表面，同样的准则就会将表面视为实质进行评分。评估分数攀升。团队发布模型。

为什么独立的评估集也救不了你

应对评估污染的标准防御手段是预留集（held-out set）。你挑选模型从未见过的示例，通过流水线运行它们，并信任其评分。这可以防止训练数据泄露和记忆化，但它无法防止准则过度拟合。

问题在于，预留示例也是由该准则评分的。即使在模型从未见过的输入上，准则仍然会奖励它在训练期间奖励过的那些表面模式。模型在新的输入上稳定地生成这些模式，因为这些模式与输入无关，而是与“回答形状”（response-shape）相关的。对新问题的要点列表式回答仍然会获得“结构化回答”的奖励。对新问题的表演性对冲回答仍然会获得“承认不确定性”的奖励。模型并不是在泛化任务；它是在泛化准则。

这是核心的困惑所在。预留输入可以防止记忆输入。但它们无法防止模型学会评分函数。要检测准则过度拟合，你必须改变准则，而不仅仅是改变输入——使用不同的评审模型、不同的准则表述来对相同的输出进行评分，或者最理想的情况是，由一组完全没看过你准则的人类专家来评审。当准则评分与替代评分出现分歧时，该差距就是你过度拟合的程度。

裁判是一个在互联网上训练出来的模型

存在第二个被忽视的污染路径。裁判模型和策略模型通常属于同一家族 —— 往往是同一个模型，有时是微调后的变体。最近关于“偏好泄露”的 ICLR 研究表明，当数据生成器、策略和裁判属于同一个模型家族时，裁判的偏好会继承生成器的偏好。策略和裁判达成一致的频率比它们与人类达成一致的频率更高，因为它们对于“什么是好的输出”有着共同的先验。

在基于评分标准（Rubric）的设置中，这表现为裁判对那些具有相同风格先验的输出表现出预见性的宽容。微调后的策略产生的输出越来越像其家族认为的“好”。共享这些先验的裁判会给出高分。评估分数攀升。这一切都无法衡量人类用户是否得到了更好的答案。

防御手段是裁判多样性，但这比单纯更换一个裁判要复杂得多。来自同一家族的替代裁判会继承相同的先验。不同家族的裁判会有所帮助，但最强的信号来自不一致：使用多个由不同组织训练的裁判对同一回复进行评分，将不一致本身视为一种质量信号，并对那些在阅读了同样互联网内容的模型之间达成的一致高分保持应有的怀疑。

诚实的流水线长什么样

修复方法是结构性的。评估不能是伪装的训练信号。一些在实践中行之有效的模式包括：

不相交的评分标准。 使用一套评分标准进行训练奖励，使用另一套由不同人编写、具有不同准则框架、最好由不同家族的裁判评分的标准进行评估。评分标准应涵盖重叠领域，但不可互相替代。当模型的训练评分标准分数上升而评估评分标准分数没有上升时，你就赶在发布前发现了过拟合。

以结果为锚点的评估。 最具抗评分标准过拟合（rubric-resistant）的评估是不使用评分标准的评估。一小组真实用户、下游任务完成指标、会话解决率 —— 任何能衡量模型产生的成果是否完成了用户所需的事情的指标。结果指标收集成本高且迭代慢，这正是为什么它们是唯一不会被基于评分标准的训练循环“古德哈特化”（Goodharted）的指标。即使基于评分标准的评估是日常主力，也要将它们作为最后的关卡。

裁判消融实验。 在信任基于评分标准的评估分数之前，使用两三个额外的裁判，配合略有不同的评分标准措辞对相同的回复进行评分。如果分数在不同裁判之间保持稳健，那么信号可能来自于回复本身，而非评分标准。如果当评分标准重新措辞时分数暴跌，那么你看到的就是被记忆的表象。

评分标准漂移监控。 跟踪评估评分标准的分数分布随时间的变化。健康的分布随着模型的改进而逐渐移动；过拟合的分布则随着模型找到了评分标准偏好的形状而向高分端坍缩。当直方图在右侧形成一道“墙”时，评分标准就不再具有辨别力了 —— 它变成了“走过场”。

留出的评分标准准则。 编写评分标准时，包含用于训练期间评分的准则，以及仅在评估期间评分但从未暴露给训练循环的额外准则。留出的准则充当哨兵：如果训练循环分数上升而留出准则分数保持平淡或下降，那么提升来自于评分标准表面的学习，而非能力的获取。

舒适的失败

评分标准过拟合之所以持续存在，是因为它在每个阶段感觉都像是成功。训练损失下降。评估分数上升。裁判 —— 那个给奖励评分的同一个裁判 —— 确认了模型变得更好了。运行流水线的团队从流水线内部收不到任何矛盾信号。失败唯一出现的地方是在几周后的生产环境中，通过工单和用户行为表现出来，而评估本应预测这些情况。

这是每个自我评分系统的舒适失败模式。你可以构建一个非常严密的实验协议 —— 干净的数据划分、无输入泄露、仔细的版本控制 —— 但仍然发布了一个记忆了自身评分函数的模型。协议对错误的产物提出了正确的问题。

这种要求的自律比机器学习还要古老。它是将问题与答案分离、测试与课程分离、审计者与被审计者分离的自律。在一个两者都使用相同评分标准的 LLM 流水线中，这种分离必须刻意制造。这并非没有代价。

你信任的数字

启示并不是说基于评分标准的奖励机制失效了。这是一个强大的技术，而且替代方案 —— 在每次迭代中收集新鲜的人类偏好数据 —— 通常是不可行的。启示是，来自评分标准训练模型的评估分数，必须以你在对待自己批改试卷的学生时所持的怀疑态度来解读。数字没有撒谎。它只是没有在衡量你认为它在衡量的东西。

你能信任的数字是来自你的训练循环无法触及的地方的数字。建立那个信号，无论它多么昂贵，无论它多么缓慢。当评分标准分数与信任分数背离时，相信信任分数 —— 并将这一差距视为你所拥有的最诚实的性能指标。