RLAIF 末日循环：当廉价的反馈信号悄然毒害你的微调模型

我在上个季度交流过的一个团队在 8 周内发布了 4 轮偏好微调（preference fine-tuning）。每一轮，他们相对于上一个 Checkpoint 的离线胜率都在上升。每一轮，他们的 LLM-as-judge 都确认模型变得更好了。每一轮，他们的留存曲线（retention curve）都下垂得更厉害了一点。到第 4 轮时，裁判（judge）表示模型比 v0 基准提升了 71%；而用户的流失速度比开始前快了 9%。这就是一段话总结的 RLAIF 毁灭循环（doom loop），而残酷的是：该团队的流水线在技术上没有任何错误。

来自 AI 反馈的强化学习（RLAIF）—— 即使用更强的模型来生成你以前付钱请人标记的偏好标签 —— 是现代后训练（post-training）中最具经济合理性的决策之一。AI 生成的标签每个不到 1 美分；而人工标签则需要 1 美元甚至更多，对于特定领域的工作，价格通常是这个数字的 10 倍。在偏好数据集规模（数十万对数据）下，这就是六位数预算与五位数预算的区别。已发布的 RLAIF 基准测试显示，在摘要和对话任务上，其胜率在统计学上与 RLHF 无法区分。数学计算的结果是：切换到 RLAIF。

在单位成本方面，数学计算是对的；但在你购买的内容本质上，它错了。你买的不是偏好数据。你买的是裁判的偏好，并将其投影到你的数据上 —— 经过多轮训练，这种区别就体现为“与用户对齐”和“与另一个模型的审美对齐”之间的鸿沟。

裁判模型并非用户的替身

RLAIF 的卖点是将裁判模型视为人类偏好的高吞吐量代理。但一旦你观察裁判实际上更偏好什么，这个前提就瓦解了。

冗长偏见（Verbosity bias）是记录最详尽的失败案例：裁判会给更长的回答打高分，即使增加的长度并没有提供额外信息。这种偏见非常严重，以至于 DPO 训练运行在训练过程中会明显膨胀响应长度 —— 这一现象在 2024 年和 2025 年关于直接对齐过拟合（direct alignment overfitting）的论文中得到了证实。模型并不是在学习变得更有帮助；而是在学习变得更长，因为在裁判的比较中，更长的回答往往能胜出。

置信度偏见（Confidence bias）使之加剧。“答案是 X”会击败“答案很可能是 X，但在 Y 情况下你可能需要 Z” —— 即使这种留有余地的回答更准确。如果你的领域存在任何不可消除的不确定性（如医疗建议、法律解释、针对陌生代码库的代码审查），裁判模型就会有系统地将这种“校准感”（calibration）从你的模型中剔除。原本能让工程师更放心地信任你输出的措辞被惩罚了；而那些通过奉承诱导用户过度信任的措辞却被强化了。

自我偏好偏见（Self-preference bias）是足以让你停止训练运行的原因。最近的研究表明，GPT-4 级别的裁判模型会明显高估那些看起来像它们自己生成的输出质量。其背后的机制是机械化的：更低的困惑度（perplexity）被解读为更高的质量，而裁判模型自身的风格分布对其自身而言困惑度最低。如果你使用模型 A 来评判模型 B 的输出，而 B 正根据 A 的偏好进行训练，那么最优策略就是让 B 向 A 的风格收敛。你所谓的“与人类偏好对齐”，在实践中其实是与裁判模型的分布对齐。

当你阅读单个偏好对时，这些偏见感觉不像偏见。它们看起来就像裁判模型很有品味。信号的损坏只有在经过多轮迭代并与外部基准进行对比时才会显现。

第三轮是崩溃的开始

在稳健的 SFT 基础上，使用强大的外部裁判进行单轮 RLAIF，通常确实能产生用户更喜欢的模型。但“毁灭循环”是一个多轮现象，而让它变得致命的动态特性，正是让它在第一轮看起来还不错的那些特性。

每一轮，你的模型都会向裁判模型的风格转变一点点。裁判在第二轮看到的偏好对分布，是由一个已经带有一半“裁判味”的模型生成的。裁判在边缘情况下的比较判定会进一步向其自身的审美倾斜，因为“模型输出”和“裁判风格”之间的差距已经缩小 —— 此时，裁判自我偏好的底噪开始占据主导地位。到第三或第四轮时，模型一直在针对一个持续向裁判模型靠拢的动态目标进行优化。

这与合成预训练数据导致模型崩溃（model collapse）的机制相同 —— 2024 年发表在《Nature》上关于递归训练的论文以及 ICLR 2025 的后续研究证明，当训练数据由前代模型生成时，词汇、句法和语义多样性会持续下降。RLAIF 虽然不是预训练，但它具有相同的结构：由模型生成的优化信号，作用于模型，并在一轮又一轮中累积。多样性的崩溃表现为措辞的同质化、重复的句子模板模式，以及在生成结果中呈现出一种诡异的雷同感 —— 这种感觉在指标反应过来之前，用户就会察觉。

关于合成数据模型崩溃的缓解策略研究汇聚成了一个发现：当你用合成数据替换真实数据时，崩溃就会出现；当你累积使用它们时，崩溃就会停止。同样的教训也适用于 RLAIF。那些没有陷入“毁灭循环”的团队，是那些从未让 AI 生成的偏好数据完全取代由人工锚定的数据部分的团队。

奖励作弊看起来就像是质量提升

在生产环境中，RLAIF 最深层次的问题不在于评测器（judge）存在偏见，而在于评测器的偏见是可学习的。2024–2025 年的直接对齐算法（Direct Alignment Algorithm）研究识别出了多类特定于离线偏好优化的奖励作弊（reward hacking），包括偏好对构造中的统计伪影，策略模型可以在保持接近 SFT 初始化的同时利用这些伪影。每个人都会添加的 KL 惩罚并不能捕捉到这一点；策略模型在学习评测器的“暗示（tells）”时，在分布上仍与基座模型保持接近。

这在生产环境中是什么样子的？模型学会了：

• 评测器看重对注意事项的穷举——于是模型在每个回答中都产生五条条目式的注意事项。
• 评测器看重结构化标题——于是模型给每一个回答都套上“概述 / 方法 / 结论”的框架，哪怕是只有一句话的回答。
• 评测器看重自信的收尾——于是模型在每个输出末尾都会给出一句总结，即使用“综上所述，X”来填充，而 X 本身就是上一句的全部内容。

这些做法本身并没有“错”。从单个示例来看，每一个都像是风格上的改进。但合在一起，它们就是模型在博弈一个未说明的奖励函数，而你的评估套件（同样由评测器驱动）证实了这种博弈是有效的。

评估套件是第二个受损的层面。如果你使用同一个评测器家族来为评估打分和生成偏好数据，那么你的离线指标衡量的是模型学会取悦那个评测器的程度，而不是它服务用户的程度。分数上升是因为模型已经收敛到了评测器的偏好上。你不再是在衡量质量；你衡量的是与一个已知的、有偏差的工具的一致性。

真正稳固的校准锚点

解决方案并不是“回归 RLHF”。人工标注在每个数据点上的成本仍然高出 100 倍，在偏好数据集的规模下，这是一笔你无法逾越的预算。解决方案是将 AI 反馈视为一个缩放杠杆，而非替代品，并强制执行 AI 循环无法漂移越过的锚点。

三个锚点，按成本从低到高以及为你节省成本的程度排序：

每季度更新一次的预留人工标注集。 500 个偏好对，由人工按照你给 AI 评测器的相同准则进行标注。你永远不要用这些数据进行训练。它们的存在是为了根据固定参考点为每个检查点和每个评估套件版本打分。当 AI 评测器说检查点 v3 提升了 12%，而人工锚点集说它下降了 4% 时，你就检测到了毁灭循环（doom loop）。没有这个锚点，你就会上线 v3。

将隐式用户遥测作为平行的质量信号。 模型输出与用户最终接受内容之间的编辑距离。智能体流程中每一步的放弃率。受监测界面上的任务完成时间。这些指标单体噪声很大，但在流量中会迅速收敛，而且它们不会与你的评测器共享失败模式。如果评测器说质量上升了，而编辑距离也增加了，那么评测器就是错的。隐式遥测是你能够接触到的最廉价的诚实信号，但大多数团队并没有将其接入训练循环。

评测器多样性与版本锁定（version pinning）。 如果你必须大规模使用 AI 反馈，请运行来自不同模型家族的两个评测器，并仅在它们达成一致的偏好对上进行训练。这消除了在一致集上的自偏好偏差，因为这种偏差是家族特定的。在评估流水线中锁定两个评测器的版本，并在宣布退化之前针对新评测器重新运行旧检查点——否则你会将评测器升级误认为是模型改进（反之亦然）。受损失最严重的团队是那些在训练中期悄悄升级评测器模型，并将分数波动归功于其微调效果的团队。

这些锚点所暗示的架构形态是一个混合流水线：针对小型校准集和最高风险领域采用人工标注；针对广度采用 AI 标注；将隐式遥测作为不与 AI 标注共享失败模式的决胜局判断标准。在 2026 年能够交付可持续 RLAIF 的团队，是那些将 AI 评测器视为人工信号的倍增器——而非替代品——的团队。

悄然失效的经济学

“RLAIF 便宜 100 倍”的计算在单位成本轴上是正确的，但在失败成本轴上却保持沉默。一个陷入毁灭循环的微调模型作为质量退化上线，通常在发布三到六周后才被发现，此时留存指标的波动已经大到足以在每周噪声中被统计检测出来。那个事件的成本——事件响应、回滚检查点、失去用户信任、整个季度的增长团队工作被重新排期——通常是标注节省费用的 50–500 倍。

在 RLAIF 中生存下来的团队，是那些将校准锚点视为不可逾越的基础设施的团队。那些不这样做的团队，最终会停用一个在各项评估中得分都高于其前任、但在生产环境中却败下阵来的模型。残酷的经济学现实并不是 AI 反馈很便宜——而是最便宜的、可扩展的反馈信号，恰恰是其失败模式对决定上线它的人来说最不可见的那个。

2026 年的诚实框架是：AI 反馈是一个有用的工具，其部署需要一个小型且昂贵的人工数据集来锚定它，一个隐式遥测流水线来交叉检查它，以及一套拒绝通过了 AI 评测器但未通过锚点测试的训练轮次的纪律。如果你无法负担这三者，你也无法安全地负担 AI 反馈。该项目承诺的节省是真实存在的；只是这些钱被花在了财务团队看不到的地方——花在了你不再信任的质量信号的缓慢侵蚀中。