一个拥有 300 亿参数、但只有 30 亿激活参数的混合专家模型，在一项金融研究基准上从 42.5% 提升到了 58.9%，击败了最强的前沿模型（55.9%），而且每道题只花 $0.61，而不是 $6.89。这是 Samaya 最近一篇后训练（post-training）文章的头条结论，也是一个很好的由头，让我们可以问一个实际问题：如果你想自己搭出这套东西，这套配方里哪些部分是可以信任的？
先说两点注意事项。这个结果来自单一基准，而该基准的作者与模型的作者高度重叠，并且相对前沿模型的领先幅度只有 3.0 个百分点。所以这篇文章把这篇写作当作一份需要审查的配方，而不是一个值得庆祝的结果。对每一个步骤，我会说明做了什么、带来了什么收益，以及有多少外部证据支持它。
结果，以及那些小字条款
这个基准叫 FrontierFinance，包含 220 道公开题目，按照 11,543 条标注了来源出处的评分细则（rubric）条目来打分。分数是答案满足的细则条目所占的比例。基准论文和模型文章的大部分作者是同一批人，这意味着定义“好”的人和朝着“好”去训练的人是同一批人。这并不构成否定理由，因为题目集和评分代码都是公开的，但这确实意味着在其他人都无法复现之前，这个数字应该打个折扣。
该模型的得分是 58.9%，而最强前沿模型是 55.9%，相差 3.0 个百分点。在高投入配置下，以每题 $1.83 的成本可以达到 60.6%。在最难的用例——筛选（screening）和宏观研究——上，前沿系统的得分只有 30 多分，而这也正是训练后的模型提升最大的地方。
成本方面的结论是更稳健的发现。在 $0.61 中，大约 $0.04 是研究本身的成本；前沿闭源模型在同一个框架（harness）内做同样的研究，成本是 $0.56 到 $0.95。一个数量级的成本差距，比 3 个百分点的准确率差距要难解释得多。
第零步：在训练任何东西之前，先造好评分器
后续每一个阶段都要消耗评分细则，所以这套配方从这里开始。金融专业人士编写了题目，并按照每道题的评分细则进行评分，每条细则条目都标记为是否必需。一个留出的基准完全排除在训练之外，另有一套 100 道内部题目用来挑选检查点（checkpoint）。
这是大多数团队会跳过的一步，也是外部文献支持最充分的一步。“以评分细则作为奖励”（rubrics as rewards，Scale AI，ICLR 2026）这项工作用 GRPO 训练了一个 70 亿参数的模型，使用清单式奖励，在一个医学基准上相对一个直接打 Likert 分的评判器最多领先 31%（相对值）。有两个细节对你很重要。第一，那里的评分细则是由一个看过参考答案的 LLM 写的，而没有参考答案生成的评分细则表现更差。第二，表现最好的变体是把整份评分细则交给评判器、要求给出一个整体分数，而不是把逐条检查的分数加起来。金融这套配方奖励的是满足的细则条目所占比例，这更接近论文里的加权求和变体，而不是整体评分那个变体。
那篇论文测试的是医学和科学领域。它没有测试工具使用或智能体循环（agent loop）。所以证据只能说明：在某种程度上可验证的领域里，评分细则奖励优于模糊的偏好分数，而不能说明它们对长时程智能体有效。
框架（harness）是模型的一部分
智能体运行在一个为小模型裁剪过的生产框架里。作者从系统提示和工具描述中删掉了指导内容，合并了工具（剩下 37 个），并增加了两个辅助模型：一个压缩器（condenser）用来缩短过长的工具返回结果，一个整理器（compactor）用来总结不断增长的轨迹（trace）。研究预算限制了智能体工作的时间，另有一个独立的报告撰写器把发现的东西变成带引用的答案。
这篇文章自己的教训是：框架的小改动，比如报告撰写器能看到什么，会让分数朝任意方向变化，所以训练和评估都在完全相同的线上服务框架上运行。基准论文也提出了同样的观点：工具框架会强烈影响质量和效率，而不只是影响模型。两个说法都来自同一个团队，所以应把这当作有见识的实践者经验，而不是独立验证。不过它也非常合理，这本身就说明一些东西。
实用的规则是：在生成训练数据之前先把框架冻结，因为你收集的每一条轨迹都是那个框架的轨迹。
四个阶段
这些增益加起来正好是完整的 16.4 个百分点：42.5 到 51.4，然后是 54.8，然后 57.5，然后 58.9。
阶段 1：合成 SFT 教会模型操作方式（+8.9）
作者生成了 968 道合成的分析师题目，其用例、技能和难度的组合与真实训练集相匹配，且不带评分细则。一个强大的开源教师模型使用工具对每道题回答两次，再由一个 LLM 评判器保留更好的那个答案。目标不是准确率，而是教小模型用合法的参数调用 37 个工具，并在最后移交给报告撰写器。
这是成本最低的阶段，却带来了最大的单次跃升。如果你只够预算做一个阶段，那就是这个阶段——它能把一个连工具调用都搞不利索的模型，变成一个至少能把活干起来的模型。
阶段 2：在八种策略的最优结果上进行 SFT（+3.4）
对于 1,819 道专家编写的问题，教师模型针对每道题回答了八次，每次采用不同的研究策略。每个答案都根据该问题的评分标准进行评分，每道题只有评分最高的答案被保留。随后，作者按长度或工具调用次数剔除了排名后四分之一的答案，留下 1,157 道题，并训练了五个 epoch。第 3 个 epoch 在验证集上表现最佳；后续 epoch 出现了过拟合。
报告指出，八选一的最优答案平均满足约 80% 的关键评分项，而单一最佳策略约为 66%。请仔细理解这一点。“八选一”是在看到评分之后才选出的，因此这是一种 oracle 选择。它表明策略多样性确实有真实的上行空间，但这并不意味着任何可部署的策略都能达到 80%。它真正支持的是数据配方：广泛采样、评分、保留优胜者，并过滤掉敷衍的简短答案。
阶段 3：离线 GRPO 复用教师样本（+2.7）
GRPO 由 DeepSeekMath 提出，它去掉了学习到的价值模型，改用一组采样答案的平均奖励作为基线。阶段 3 将每道题的八个教师答案作为该组，从它们之间的对比中学习，不生成任何新内容。一次遍历为 132 步，每步 8 道题 × 8 个答案，奖励为满足关键评分项的比例。
这很廉价，因为样本已经存在。它也是独立验证最少的一步。已发表的 GRPO 是在策略上的（on-policy），即组内样本来自正在训练的模型。使用另一个模型的答案作为组是一种实用捷径，作者报告其有效，而我没有找到任何论文测试过这一点。
阶段 4：在模型自身尝试上的在线 GRPO（+1.4）
最后，模型对每道题采样八次尝试，评分器根据所有评分项对每次尝试打分，GRPO 基于结果进行更新。该次运行共 26 步，每步 16 道题 × 8 次尝试。所选问题为教师评分存在差异的题目，因为每次尝试都答对或都答错的问题无法提供学习信号。在最后四步中，作者加入了智能体最常耗尽研究预算的题目，以此教它收敛。
这一阶段的理论依据相当扎实。最近一篇关于任务奖励重要性的论文认为，仅仅锐化模型现有分布的 RL 收益有限、有时甚至不稳定，而优化真实任务奖励则能带来稳健的提升。该结论在 3B 到 4B 的数学模型上得到验证，因此它支持的是这一原理，而非金融领域的数字。
真正推动数字变化的因素
报告中有两个模式比任何单个超参数都更有价值。
模仿做了大部分工作。 两个 SFT 阶段贡献了 12.3 分；两个 RL 阶段贡献了 4.1 分。如果你把整个流程解读为 RL 的成功故事，你就会在最后、最昂贵的阶段过度投入。更好的解读是：先蒸馏一个强大的教师，再用 RL 来打磨。
难度组合决定了收益落在何处。 合成 SFT 池在 968 道题中有 384 道难题。专家评分的 SFT 池只有 4% 是难题。在线 RL 池在采样后约 30% 是难题。各阶段的结果几乎完全吻合这一比例。最佳教师 SFT 将基准中最简单的三分之一从 61.3% 提升到 67.7%，但最难的三分之一仍停留在 39% 附近。在线 GRPO 凭借其更难的题目池，将最难的三分之一从 41.9% 提升到 45.2%，是其 1.4 分总体增益的两倍多。在整个流程中，这一部分从 31.8% 提升到了 45.2%。
报告自己的总结是：难题在训练它们的阶段中提升最大。这是相关性结论，因为每个阶段也改变了方法，所以我不会称其为受控消融实验。但它具有可操作性：在花费算力之前，审计每个阶段数据的难度分布。
保持 MoE 强化学习稳定
基础模型是混合专家（MoE）模型，采样引擎和训练引擎对相同 token 计算出的概率略有不同。在 MoE 模型中，这种不匹配更为严重，部分原因是两者的专家路由可能不同。作者通过截断重要性采样来纠正，该方法对概率比率设上限，使极端值无法主导更新。他们还在存储的尝试上离线调整超参数，以便廉价地探索。
实践者报告描述了在没有此类纠正的情况下，30B MoE 出现崩溃。关于仅靠截断是否足够，研究尚无定论。一篇后续论文认为 MoE 会增加截断无法捕捉的额外离策略漂移，并提议在训练期间重放推理时的专家路由。另一项研究发现，重要性采样纠正在完全在策略训练中提供了最稳定的结果，而一旦加入离策略更新，裁剪和路由重放就变得必要。报告没有公布其截断阈值，所以这一项你需要自己调。
证据评分卡
| 步骤 | 证据 | 评级 |
|---|---|---|
| 以专家评分标准作为奖励 | 评分标准作为奖励优于 Likert 评判，但仅在医学和科学领域验证 | 相关证据 |
| 用 LoRA 代替全量微调 | LoRA 在策略梯度 RL 中与全量微调相当，但仅在仅含结果奖励的稠密 8B 模型上测试 | 相关，外推到 MoE 智能体 |
| 用于工具机制的合成 SFT | 仅有报告本身 | 作者经验 |
| 八选一教师轨迹 | 仅有报告；选择使用了评分器 | 作者经验，oracle 上行空间 |
| 教师样本上的离线 GRPO | GRPO 仅在策略上得到验证 | 作者经验 |
| 带任务奖励的在线 GRPO | 任务奖励优于分布锐化，在小规模数学模型上验证 | 相关理论 |
| MoE 的截断重要性采样 | 实践者报告；后续研究对充分性存在分歧 | 混合 |
| 难度组合驱动收益 | 各阶段数据的相关性 | 作者经验 |
| 上下文长度奖励权衡 | 单个检查点的单次运行 | 弱 |
| 评测框架协同设计 | 同一团队的两篇论文 | 合理，但非独立 |
LoRA 这一行值得说明。Thinking Machines 的研究认为，策略梯度每个回合大约携带一个比特的信息，因此即使 rank-1 适配器的容量也超过 RL 所需，并且发现最佳学习率约为全量微调的十倍。它还发现仅适配注意力层的效果不如适配 MLP 层。该研究使用稠密模型和最终答案奖励。SFT 阶段每 token 推送的比特远多于此，属于不同的范畴，而报告没有公布适配器的 rank。
如果你要自己搭建这套方案
一条最小可行的路径，按我对每一步的信任程度排序：
- 先写评测和评分标准。 把基准测试完全留出来，另外保留一个小规模的内部验证集用于选择 checkpoint。
- 冻结一套对小模型友好的 harness：更少、合并后的工具，简短的工具描述，结果压缩，研究预算，以及一个独立的报告撰写器。
- 用强 teacher 跑合成 SFT，把工具使用调对。预期这会带来早期最大的提升。
- 在真实问题上广泛采样 teacher 的输出，打分，保留胜出的样本， 并过滤掉过短或工具调用过少的回答。以验证集表现为准停止，而不是以 loss 为准。
- 在奖励有方差的问题上跑在线 GRPO， 如果你的模型是 MoE，就加上重要性采样修正。跳过或推迟离线 GRPO 阶段，直到你有理由需要它。
- 在每个阶段都检查难度配比。
你需要自己去摸索的东西：LoRA rank 和学习率、KL 系数、截断阈值、每一步的 batch 组成，以及你的评分器会如何表现。这些都没有公开。
要点
这套配方中最具迁移价值的想法不是一个技巧，而是一种纪律：用专家评分标准给一切打分，把大部分精力花在与你想要提升的方向相匹配的数据上，并把强化学习当作给一个已经由强 teacher 教会了的 agent 上的最后一道抛光。最脆弱的想法则是那个头条主张。在一个由同一团队构建的基准测试上领先 3 分，在它值得被写进路线图之前，先值得被复现一次。不过，即使准确率上的领先缩小到零，成本优势依然重要。