调出过去四次模型升级的仪表盘，查看安全指数（safety number）旁边对应的帮助指数（helpfulness number）。在每次发布中，总有一个指数在变动，而且几乎从不是同一个。负责安全评估的团队发布了一个“将拒绝加固提升了 6 个点”的修复程序，三周后，负责帮助性评估的团队发布了一个“在合法查询完成度上恢复了 5 个点”的修复程序。然后，循环再次开始。
这并不是两个团队在各自取得独立进展。而是一个模型在沿着同一个轴摆动，而组织却在用两把相反的尺子测量它，每把尺子上所谓的胜利都是另一把尺子上无声的损失。刚刚庆祝了安全性能提升的团队，在不经意间发布了一个拒绝更多合法医疗问题、法律问题和“如何做”问题的模型——而这些问题的词干恰好看起来像训练数据中的不安全内容。由于这种帮助性的倒退属于不同的冲刺周期、不同的负责人和不同的仪表盘，因此它被忽视了。
这种“双重评估”的设计初衷似乎很严谨。它可审计，产生看似正交的数字，并允许两个团队并行工作。但它在结构上保证了优化过程会在每个循环中用一个数字交换另一个数字，因为这些指标实际上并非正交——它们是模型在处理每一个请求时所做的同一个决策的两种投射，而评估设计掩盖了这一决策本是同一个决策的事实。
双重评估机制正在从相反的两端测量同一个轴
在通常的形式中，安全评估是一组有害或双重用途的提示词，其中标记的“正确”行为是拒绝。拒绝得分高；顺从得分低。当模型拒绝更多此类提示词时，该指标就会上升。
而在通常的形式中，帮助性评估是一组合法的提示词，其中标记的“正确”行为是回答。顺从得分高；拒绝得分低。当模型回答更多此类提示词时，该指标就会上升。
如果你将模型的行为描绘成一个关于“我现在应该多谨慎”的单一决策阈值，那么这两个指标就是从相反的两侧测量该阈值。将阈值向谨慎方向移动，安全评估会提升，而帮助性评估会下降。将其向顺从方向移动，帮助性评估会提升，而安全评估会下降。仪表盘测量的不是独立的能力；它们是通过两个互补的透镜观察到的同一个刻度盘。
这就是帕累托前沿（Pareto frontier）的结构形态。最近的研究正式阐明了这种几何关系——当研究人员仅针对安全性、仅针对帮助性或按顺序针对两者进行偏好优化时，生成的模型会落在一条大致线性的前沿上，而不是发现一个能同时兼顾两个轴的最优解。即使在同一次训练中同时针对这两个目标，往往也只是产生前沿上的另一个点，而非实质性的提升。前沿存在于模型的实际行为中。而双重评估机制隐藏了它。
隐藏前沿会产生组织层面的后果。当负责安全仪表盘的团队发布一个加固变更时，他们在自己的图表上看到了一个漂亮的向右上方移动的趋势。但在同一张图表上，他们看不到自己刚刚给合法查询群体强加的代价。帮助性团队会在两周后在他们的仪表盘上看到这一代价（表现为性能倒退），并将其视为一个需要解决的新问题，而不是前一次“胜利”的必然结果。两个团队轮流前后拨动刻度盘，每一步在局部都是理性的，但每一步都在抵消前一步。模型在前沿上的表现从未提升；它只是在前沿上滑动。
你真正需要的指标是“正确的行动”，而非“拒绝”或“回答”
解决方案不是增加第三个评估来合并另外两个。解决方案是认识到，“拒绝”和“回答”是模型在处理每个请求时所做的选择中的两种，而你一直需要的指标是模型是否在该特定请求中做出了 正确 的选择——而不是它是否在整个测试集中选择了某一种特定行为。
具体来说，每个评估案例都应该携带一个标记为“正确行动”的目标，而不是标记为“正确输出”。对于明显有害的查询，正确行动是 拒绝 。对于明显良性的查询，正确行动是 回答 。对于真正模糊的中间地带——即查询可能是一个合法的专业问题，也可能是某些不安全意图的伪装——正确行动很少是生硬的“是”或“否”；它通常应该是 澄清 、带有安全警告的回答 、回答安全的部分并标记不安全的部分 ，或者在某些情况下 部分回答并拒绝危险细节 。一个校准良好的模型会根据每个请求从中选择行动；一个设计良好的评估会奖励选择正确的行动，并惩罚任何其他选择——包括以同样的严厉程度惩罚对良性查询的 过度谨慎 选择和对有害查询的 盲目顺从 选择。
这种重构有几个值得明确的机制性后果。
首先，分析单位从“模型是否产生了拒绝”转变为“模型是否产生了该案例标记的行动”。在有害案例中拒绝与在良性案例中回答的得分相同：两者都是正确的行动。在良性案例中的过度拒绝与在有害案例中的拒绝不足得分相同：两者都是错误的行动。评估不再能通过统一增加或减少谨慎度来作弊，因为任何一种变动都会导致一种正确行动与一种错误行动的互换，从而使总得分基本保持不变。
其次，标签模式必须扩展。二进制的“拒绝/回答”标签无法表达“此案例应得到省略危险细节的部分回答”或“此案例应得到澄清提问，因为意图确实模糊”。评估需要从更丰富的集合中标记行动——至少包括 {回答, 带有警告的回答, 澄清, 仅回答安全部分, 拒绝} ——并带有公差带，描述哪些相邻行动对于边界案例是可以接受的。词典式评分（Lexicographic scoring，即对标记行动给予全分，对相邻行动给予部分分数，对远离的行动给予零分）使得指标在面对困难案例的分歧时保持稳定，同时又不会削弱简单案例的信号。
第三，评估集必须对“边界”进行过采样，而不是对“极端情况”进行采样。任何暴露拒绝校准漏洞的实际生产流量，其核心都集中在阈值附近——那些 看起来 像有害集但其实不是的查询，以及那些 看起来 像良性集但其实有害的查询。一个主要由“明显有害”和“明显良性”案例组成的评估集，即使在校准极差的模型上也会产生很高的单一得分，因为模型在简单案例上表现正确，而简单案例占据了平均值的主导地位。困难案例部分才是拒绝校准真正发挥作用的地方，它需要足够大，以便边界错误能明显地影响指标。
为什么双重准则评分纪律比阈值本身更重要 一个单一的“正确行动”指标，通过对带有容差带（tolerance bands）的逐案例标记行动进行评分，会给你一个指向单一方向的数字。提高这个数字需要模型“做对更多案例”，而不是向任何一个方向进一步倾斜。这就是双重准则评分纪律：每个评估案例都包含一个“正确行动”标签和一个容差带，而指标是整个套件中符合容差的行动率——理想情况下，根据类似该案例的生产流量占比进行加权。
这种纪律比模型最终达到的特定阈值更重要，因为阈值会随着模型升级、提示词更改、检索器（retrievers）甚至环境对话历史而漂移，而任何特定案例的正确行动目标是案例本身的属性，而不是模型的属性。一个通过拒绝更多查询来“提高安全性”的模型升级，在新的指标中会被正确地显示为“良性但带有有害词干”（benign-with-harmful-stem）切片的回归。一个通过回答更多查询来“提高有用性”的模型升级，会被正确地显示为“有害但语气礼貌”（harmful-but-polite-tone）切片的回归。任何一种变化都无法躲在另一个团队的仪表板后面，因为根本没有另一个团队的仪表板——只有一个奖励正确行动并惩罚其他一切的仪表板。
这也是最近一些关于模型内省（model introspection）的研究变得具有实际用途的地方。较新的前沿模型在预测自身拒绝行为方面表现出明显更好的校准能力——它们越来越能够在生成之前预测是否会拒绝，以及置信度如何。只有当你的评估能够区分“模型正确选择拒绝”和“模型拒绝了你本该回答的内容”时，这种校准对你的应用才有意义。仅侧重安全性的评估无法做出这种区分；它会庆祝每一次拒绝，无论拒绝是否合理。正确行动评估通过奖励准确的自我评估并取消对盲目谨慎（blanket caution）的奖励，来激励模型不断提高的内省能力。
在单轴指标上运行改变了“模型回归”的含义 “双评估”世界有一套舒适但具有误导性的词汇。安全性回归意味着“模型拒绝的有害案例减少了”。有用性回归意味着“模型拒绝了更多良性案例”。这两种回归可以同时出现在同一个模型升级中，团队通常将这对结果解读为“结果复杂——我们在一个轴上赢了，在另一个轴上输了”，而真实的解读是“模型沿着边界向一个方向滑动，而我们的两个仪表板将这种滑动的两个侧面报告为它们是独立的”。
单一的正确行动指标使“回归”的含义变得更窄、更有用：模型现在在以前正确的案例上犯错了。两个发布候选版本（release candidates）之间的差异可以清晰地划分——行动改进的案例、行动保持不变的案例、行动退化的案例。退化集才是真正的回归，而且它的规模小到可以进行人工阅读。团队可以查看它，决定新的错误行动是否可以容忍（某些类别的错误比其他错误更严重），并根据该解读来控制发布，而不是根据一对相互对立的标量。
发布门控（release-gating）工作流也变得可审计，这是双评估设置所不具备的。在双评估下，门控通常是“两个分数都必须高于阈值”——当模型升级处于关键路径上时，团队通常会放宽这一要求，因为等待两者同时达标很罕见，且等待的商业成本是具体的。在带有类别分解的单一正确行动指标下，门控可以表达为对组织关心的特定失败模式的约束（例如，“医疗切片中不得出现新的错误拒绝”，“生物切片中不得出现新的错误顺从”），这些约束可以根据其自身的价值进行辩护，而不是被一句“我们需要发货”敷衍了事。
这暴露出的组织问题 双评估设置的出现并非因为有人认为这是正确的衡量形式。它的出现是因为在大多数 AI 组织中，安全性和有用性归属于不同的部门。安全性通常由政策或信任与安全团队负责；有用性由产品或应用团队负责。这两个团队有不同的评审节奏、不同的汇报关系和不同的事故定义。每个团队都构建了能让他们完成工作的评估，而这两个评估之所以独立，是因为这两个团队是独立的。
转向单一的正确行动指标需要该指标有一个单一的所有者。所有权问题比评估问题更难。它意味着需要一个团队，其职责是“模型在拒绝和回答之间的边界上做出正确的选择”——既不是纯粹的安全，也不是纯粹的产品，而是介于两者之间并对两者负责。一些组织通过设立一个小型校准团队来做到这一点，该团队负责准则（rubric）、边界案例评估集、逐案例行动标签和发布门控。其他组织则通过将准则交给负责模型本身的团队，并让安全和产品评审员提供案例。
不起作用的做法是保留原有的两个评估，并在其上添加第三个“综合”指标。底层的两个指标仍然会驱动行为，因为它们仍然锚定着事故审查和发布报告，而综合指标只是一个掩盖了同样权衡的加权平均值。综合指标必须取代这两个对立的指标，而不是聚合它们。
核心要点 拒绝（Refusal）并不是你模型具备的一项功能，也不是你的安全团队可以调节的一个旋钮。它是模型在面对每个请求时所选取的几种操作之一，而唯一有效的衡量标准是模型是否选择了正确的那一个。如果一个 eval 将拒绝视为独立于帮助性（helpfulness）的维度进行评分，那么它始终会奖励向其中一方的倾斜，并惩罚向另一方的倾斜。团队在每个升级周期中都会发现，那个刻度盘实际上并没有真正的移动，只是在同一条前沿（frontier）上交替变换方向滑动。一个单一的“正确操作”指标，配合对每个案例标注的操作以及容差范围（tolerance bands），可以打破这种循环——它让“正确”在每个案例中都代表相同的含义，并且让“回退”（regression）明确指向那些曾经正确而现在错误的案例，而不是纠结于哪一个对立的标量（scalars）变动影响了负责它的团队。
如果在大多数升级中，你的安全性指标和帮助性指标都在向相反的方向变动，那并不是噪声。这是你的评估报告结构在反映你的模型又一次沿着同一条前沿（frontier）滑动，而你的仪表板捕捉到了那次滑动的两个侧面。能够终结这种波动的 eval 衡量的是模型实际做出的决策，而不是该决策是否恰好是一次拒绝。
余下内容仅对会员开放。 会员可读完整内容 —— 每一个公开发布的观点背后，那些框架、决策与推理的全貌。
— 完整文章，包含未公开存档的部分 — 可落地的工作框架，附带权衡与决策依据 — 新文章抢先看，先于公开发布 登录以继续阅读→ 随时取消 · 一次订阅，畅读全部
