评估背后的隐藏运营组织：标注者经济学

你的评估套件报告了一个数字。那个数字背后是一个标签。标签背后是一个人 —— 通常是一个你从未见过的人，通过 WhatsApp 管理着为期两周的零工，通过移动支付应用领取报酬，对只有 15 秒阅读时间的模型输出进行排序。你提交给副总裁的评估分数、阻止你部署的回归门禁、你放在发布博客中的排行榜排名 —— 这一切都继承了那个人在那个下午的注意力质量。

我们谈论评估（evals）时，仿佛它们是仪器：经过校准、可重复且客观。事实并非如此。评估是一种测量设备，其传感器是人力劳动流水线，而大多数团队只为测试框架做预算，却将人视为免费输入。这种会计错误正是评估分数漂移、你的“地面真值”（ground truth）前后矛盾，以及前沿 AI 最昂贵的瓶颈不再是算力的原因。

数据让这一点变得具体。制作 600 个高质量的 RLHF 标注大约需要 60,000 美元 —— 大约是同等训练步骤计算成本的 167 倍。数据标注市场预计到 2025 年将接近 22.6 亿美元，年增长率约为 32%，而像 Scale AI 这样的单一供应商预计销售额将翻倍至 20 亿美元左右。这些都没有出现在架构图中。它出现在采购人员签署的项目清单中，与依赖它的工程师脱节。

评估的质量仅取决于构建它的劳动质量

每一个你信任的基准测试（benchmark）最初都是一个标注项目。据报道，研究生水平的问题集 GPQA 的组装成本超过 120,000 美元。HLE 基准测试拨出了约 500,000 美元用于收集高质量问题。这些不是数据清洗费用；它们是工资支出。当一个基准测试成为全领域优化的目标时，其有效性完全取决于构建它的那些人是否理解任务、是否达成一致，以及是否在处理第一千个示例时依然保持细心。

最后那个条件是无人监测的。RLHF 和偏好工作不是物体打标签。对两个模型的响应在帮助性、安全性或语气方面进行排序，需要真正的认知判断 —— 以及认知疲劳。一个标准的简化协议在 8 小时班次中产生约 250 个样本。算一下：每次比较用时不到两分钟，持续一整天，在短期项目中通常每周工作七天。你视为不可动摇的地面真值的标签，正是在使人类判断力下降的条件下产生的。

因此，当你的模型分数在两次评估运行之间变动了两个点时，真正的问题不是“模型变了吗？”而是“标注员变了吗？他们的准则变了吗？他们的疲劳程度变了吗？还是供应商更换了一批新人，他们对‘有害’的理解与上一批人不同？”如果你无法回答这些问题，那么你的评估就不是在测量模型。它在测量一个模型与劳动力的纠缠系统，并将所有的方差都归因于模型。

吞吐量压力下的质量衰减 —— 意料之中

危险之处在于标签质量并非随机失败。它会朝着激励导向的方向失败，而标注激励几乎总是指向吞吐量。供应商按任务或项目付费。标注员按任务或按小时带配额付费。当你追求更快、更多的标签时 —— 因为你的发布时间紧迫，需要刷新评估 —— 你买到的并不是同等质量的更多产出。你买到的是另一种更低质量的东西，而价格标签看起来却完全一样。

有一些公认的机制可以捕获这一点，但大多数团队要么不使用它们，要么不关注它们：

• 黄金问题 (Gold questions)：预先标注过的、具有验证答案的项目，隐形地植入到工作流中。偏离黄金答案的标注员会被标记出来。如果没有黄金集，你就没有持续的信号来判断质量是否得以维持。
• 注意力检查 (Attention checks)：刻意扰动的示例，细心的工人应该给出一种分数，而敷衍的工人会给出另一种。多次失败会将工人从任务中移除，并触发对其先前工作的重新标注。
• 标注员间一致性 (Inter-annotator agreement)：如 Cohen's Kappa 和 Krippendorff's Alpha 等指标，用于量化独立标注员应用相同标签的一致性。通过长期跟踪，一致性下降是校准漂移的预警系统。

这是大多数工程团队忽略的操作要点：这些不是在交付数据集时运行的一次性验收测试。它们是监控。标注员间一致性是你评估流水线的生产指标，就像 p99 延迟是你的服务生产指标一样。如果你只在最后测量一次一致性，当你发现质量下降时，你已经基于错误的标签进行了训练或发布。你需要的是持续更新的图表，并在指标下降时发出告警。

人被隐形了，而这正是问题所在

质量退化之所以无人管护，原因与成本不被列入预算是一样的：劳动力被刻意抽象掉了。你从供应商那里购买“标注”，就像从云端购买算力一样。但算力不会疲倦，不会误读模棱两可的指南，也不会因为内容令人心理创伤而在项目中途离职。

实际情况值得直白地说明，因为它们直接塑造了你赖以生存的数据。有关该行业的报道记录了肯尼亚的标注员每小时收入仅为 2 美元，而美国科技公司为此支付给外包中间商的费用则高达每小时 12.50 美元——他们每天工作超过 8 小时，标注从色情到暴力血腥的各种内容。入职可能只需填个 Google 表单，协作通过 WhatsApp 群组，支付通过移动货币转账，没有正式合同，项目周期仅两周。2025 年，肯尼亚数据工人成立了数据标注者协会（Data Labelers Association），在第一周就吸引了数百名成员，正是因为这些支撑着评估分数的人，没有其他渠道可以对工作条件进行抗争。

你不需要纯粹从伦理角度来看待这件事，也能将其作为一个严肃的工程问题来对待。一支报酬过低、每两周流失一次、通过表单入职、且在没有支持的情况下接触令人不安材料的劳动力队伍，产出的是高方差、易漂移的标签。劳动条件并非与数据质量无关。它们就是数据质量。两周一次的流失周期意味着你一直在重新承担培训新人理解指南的成本，并且一直在为新的一批人支付校准税。劳动力的稳定性在下游表现为指标的稳定性。

“直接用 LLM 评审”转移了劳动，而非消灭了它

2026 年最显而易见的反应是用 LLM 作为评审（LLM-as-judge）来取代人类。其经济效益极具诱惑力：每次标注成本不到三分之一美分，比众包平台便宜约 20 倍，且可以随叫随到，支持任何规模。对于初步筛选、廉价的持续回归检查，以及生成供人类审核的草案标签，这确实有效，你也应该使用它。

但这并没有消除对人的依赖——它只是转移了这种依赖，并增加了更难察觉的新失效模式。其中最重要的有三点：

• 偏好泄露（Preference leakage）。 当生成训练数据的模型和担任评审的模型具有相同的血缘关系时，评审会系统性地偏向与其自身系列相关的输出。这种污染比领域内已知的偏见更难检测，而且它会悄无声息地推高你最关心的那些分数。
• 基准测试污染（Benchmark contamination）。 如果评估集泄露到了预训练中，评审和候选模型都受到了损害，那么数字就是虚构的。再便宜的评审也修补不了被污染的基准测试。
• 锚定到已停止维护的人类基准。 只有在经过人类标签验证的地方，LLM 评审才是可信的。据报道，一致性极度不均——在某些数据集上很高（Cohen's κ 超过 0.8），在其他数据集上则很差。评审的可靠性本身就是一个测量值，需要新鲜的人类黄金数据（gold data）来建立。因此，你仍然需要标注员；只是需要的更少，让他们去做更高杠杆的校准工作，而不是大批量的标注。

正确的架构应该是层级制的，而非替代式的：LLM 评审处理跑量，人类掌握黄金数据集和校准审计，以确保评审模型的诚实。这使得你的人力支出规模更小，但单位价值更高——前提是你真正为这一人力层级提供资金和工具支持，而不是假装 LLM 让它消失了。

为组织做预算，而不仅仅是为测试框架

实际的经验总结是思维的转变。停止将评估数据视为你可以采购的商品，开始将其视为你运行的生产系统，并将劳动力作为其核心组件。具体来说：

• 将标注者间一致性（inter-annotator agreement）放在仪表盘上，紧挨着你的模型指标，并在其下降时发出告警。一个没有一致性图表支撑的分数，是一个没有误差线的数字。
• 将劳动力稳定性作为质量的领先指标来追踪。 标注者的任期、群体的流失以及指南版本的变更，都能预测你的评估方差。如果你的供应商更换了团队，请预期你的数字会发生变动，即便这与你的模型毫无关系。
• 为校准付费，而不仅仅为吞吐量付费。 在 LLM 评审的世界里，杠杆率最高的人类工作是维护黄金数据集和审计评审模型——这是熟练、稳定、高报酬的工作，而不是你能找到的最廉价的跑量标注。
• 让依赖这些数据的工程师看到成本。 当发布产品的团队看不到标签的成本或产出者是谁时，他们会过度信任一个数字；而如果他们了解该数字的来源，他们本会对其严加审视。

排行榜讲述了一个干净的故事：一个模型，一个基准测试，一个分数。而真实的故事包含了一个运营组织——标注员、指南、黄金数据集、一致性指标，以及一个有着自身经济学和伦理学的劳动力市场。无论你是否管理，你都已经在为那个组织付费了。唯一的选择是：你是为它做预算、配工具，并将其中涉及的人员视为他们本应是的承重基础设施——还是继续发布那些你已在心中默许不再去深究的数字。