你的每美元标签（labels-per-dollar）仪表盘是团队评审中最亮眼的一行，但它在对你撒谎。分母是你 2023 年与标注供应商谈妥的按任务计费率，那时人类研究负责人会亲手编写每个标注提示词（prompt），修改两次，请同事审阅，一周可能才提交 40 个提示词。分子是通过 API 返回的已完成任务数量。在过去的三个月里，你的团队悄悄停止了手动编写提示词，转而使用大语言模型（LLM）生成。LLM 每两秒就能生成一个提示词，边际成本几乎为零。你的每美元标签指标在上升，而唯一知道这个指标毫无意义的人是供应商的客户经理，他正看着利润率被压缩，并准备发送一份采购团队会将其视为涨价的合同修正案。
这种错位并不是供应商的问题。这反映出合同中关于工作流的假设已不再成立。这些假设与你当前行为之间的差距，正是一方在静默吸收的剩余价值，直到续约周期迫使双方进行价格发现（price-discovery）对话。先注意到错位的一方将决定新的价格。
按任务定价是对工作负载形态的承诺，而不只是成本
按任务计费率并不是一种单位经济效益的陈述。它是对供应商将收到的任务 分布 的一次博弈——包括任务数量、复杂程度、重复性、每分钟所需判断量以及回复长度。供应商根据预设的工作负载形态定价，并围绕其构建吞吐量计划：平台上保留多少标注员、配置何种复杂程度的人员比例、队列深度的警报阈值应设为多少。
2024 年的参考指标极具启发性。众包偏好排序的价格为 每个排序 0.50 美元到 2 美元。领域专家排序的价格为 5 到 10 美元。演示数据（即标注员编写完整回答而非对现有回答排序）的一万个样本成本在 5 万到 30 万美元之间。所有这些费率都假设输入给标注员的提示词是瓶颈。拥有判断力的人编写、编辑并决定它值得发送。这种“门控功能”决定了最终到达标注员手中的内容形态。
当你的团队用大批量起草提示词的 LLM 取代这种门控功能时，供应商在计费系统中看到的依然是相同的按任务计费率在跳动。但上游的一切都变了：你自身质量标准产生的拒绝率现在被直接转嫁到了他们的队列中，而不是在你的提示词编写过程中被拦截；提示词的复杂度分布倾向于 LLM 容易生成的类型；每个任务的标注耗时曲线也发生了偏移，因为 LLM 起草的提示词往往更长、更冗长，在标注员执行操作前需要更多的阅读时间。
供应商的按任务费率没有变，但他们的单个任务 成本 变了。两者之间的差距就是他们正在吸收的剩余价值，而你唯一衡量到的只是仪表盘上显示的每美元标签指标有所改善。
组织失效模式：针对外部定价瓶颈的吞吐量优化
负责提示词生成流水线的团队，并不是签署标注合同的团队。签署合同的团队，也不是查看每美元标签仪表盘的团队。而查看仪表盘的团队，并不了解供应商的成本结构或其队列组合。
这是标准机器学习组织中“瓶颈发现”问题的反转。通常瓶颈是内部的——例如推理速率限制、GPU 池、人工审核员——团队会针对它优化吞吐量，直到下游环节崩溃并显现出真正的约束。当瓶颈是 外部定价 且价格由合同固定时，优化过程会静默地侵蚀供应商的利润。你这边不会出任何问题：吞吐量上升，单位成本看起来很平稳，仪表盘上的故事很完美。你收到的唯一信号，将是六个月后供应商首席财务官（CFO）最终完成客群分析，显示你的账户毛利率变为负值时发出的合同修正案。
等修正案到达时，它在采购团队的队列中被视为涨价，而非工作负载形态的修正。采购团队会透过他们惯用的视角来看待供应商续约：费率在市场上是否有竞争力？供应商是否试图在续约窗口压榨剩余价值？我们是否可以找竞争对手？这些问题都没有触及真实发生的情况：即你团队发送的工作负载已不再符合合同约定的定价范畴。
供应商的客户经理往往也不会点破这一点，因为这样做等同于承认原始费率是被他们自己缺乏监控手段的合同所损害的。因此，重新谈判变成了对本应按维度重构的费率进行百分比折扣的拉锯战，双方最终都不欢而散。
审计规范：将工作负载形态漂移视为一等指标
将每一个涉及 AI 工作流的外部定价合同，都视为一个需要根据内部工作流变化节奏重新验证定价维度的合同——而这种节奏现在的衡量单位是周，而非续约周期。
审计并不复杂。针对每份合同，列出定价模型隐含假设稳定的维度：提示词（prompt）数量、提示词复杂度分布、单次源请求的扇出率（fan-out）、任务判断密度、响应长度波动、拒绝率、任务耗时。然后在你这一侧对每个维度进行监测，并观察季度间的增量（deltas）。当某个维度的漂移超过了合同的隐含容忍度时——大多数合同的容忍度介于“供应商报价时预期的波动”与“其内部财务团队察觉前能吸收的波动”之间——该合同就不再是针对你实际发送的内容在定价了。
这里的信号并不是费率应该改变，而是某一方积累了另一方所不具备的信息，且有人即将感到“意外”。在供应商关系中，意外是昂贵的。它会消耗你下次请求供应商时所需的信任资本。通过季度审计及早发现漂移，让你能在关系仍处于合作状态时发起对话——以免任何一方的 CFO 建立起一个将同样的事实框架化为对抗关系的电子表格。
更好的指标是“单次评估点标注数”，而非“单美元标注数”
“单美元标注数”仪表盘在两个维度上都是错误的。它通过锚定过时的合同费率错估了成本端，又通过将已完成的任务视为同质化（fungible）错估了价值端。从提示词生成管道（prompt-generation pipeline）返回的大多数标注信号都很贫乏——它们是同一场景的重复变体、模型已经能处理的提示词，或者是看起来新颖但实际上只是在重复你上个月测试过的失败模式的边缘案例。
能在工作负载形态漂移中幸存的指标是“单位生成的评估信号成本”。选择一个具体的分母：每百分点评估集提升的成本、评估套件中每个关闭的回归问题的成本、发现每个纯新增失败模式的成本。这些分母中的每一个都迫使团队将支出归因于标注实际买到的价值，并且当提示词生成管道开始产生冗余工作时，这些指标都会优雅地瓦解。
这一指标也改变了与供应商的对话方式。与其协商单项任务费率，对话变成了关于复杂度层级（tier）或服务层级——针对新颖场景的偏好排序、针对标记边缘案例的专家评审、针对对抗性探测的快速周转。市场中已经存在分层定价模型——简单的边界框（bounding boxes）每个物体 0.02 到 0.09 美元，托管标注每小时 6 到 12 美元，专家 RLHF 或医疗标注每个样本 50 到 100 美元。从统一的单项任务费率转向匹配你实际工作负载形态的层级组合，是一场双赢的重新谈判，因为它将供应商目前正在吸收的盈余定价到你真正需要的层级中，并为目前工作超负荷的团队支付他们实际所做工作的报酬。
在续约周期强制执行前解决问题的模式
三种模式可以在采购和供应商最终陷入防御性重新谈判之前弥合差距。
第一，在定期合同审查中（而非续约时）与供应商分享内部业务量和复杂度预测。预测不需要精确——但必须诚实。告诉他们你已经自动化了提示词生成，告诉他们你预期的业务量，告诉他们你认为目前发送的层级组合。供应商会用他们自己的数据来回应，这些数据通常比你的更准确，因为他们确实知道标注员在每个任务上花费了多长时间。在盈余累积成一个对抗性数字之前，这种沟通能让双方在工作负载演变成什么样的问题上达成一致。
第二，在供应商监测他们的“单任务成本”分子之前，先监测你的“单次评估点标注数”分母。谁先建立起群体分析（cohort analysis），谁就能主导重新谈判的框架。如果你能向供应商展示当前标注量的 60% 产生的净评估信号为零，那么对话就会变成“应该继续为剩下的 40% 中的哪些部分付费”，而不是“现有费率是否公平”。供应商通常会感到解脱——他们宁愿针对规模更小、质量更高的流向你收取更高的费率，也不愿在双方都无法获益的业务量上消耗利润。
第三，转向按复杂度层级定价而非单任务统一费率的混合定价结构。这种结构在后 LLM 时代成长起来的平台中已经存在——分层偏好数据的范围从众包简单案例的每项排名 0.50 美元，到领域专家的每项排名 5 到 10 美元。采用层级结构意味着供应商之前吸收的盈余变成了你团队可以控制的预算项。你可以针对需要的工作负载调高专家层级，针对提示词生成产生的溢出调低简单层级，这样单位经济效益就不再是你本季度提示词生成管道表现的一个隐藏函数。
任何你以机器速度触及的成本项都必须按机器速度定价
架构层面的认知是，任何你的团队开始以机器速度互动的外部成本项——标注、评估、搜索、第三方 API、合同审查、翻译、内容审核——都必须基于机器速度的假设来定价，否则合作关系中的一方会在合同谈判中发现这种不匹配，而先发现的一方将设定新的价格。
2023 年之前签署的合同大多假设买方一侧的瓶颈是人力。这一假设现在已经在足够多的类别中被证伪，因此问题不再是你的团队是否在其中某项中处于不利地位——而是哪些项，以及在有人进行审计之前，已经有多少个季度的盈余被默默转移了。自行进行审计的团队会起草下一份合同。等待供应商进行审计的团队则会将结果视为涨价，而发布提示词生成流水线的团队会惊讶地发现，正是他们制造了这笔账单。
“单位美元标注量”仪表盘在这里并不是你的朋友。正是这一指标让盈余在你收到账单之前一直保持不可见。
会员专享
余下内容仅对会员开放。
会员可读完整内容 —— 每一个公开发布的观点背后，那些框架、决策与推理的全貌。
- —完整文章，包含未公开存档的部分
- —可落地的工作框架，附带权衡与决策依据
- —新文章抢先看，先于公开发布
随时取消 · 一次订阅，畅读全部
