谁在为 Token 买单？内部 LLM 平台的费用分摊与结算设计

每一个内部 LLM 平台都会经历同样的曲线。在第一个月，推理是免费的：平台团队买单，产品团队疯狂实验，每个人都在为增长曲线欢呼。到了第六个月，账单增长了 10 倍，财务部门开始提出尖锐的问题，平台团队发现 80% 的支出由三个团队产生——其中一个团队还在运行一个没人记得批准过的夜间批处理作业。本能的反应是安装计量器并开始收费。这种本能如果应用得过于幼稚，正是你毁掉平台的方式。

这是一个令人不安的事实：按 Token 计费的分摊机制（Chargeback）恰恰惩罚了你构建平台所鼓励的行为。正在原型化可能改变支持流程的智能体（Agent）团队消耗 Token 就像熔炉一样——智能体工作负载每个任务消耗的 Token 是简单聊天补全（Chat Completion）的 5 到 30 倍。如果从第一天起就按原价向他们收费，他们就会停止原型开发。与此同时，运行成熟且经过优化的功能的团队只需支付微薄的费用，看起来非常“节俭”。你构建了一个对学习征税、对停滞奖励的定价系统。

企业 AI 的平均预算已从 2024 年的每年约 120 万美元增长到 2026 年的约 700 万美元，一些大公司现在的月度推理账单报告已达数千万美元。在这种规模下，“由平台团队承担”不再是一个可行的答案。必须有人为 Token 买单。设计问题在于：谁来付、什么时候付，以及最重要的——以什么单位付。

免费推理是一场由声音最大的团队赢得的容量拍卖

首先分析为什么“免费”会失败，因为它失败的方式比大多数平台团队预期的要微妙得多。显而易见的失败是无限制的支出。而不那么显见的失败是资源错配。

当推理在实际使用时完全免费，容量分配就会由组织政治而非价值决定。与平台负责人关系最好的团队会获得更高的限流额度。投诉最响亮的副总裁（VP）会获得预留容量。那些安静地构建真正有价值东西的团队，只能排在那些嗓门更大的部门为了给领导留下深刻印象而发布的虚荣型聊天机器人之后。任何没有定价的共享资源都会堕落成这样——这就是带有 GPU 的公地悲剧（Tragedy of the Commons）。

免费推理还破坏了信息层。没有人能回答“这个功能的成本是否物有所值？”，因为没有人知道它到底花了多少钱。检索管道每天都在重新嵌入未更改的文档。智能体使用全上下文重发来重试失败的工具调用。调试环境在高频冲击生产模型。这些都不是恶意的；它只是不可见的。在任何计量系统中本应被视为 P1 事故的浪费，却因为没有人关注而持续数个季度。

因此，坐视不管不是一个选择。但是，从“免费”到“计费”的跨越有一个中间台阶，大多数组织如果跳过它，就会面临风险。

账单公示（Showback）优先的阶梯

借鉴自云 FinOps（并在 FinOps 基金会的 AI 工作组中正式化）的成熟模式是一个三级阶梯：账单公示（Showback）、预算（Budgets），然后是费用分摊（Chargeback）。每一级阶梯都在锻炼下一级阶梯所需的组织能力。

第一级：账单公示（Showback）。 将每一个请求归属到具体的团队、项目和功能，将 Token 转化为美元，并将这些数据公布在每个人都能看到的地方。没有后果，没有账单——只有可见性。

这听起来毫无威慑力，但它起到了两个关键作用。首先，它迫使你构建归因管道：在网关层为每个请求添加元数据标签，涵盖团队、项目、环境、模型和成本中心——这五个维度可以解决约 95% 的分配问题。如果你无法可靠地打标签，你就无法公平地计费，你肯定希望在风险只是一个仪表盘而不是一张发票时，发现你的标签漏洞。其次，单是账单公示就能改变行为：看到自己的功能每次会话花费 4 美元的工程师，会在财务部门质问之前就开始探究原因。实践者一致报告称，一两个月的账单公示就能在零强制执行的情况下暴露出最严重的浪费。

第二级：预算（Budgets）。 为每个团队分配 Token 或金额配额，并设置软限制和硬限制。标准实现是两层：达到预算的 80% 时，通知团队负责人——不拦截任何请求，重点是暴露趋势。达到 100% 时，网关返回 429 并拒绝调用供应商，或降级到更便宜的模型。预算将容量拍卖转化为明确的协商：想要更多容量的团队必须凭使用数据而不是抱怨声大小来争取。至关重要的是，预算限制了下行风险，而没有为单个实验定价——在你的分配额度内，尝试新事物仍然是免费的。

第三级：费用分摊（Chargeback）。 真正的资金在成本中心之间转移。这需要财务集成、内部计费协议，以及组织对随后可能发生的争端有所心理准备。大多数公司最终都需要它——它是唯一能让 AI 支出出现在影响产品决策的损益表（P&L）中的机制——但它只有在第一级和第二级让数据变得可信之后才能奏效。针对团队存疑的归因数据进行费用分摊，是一场政治泥潭。

失败模式是跳级。费用分摊优先意味着在团队能够看到、预测或控制其账单内容之前就向他们收费。预料之中的结果是，每个团队对发票的第一反应是攻击计量器，而不是审视自己的使用情况。

Token 是错误的计费单位

即使你已经进入了内部结算（chargeback）阶段，有一个设计决策比推广顺序更重要：你应该以什么单位计费？默认的答案——Token，按照服务商公开价格加上管理开销——是错误的，原因有三。

首先，团队无法控制 Token。产品团队控制他们发布的功能以及这些功能执行的大致任务数量。他们无法控制平台的 RAG 管道在每个上下文中塞入了多少 Token，共享智能体框架如何构建重试机制，或者平台是否将他们路由到一个回答极其啰嗦的模型。按平台很大程度上决定的数量向团队收费，违反了内部结算的第一条原则：根据人们可以改变的东西收费。当平台团队改进了上下文缓存，导致每个团队的账单下降了 40%，那是平台的胜利；当框架升级导致 Token 消耗翻倍，那是平台的退步。Token 账单混淆了这些信号。

其次，Token 价格在下降，而 Token 消耗量在激增，这使得以 Token 计量的预算随着时间的推移变得毫无意义。一个季度环比账单持平的团队，可能在更便宜的模型上实现了双倍的交付价值，也可能在更昂贵的模型上将价值减半。这个单位无法告诉你业务真正关心的东西。

第三点——也是最致命的一点——Token 账单对于必须根据账单采取行动的人来说是难以理解的。一个盯着“23 亿输入 Token，18,400 美元”的产品经理根本不知道这是否合理。而同一个 PM 如果看到“以每个 0.45 美元的价格解决了 41,000 场支持对话”，就能立即将其与人工处理工单的 8 美元成本进行对比，并做出真正的决策。

更好的单位是更上一层的：贴近结果的工作单元。按完成的任务、解决的对话、处理的文档、评估的功能收费——即消费团队实际交付的任何离散事物。平台根据测算的 Token 成本设定单位费率，但会有意地进行平滑处理：该费率吸收了重试风暴和模型啰嗦程度的波动，并随着平台的优化每季度进行调整。这正是行业自身定价趋势的走向——在 AI 供应商中，基于结果的定价在不到两年的时间里从微不足道增长到合同份额中快速增长的一部分——你的内部经济也应该遵循同样的逻辑，理由也相同：它让账单与价值对齐。

这还有一个额外的好处。一旦你按任务计费，平台团队就成了 Token 效率的自然负责人，因为内部费率与实际 Token 成本之间的差距就是他们可以投入的利润空间。Prompt 缓存、上下文剪裁和模型规格优化都成了平台团队的胜利，表现为利润空间的扩大，而不是因为成本直接透传而没人有动力去做优化。

预示定价错误的迹象：影子集成

你如何知道内部定价已经陷入功能失调？在所有仪表盘中，有一个信号最为突出：团队开始绕过你。

一个在公开 LLM API 上刷公司卡并构建直接集成的团队，正在向你传递一个准确的信息——内部平台的成本（无论是金钱还是阻力）超过了公开市场。有时是字面上的价格：你的结算费率加上了平台的管理开销，比公开价格还高。更多时候是伪装成价格的阻力：为了提高限额需要两周的审批、增加了 800 毫秒延迟的网关、无法适应黑客松用量激增的预算流程。无论哪种情况，你的内部市场都失效了，而你最机灵的工程师——正是你希望留在平台上的那些人——会最先流失。

这就是安全团队所称的“影子 AI”（shadow AI）动态，而且它非常普遍：调查发现，几乎每个大型组织都报告了某些未经授权的 AI 使用。安全视角将其视为需要封堵的合规问题。平台视角则更有用：影子集成是价格信号。每一个影子部署都是一个数据点，表明考虑到阻力后，你的计量器收费比替代方案更高。不解决定价问题而只封堵出口，只会让这种行为转入更隐蔽的地下——个人 API 密钥、浏览器标签页、粘贴到消费级聊天机器人中的数据——这带来了真正的数据治理风险。

对策首先不是强制执行，侧重点应该是让官方路径比“叛逃”更便宜。平台捆绑了影子集成无法廉价复制的东西——协商后的供应商费率、合规审查、Prompt 注入防御、可观测性、跨供应商故障转移。如果一个团队只需一张信用卡就能重建这一切，而且还能省钱，那么你的平台税就太高了。审计阻力，而不仅仅是价格表。

一个可行的设计

综上所述，以下是在实践中行得通的模式：

• 从第一天起就记录一切，但先不计费。 网关级别的属性归因，为每个请求标记团队、项目、环境、模型和成本中心。建立公开的仪表盘。你无法在季度末再对四分之一未打标签的流量进行回溯性的归因。
• 运行支出展示（showback）一到两个季度。 让团队看到他们的消耗，修复令人尴尬的浪费，并学会预测自己的支出。验证数据是否经得起推敲。
• 引入具有软/硬限制的预算。 80% 告警，100% 强制执行，在达到硬性的 429 限制之前，先平滑降级到更便宜的模型。给每个团队一个真实的配额——包括一个明确且慷慨的实验池，与生产预算分开，这样原型开发就永远不会为了 Token 与已发布的功能竞争。
• 当你晋升到内部结算时，按工作单元计费，而不是 Token。 按任务、按对话、按文档——根据测算成本定价，每季度修订一次，由平台团队保留效率提升带来的利润。
• 关注流失。 将影子集成作为一个定价 KPI 来跟踪，而不只是作为安全事件。每一个影子集成都在告诉你内部市场在哪里失效了。

所有这些机制的目标不是回收成本——如果平台在扼杀实验的同时仅仅做到了盈亏平衡，那么它就失败了。目标是一个运行良好的内部经济：在这个经济中，每月悄悄烧掉 40,000 美元的深夜批处理作业有一个能看到这个数字的主人；在这个经济中，有前途的智能体原型在学习期间有浪费的空间；在这个经济中，“我们是否应该发布这个功能？”可以用同一行里的单位成本和单位价值来回答。免费的推理无法产生这种经济，天真的 Token 计量器也无法。这个阶梯——支出展示、预算，然后是基于结果定价的内部结算——就是你如何在不烧毁平台所服务的实验文化的情况下达到目标的方法。