跳转到主要内容

推理 Span 中缺失的 kWh 列:单次请求的碳归因

阅读需 2 分钟Tian PanTian Pan

你的推理火焰图(inference flame graph)有一个成本轴,但没有能源轴。这种差距在某天早上之前都没问题,直到客户的采购团队给你发来一份包含 23 列供应商可持续性披露信息的电子表格,其中一列是 每 1,000 次推理的 kgCO2e。你没办法填那一格,你的供应商给出的答案是一篇方法论论文,而交易将在 9 天内关闭。你的平台团队磨练了两年的 token 成本仪表盘突然看起来像是解决了一个错误的问题。

这里的转变并非抽象的。可持续性披露正在从公司层面的汇总转向产品层面的颗粒度。第一波浪潮于 2025 年进入了 CSRD 和 ESRS,而第二波浪潮现在正冲击着 B2B 采购合同。构建了成本可观测性的工程组织即将发现,他们需要针对碳排放的可观测性,而这两者在同一个 span 上并非同一列。

它在 span 级别(而不仅仅是月度账单级别)之所以重要,是因为汇总的碳足迹对于工程决策毫无用处。CFO 的汇报线告诉你问题有多大;它不会告诉你哪个检索调用、哪个重排序器(reranker)、哪个投机草稿(speculative draft)或哪个推理努力层级是你智能体中耗能巨大的子树。如果你的唯一碳数据存在于季度的 PDF 中,优化对话就永远无法触及真正能改变这个数字的团队。

为什么成本列不能替代能源列

人们很容易认为 token 就是 token,美元追踪 token,因此美元追踪能源。事实并非如此,而且这种差距还会扩大。

第一个原因是硬件异质性。一旦计入 8-GPU 机箱内的宿主服务器,一块 H100 在芯片层面的功耗约为 700W,每块 GPU 的功耗则接近 1,275W。而 A100 的功耗为 400W。在不同代际硬件上运行的同一模型,对于相同的 token 输出,消耗的功率大不相同。推理工作负载通常受内存限制,因此芯片往往运行在峰值的 70% 左右,而不是满负荷的 TDP。这些变化都不会体现在你供应商的每 token 价格中,那是根据竞争压力和利润策略设定的,而不是由运行你批处理任务的硅片的物理特性决定的。

第二个原因是推理模型。来自 o3 或 DeepSeek-R1 的 500 个可见 token 的回答,可能隐藏了模型为了得出结论而消耗的数千个内部推理 token。最近的基准测试发现,在 o3 和 DeepSeek-R1 上处理长提示词的单次请求消耗超过 33 瓦时(watt-hours)——是单次 GPT-4.1-nano 调用的 70 多倍。这些推理成本有的按输出 token 计费,有的则不计费,从计费美元到消耗千瓦时的映射在单个供应商内部不再是线性的,更不用说跨供应商了。

第三个原因是电网。在夜间风力发电区域处理的请求,其碳强度仅为中午燃气调峰电厂处理的相同请求的一小部分。你的每 token 成本合同根本不知道批处理运行时 GPU 物理位置在哪,而供应商的可持续性页面报告的是年度平均值,掩盖了实际驱动边际排放的小时级波动。

成本是一种可观测指标。能源是另一种。碳排放是第三种,由能源、地点和时间推导而来。将其中任何一个视为其他指标的代名词只能帮你度过下个季度,而一旦客户提出精确的问题,这种做法就会失效。

你今天真正能给出的估算值

你无法从封闭 API 供应商那里获得单次请求的准确千瓦时。但你可以获得一个合理的估值,而合理的估值正是审计员、客户和内部产品团队真正需要的。

估算的构成非常直观。单次请求的能源是模型类别(决定了每 token 的瓦特系数)、token 数量(输入、输出,以及你能检测到的推理 token)、数据中心效率开销(PUE,超大规模运营商通常为 1.10 到 1.20)以及请求运行小时内的区域电网碳强度的函数。这些因素没有一个是精确的。但所有因素都在一定范围内,因此产生的估算具有实用的不确定区间,而不是胡乱猜测。

对于模型类别系数,现在已有 30 多个生产模型的公开基准测试,其数量级是清晰的:GPT-4.1-nano 在长提示词下约为 0.0005 kWh,中层对话模型在 0.001 到 0.003 kWh 之间,像 o3 这样的推理模型在处理难题时超过 0.03 kWh。选择一个系数,记录来源,并每季度复核一次。不要假装这个数字比实际情况更准确,也不要因为它是近似值就拒绝发布。采购电子表格里没有“我们还在研究方法论”这一格。

会员专享

余下内容仅对会员开放。

会员可读完整内容 —— 每一个公开发布的观点背后,那些框架、决策与推理的全貌。

  • 完整文章,包含未公开存档的部分
  • 可落地的工作框架,附带权衡与决策依据
  • 新文章抢先看,先于公开发布

随时取消 · 一次订阅,畅读全部

参考资料

保持联系,关注我获取更多内容

阅读需 11 分钟

每个客户的成本集中度:为什么 AI 成本仪表盘隐藏了幂律分布

聚合的 AI 成本仪表盘隐藏了幂律分布,其中前 1% 的客户贡献了 30–50% 的 Token 支出。在某个失控的智能体循环演变成利润危机之前,请构建基于每个客户的归因、基于斜率的异常检测以及基于预留的预算强制执行机制。

insider
ai-cost
阅读需 10 分钟

Token-Per-Watt:你的仪表盘无法计算的 AI 可持续性指标

幻灯片上显示的总 GWh 并不是 AI 可持续性指标。与产品遥测数据结合的任务瓦特 (Task-watts) 才是 —— 而你的首席财务官 (CFO) 即将要求的仪表盘目前还无法计算它。

insider
ai-engineering
阅读需 10 分钟

Agent 工作流的碳计算:Token 预算现已成为 ESG 披露

Agent 工作流消耗的能量可能是单次对话补全的 50–200 倍,采购团队已经开始关注这一指标。本文是一份关于逐任务碳归因、碳预算强制要求的路由决策,以及为什么率先进行观测的团队能掌控话语权的务实指南。

insider
ai-agents
阅读需 11 分钟

KV 缓存预热 Cron 任务只在蓝环境运行而从未进入绿环境,原因竟是主机绑定从未迁移

一次蓝绿部署导致固定在旧环境颜色的 Cron 任务孤立,Prompt 缓存变冷,账单悄然翻了三倍 —— 本文剖析了这一静默回归的始末,并提出了四个闭合缝隙的最佳实践。

insider
prompt-caching
阅读需 10 分钟

配额窗口机制重写后,这批夜间脚本是如何拖垮你的交互流量的

一个夜间 LLM 批处理任务稳定运行了 10 个月,直到供应商重写了每日窗口的计算方式——将 00:05 UTC 的 Cron 任务变成了交互式流量的自杀式 429 异常。本文探讨为什么负载隔离、抖动和桶语义契约测试才是结构化的修复方案。

insider
rate-limits