绑定到你不再符合条件的定价层级的成本预测
· 阅读需 11 分钟
使用曲线几乎没变。账单却上涨了 38%。
这是某中型金融科技公司的财务主管在季度第一个周一收到的邮件。三个月前,工程部门重新谈判了他们的 LLM 推理合同,通过承诺最低使用量,从谈判后的单价中又削减了相当大的一部分。财务模型将新的单价纳入了财年预测。没有人留意到定价表中的脚注:如果月度使用量连续三个月低于底线,折扣将失效。4 月至 5 月的季节性流量下降正好触发了这一条款。供应商将账户重新分档回原价。工程部门没有收到任何通知,因为通知发到了采购部门的收件箱,而自合同签署以来,那里就没人读过邮件。
预测并没有算错产品会消耗多少 token。预测错的是这些 token 的成本,因为它假设了一个该账户不再符合资格的价格分档。这种区别——“我们预测错了使用量”与“我们准确预测了使用量,但该单价已不再适用于我们”——是大多数财务模型默默搞反的地方。单价在电子表格中被视为常量,而实际上它是账户的一个有状态属性,取决于账户最近的行为。
