某平台发布了一个针对长耗时智能体(agent)任务的 30 分钟实际时间上限,并配套了一项退款政策:任何达到超时上限且未产生交付成果的任务,其消耗的 token 费用将予以退还。其初衷是保护性的:挂起的智能体不应向客户收费。六个月后,超时率翻了一番,工程团队深陷“智能体可靠性”调查,而支持队列中挤满了抱怨智能体“不断超时”的用户——截图显示,用户的浏览器标签页在 29 分多钟时就被关闭了。
在财务模型从未命名的行为群体中,单位经济效益已悄然倒挂。退款人群并非质量不佳的人群。这是一种策略。
你提供赔付的边界就是被瞄准的目标
平台针对任何运营阈值提供的赔付,都会成为用户可以学习并着陆的坐标。这在云计算或 SaaS 领域并不新鲜——SLA 赔偿、退款窗口和免费层级上限已被“薅羊毛”数十年——但智能体平台面临着该问题的一个独特且尖锐的版本,因为单个任务的成本高到足以值得针对其进行单独优化。
从用户的角度来看,计算过程很简单。一个完成的复杂多小时任务将按智能体消耗的全部 token 计费。而同一个任务在 28 分钟处被中断,触及退款边界,退回大部分费用,且由此产生的上下文状态(in-context state)可以在后续轮次中以较低成本恢复,而无需从零开始。一个每周运行十个此类工作流并精于计算的用户,会在每一次高成本运行中刻意导向该边界。
高级用户最先发现裂缝。他们是资金风险最高、最有动力仔细阅读政策、且在操作上足够成熟能围绕限制条件重构工作流的群体。他们也是平台最不想失去的群体,这也是为什么退款政策最初设定得很慷慨。
平台的响应曲线完全搞错了方向。超时率上升,于是可靠性团队调查智能体。智能体表现正常。退款账单上升,财务将其视为平台故障成本升高。值班人员没看到任何事故。每个仪表盘报告的问题其病因都与实际发生的不同,因为这些仪表盘在设计时,是将用户视为智能体行为的被动接受者,而非定价博弈的参与者。
为什么这种失败模式是智能体平台特有的
传统 SaaS 只给用户提供几个粗粒度的杠杆——取消、降级、争议账单。智能体平台则暴露了更细粒度的行为控制,直接映射到单位成本上。用户可以决定何时终止任务、如何组织下一条消息、是否生成子智能体、何时提交工具调用。每一个都是账单上的旋钮。
这种超时退款博弈在结构上类似于过去两年记录在案的针对云 API 的成本攻击类:随使用量扩展的定价表面,产生了一种推动使用量向平台非预期方向发展的激励。智能体的不同之处在于,优化者是客户而非攻击者,且其行为并非恶意——用户只是在阅读并执行书面政策。
第二个复合因素:智能体运行时间足够长,以至于用户有时间在运行中途决定是否让其完成。一个耗时两秒的 API 调用没有有用的“在此中止以获取退款”的空间。一个 28 分钟的智能体任务则有。正是由于长耗时智能体具有价值的特性——持久、多步骤的工作——也给用户提供了一个针对计费边界进行优化的窗口。
第三个因素,也是将其从孤立的小技巧转变为行为群体的原因:来自部分完成的智能体运行的上下文状态是有价值的。如果用户在退款触发后可以廉价地恢复运行,他们实际上已经将“智能体完成了大部分工作”转变为“智能体免费完成了大部分工作”。平台的检查点与恢复(checkpoint-and-resume)能力——作为可靠性功能出售——正兼职作为计费漏洞。可靠性和退款套利共享同一条代码路径,而平台并未意识到它在同时为这两者提供资金。
诊断结果看起来像是质量倒退
这是该失败模式中代价最高昂的部分,因为它将响应路由到了错误的团队。
当超时率翻倍时,工程内部的自然解读是“智能体变得越来越糟”。可靠性调查随之启动。评估套件重新运行。模型版本进行二分查找。工具延迟被审计。结果一无所获,因为没有任何倒退——智能体表现得和以前完全一样,只是其承载的工作负载发生了偏移。
与此同时,支持团队看到了另一个故事。如果只看表面,那些截图是具有毁灭性的:用户的标签页确实在 29 分多钟时关闭了,用户确实不高兴。工单中的措辞一致且可信。“你们的智能体总是罢工。”一名初级支持人员为了对眼前的客户负责,会将这些作为平台事故上报。
财务看到了第三个故事。退款量上升。单位经济模型将退款视为平台可靠性的函数,因此退款增长被记为可靠性成本,这增加了增加可靠性投入的理由,于是第三个团队开始追逐同一个幽灵。
这些团队对自己获得的局部信号都没有错。他们错在对他人的信号判断上。这个横切事实——即一个行为群体正在利用政策缝隙——处于任何团队的仪表盘都覆盖不到的真空地带,因为没有一个仪表盘是根据超时边界上的用户行为模式进行细分的。
缩小差距的关键
“收紧退款政策”这种本能反应通常是错误的起手式。对真实的平台故障采取慷慨的退款政策是信任契约中承重的一部分。取消它会为了追逐“利用规则群体”而惩罚“合法用户群体”,而利用规则群体会逐渐适应任何新的边界。真正的解决办法是让退款决策基于原因,而非症状。
以下是几种在实践中奏效的模式:
超时原因分类。 退款资格检查应该检查超时是由平台驱动(网络断开、依赖失败、队列饥饿)还是由用户驱动(显式放弃、关闭标签页、手动中止)。这两个群体应该分开计费。这是一个成本极低的一小块会话遥测数据,它能将二进制的“是否触及边界”转化为关于“为什么”的结构化信号。
计费流程中的行为分群。 一种针对每个用户的分析,用于在大规模范围内检测“超时并恢复”模式——在边界处中止重复任务,随后进行廉价的恢复轮次以完成工作——并将这些账户路由到单独的审核通道。检测逻辑不需要很复杂。像“同一用户在一周内出现超过三次‘超时后恢复’对”这样一个简单的规则就是一个强信号,它可以交给人工审核员,而不是自动触发退款。
长任务的优雅移交协议。 如果用户想离开一个 30 分钟的任务而不放弃工作,平台应该在产品层面上而非计费层面上使其成为可能。一个带有明确计费语义的“暂停并在稍后恢复”的功能消除了博弈超时的动机,因为合法的用例有了自己的出口。
按分群细分的退款率仪表盘。 现有仪表盘将“退款量”作为单一线条报告,这是误诊的前提。按原因(平台故障、用户放弃、可疑模式)拆分退款量,会在行为分群出现的第一个月就将其暴露出来。
按用户而非仅按代理细分的超时率面板。 可靠性调查之所以走向错误方向,是因为超时率指标是跨所有用户聚合的。按用户拆分会显示出一小部分账户对增长贡献巨大,这是行为分群而非回归(regression)的特征。
架构层面的认知
这里有一个比任何单一修复都更深刻的观点。平台据以补偿的每一个阈值,退款或信用点数触发的每一个边界,都是定价函数中的一个坐标,用户最终会对其进行映射并针对其进行优化。这种映射并不总是刻意构建的——有时它源于论坛帖子,有时源于客户成功对话,有时源于一个资深用户发现这个月完成同样的工作账单变低了。一旦这种映射存在,它就会传播,平台的收入模型现在就成了“有多少用户读过这张地图”的函数。
在设计退款政策时,如果不将用户建模为一个优化者,那么这项政策就成了一项最精明的用户可以自我发放的折扣。这在用户层面并不是道德败坏——他们只是对书面合同做出了理性的反应。这在平台层面是设计上的失败,因为政策被写成了一种单方面的保护,而不是双向的激励。
做得好的团队会像构建安全防御体系一样构建他们的计费和退款逻辑:假设存在一个仔细阅读规则并据此行动的对手。安全案例中的对手是恶意的;计费案例中的对手是拿着电子表格的付费客户。架构上的准则是相同的。平台在书面承诺的每一个边界都会成为攻击点,每一项退款政策都是一份契约,其长期成本不是由它所模拟的人群决定的,而是由学会游走在其边缘的人群决定的。
对于即将发布长运行代理(long-running agent)产品的团队来说,最有用的框架是:退款政策是定价界面的一部分,而不是独立的。它应该由审查定价页面的同一批人进行审查,保持同样的细致,并带有一个明确的问题——“在这种政策下,用户的最优行为是什么?这是我们想要资助的行为吗?”——并将其写入审查模板。如果这个问题没有好的答案,那么这项政策就还没准备好。
会员专享
余下内容仅对会员开放。
会员可读完整内容 —— 每一个公开发布的观点背后,那些框架、决策与推理的全貌。
- —完整文章,包含未公开存档的部分
- —可落地的工作框架,附带权衡与决策依据
- —新文章抢先看,先于公开发布
随时取消 · 一次订阅,畅读全部