跳到主要内容

赔偿缺口:当你的智能体执行了不可逆操作,谁的预算来买单?

· 阅读需 10 分钟
Tian Pan
Software Engineer

你的智能体刚刚向错误的账户发放了 40,000 美元的退款,重新路由了一份触发加急运费的货运订单,或者推送了一个导致客户生产环境宕机六小时的配置更改。操作已经完成。它是不可逆的,或者代价大到接近不可逆。现在唯一重要的问题是那个在你上线产品前没人问过的问题:谁的预算来买单?

大多数团队都是通过惨痛的教训才发现答案的。在三天后的会议室里,供应商的客户经理在免提电话里向他们回读赔偿限额条款。限额是年度订阅费。而损失是这个金额的 40 倍。对话很快就结束了。

这就是赔偿缺口,它不是一个你可以留到发布后交给采购部门处理的法律脚注。它是一个设计约束,从一开始就应该决定你赋予一个智能体多少自主权。令人不安的事实是,执行某项操作的技术能力与承担该操作责任的财务权限是由完全不同的系统管理的——你的代码库和你的合同——而这两个系统几乎从未在智能体被允许做什么的问题上达成一致。

订阅费与实际风险敞口之间的错配

2026 年的标准 AI 供应商合同读起来仍然像 2019 年的 SaaS 合同。责任限额被设定为过去 12 个月内支付的费用。间接损失——收入损失、加急货运、监管罚款、客户停机时间——被直接免除。当软件只是一个仪表盘时,这是一种合理的分配。一个有漏洞的仪表盘向你展示了一个错误的数据;你注意到了,你没有根据它采取行动,爆炸半径被工具与后果之间的人类判断所限制。

而自主智能体移除了那个“人”。智能体部署的核心意义在于,系统在无需等待人点击批准的情况下进行规划和行动。因此,爆炸半径不再受判断力的限制,而是受你在工具调用中配置的权限限制。一个被误解的指令可以以机器的速度和规模移动库存、执行交易或提交支出。

审视供应链中智能体部署的法律分析师对这一结构性问题直言不讳:如果供应商合同将赔偿责任限制在订阅费,而智能体却能自主触发数倍于该费用的损失,这便不再是风险分配,而是风险转移。对于超过限额的每一美元损失,你都是最终的承担者,而那个限额不过是舍入误差。

团队常犯的错误是,将其视为供应商需要声明免责的问题,因此不是他们自己需要解决的问题。这完全搞反了。正因为供应商已经声明免责,这完全成了你的问题,并且当事故报告写成时,损失会落在任何一个恰好负责该预算的内部部门头上。

因果关系是一场委员会讨论,而委员会不付钱

即使你想把责任推回给某人——供应商、模型提供商、数据供应商——你也会遇到缺口的另一半:智能体的失败很少有单一、清晰的原因。

当智能体做出了代价高昂的错误行为时,事后复盘通常会发现一条链条。模型的推理看似合理但存在缺陷。它所依据的数据是过时或格式错误的。系统提示词留下了歧义。集成环节没有强制执行每个人都以为在别处执行了的支出限制。人类监督在纸面上存在,但已退化为走形式。抽掉其中任何一根线,失败都不会发生。这意味着涉及的每一方——模型供应商、你的平台团队、数据提供商、集成商——都可以指着另一根线说“不是我们”。

这就是为什么在实践中“谁该负责”的问题解决得如此缓慢。自主系统的责任由合同和既定的法律原则决定,而不是由模型的日志决定,而在智能体 AI 出现之前起草的合同中,根本没有能够清晰映射到多方因果链的语言。结果是,责任默认由部署机构承担,因为你是触及了链条中每一个环节的那一方。你选择了供应商,你提供或批准了数据,你配置了权限,你决定了需要多少人工审核。法院和交易对手很容易就能把损失判定给做出所有这些选择的实体。

你无法通过工程手段让因果关系变得简单。但你可以通过工程手段让它变得“清晰可见”——而清晰度决定了你是否能从任何人那里追回任何损失。这就带到了工程师实际可以控制的部分。

加载中…
References:Let's stay in touch and Follow me for more thoughts and updates