跳转到主要内容

赔偿缺口:当你的智能体执行了不可逆操作,谁的预算来买单?

阅读需 1 分钟Tian PanTian Pan

你的智能体刚刚向错误的账户发放了 40,000 美元的退款,重新路由了一份触发加急运费的货运订单,或者推送了一个导致客户生产环境宕机六小时的配置更改。操作已经完成。它是不可逆的,或者代价大到接近不可逆。现在唯一重要的问题是那个在你上线产品前没人问过的问题:谁的预算来买单?

大多数团队都是通过惨痛的教训才发现答案的。在三天后的会议室里,供应商的客户经理在免提电话里向他们回读赔偿限额条款。限额是年度订阅费。而损失是这个金额的 40 倍。对话很快就结束了。

这就是赔偿缺口,它不是一个你可以留到发布后交给采购部门处理的法律脚注。它是一个设计约束,从一开始就应该决定你赋予一个智能体多少自主权。令人不安的事实是,执行某项操作的技术能力与承担该操作责任的财务权限是由完全不同的系统管理的——你的代码库和你的合同——而这两个系统几乎从未在智能体被允许做什么的问题上达成一致。

订阅费与实际风险敞口之间的错配

2026 年的标准 AI 供应商合同读起来仍然像 2019 年的 SaaS 合同。责任限额被设定为过去 12 个月内支付的费用。间接损失——收入损失、加急货运、监管罚款、客户停机时间——被直接免除。当软件只是一个仪表盘时,这是一种合理的分配。一个有漏洞的仪表盘向你展示了一个错误的数据;你注意到了,你没有根据它采取行动,爆炸半径被工具与后果之间的人类判断所限制。

而自主智能体移除了那个“人”。智能体部署的核心意义在于,系统在无需等待人点击批准的情况下进行规划和行动。因此,爆炸半径不再受判断力的限制,而是受你在工具调用中配置的权限限制。一个被误解的指令可以以机器的速度和规模移动库存、执行交易或提交支出。

审视供应链中智能体部署的法律分析师对这一结构性问题直言不讳:如果供应商合同将赔偿责任限制在订阅费,而智能体却能自主触发数倍于该费用的损失,这便不再是风险分配,而是风险转移。对于超过限额的每一美元损失,你都是最终的承担者,而那个限额不过是舍入误差。

团队常犯的错误是,将其视为供应商需要声明免责的问题,因此不是他们自己需要解决的问题。这完全搞反了。正因为供应商已经声明免责,这完全成了你的问题,并且当事故报告写成时,损失会落在任何一个恰好负责该预算的内部部门头上。

因果关系是一场委员会讨论,而委员会不付钱

即使你想把责任推回给某人——供应商、模型提供商、数据供应商——你也会遇到缺口的另一半:智能体的失败很少有单一、清晰的原因。

当智能体做出了代价高昂的错误行为时,事后复盘通常会发现一条链条。模型的推理看似合理但存在缺陷。它所依据的数据是过时或格式错误的。系统提示词留下了歧义。集成环节没有强制执行每个人都以为在别处执行了的支出限制。人类监督在纸面上存在,但已退化为走形式。抽掉其中任何一根线,失败都不会发生。这意味着涉及的每一方——模型供应商、你的平台团队、数据提供商、集成商——都可以指着另一根线说“不是我们”。

这就是为什么在实践中“谁该负责”的问题解决得如此缓慢。自主系统的责任由合同和既定的法律原则决定,而不是由模型的日志决定,而在智能体 AI 出现之前起草的合同中,根本没有能够清晰映射到多方因果链的语言。结果是,责任默认由部署机构承担,因为你是触及了链条中每一个环节的那一方。你选择了供应商,你提供或批准了数据,你配置了权限,你决定了需要多少人工审核。法院和交易对手很容易就能把损失判定给做出所有这些选择的实体。

你无法通过工程手段让因果关系变得简单。但你可以通过工程手段让它变得“清晰可见”——而清晰度决定了你是否能从任何人那里追回任何损失。这就带到了工程师实际可以控制的部分。

会员专享

余下内容仅对会员开放。

会员可读完整内容 —— 每一个公开发布的观点背后,那些框架、决策与推理的全貌。

  • 完整文章,包含未公开存档的部分
  • 可落地的工作框架,附带权衡与决策依据
  • 新文章抢先看,先于公开发布

随时取消 · 一次订阅,畅读全部

参考资料

保持联系,关注我获取更多内容

阅读需 10 分钟

没人会为你的智能体承保

你的智能体准确率足以在无人看管的情况下运行,但部署过程却卡在了一个问题上:当它出错时,谁来承担损失。本文探讨了为什么自主性现在成了一个保险问题,以及如何让智能体变得可承保。

insider
ai-agents
阅读需 9 分钟

康威定律正在影响你的智能体集群

你的多智能体拓扑默认会复制你的组织架构——包括信息孤岛、有损交接和中心瓶颈。本文将探讨这种耦合何时会变成缺陷,以及如何根据问题本身来划定智能体边界。

insider
ai-agents
阅读需 11 分钟

你的客户成功团队无法消化的智能体发布节奏

当 AI 团队通过功能标志每周发布行为变更,而客户成功团队每月才进行一次培训时,这种差距会导致客户信任悄然崩塌。解决方法是建立协调契约,而不是增加更多会议。

insider
ai-agents
阅读需 9 分钟

智能体组合审计:如何在不损害团队自主性的前提下,将15个独立智能体整合为统一平台

当独立构建的AI智能体数量超出你的治理能力时,你需要的不是更多智能体——而是一次审计。以下是整合操作手册。

insider
ai-agents
阅读需 11 分钟

CTO 已拨款但安全团队拒绝让你上线的 AI 功能

能够按时上线的 AI 功能会将安全威胁模型视为需求阶段的“形态约束”,而不是发布前的核对清单。这是一份面向工程领导者的安全左移指南。

insider
ai-security