跳转到主要内容

没人会为你的智能体承保

阅读需 1 分钟Tian PanTian Pan

你的智能体开始工作了。它处理工单、发放退款、更新记录、完成闭环——无需人工干预,且根据你的指标,其质量超过了执行同样任务的人类中位数。你已经准备好让智能体完全脱离人工干预。然而部署陷入了停滞,不是卡在工程环节,而是在一次会议中,法务或财务部门的人提出了一个你无法回答的问题:一旦出错,损失由谁承担?

这是智能体自主化过程中能力曲线无法触及的部分。你可以将准确率从 95% 提升到 99%,但上述问题依然存在。因为阻碍部署的从来不是“模型是否足够好”,而是由概率系统采取不可逆行动所带来的风险必须由人承担,而现在没人愿意承担。你的职业责任险(E&O 保险)是为人类失误编写的,且越来越多地将自动化失误排除在外。你的模型供应商合同声明对一切后果免责。而且,目前还没有哪家保险公司能为这类系统制作精算表——因为每当你修改一次提示词(Prompt),系统的失败率就会悄然发生偏移。

一个令人不安的事实是,“我们能否自主部署这个系统”正日益演变成一个保险和赔偿问题,而不仅仅是机器学习问题。那些懂得如何让智能体变得“可承保”——即清晰透明、边界明确且可证明受到监管——的团队将率先实现自主化部署,而其他人则会继续困在法律责任会议中。本文将探讨如何成为前者。

没人注意到的责任缺口

首先看看法律已经给出的定义,因为这比大多数工程师想象的要清晰得多。在 Moffatt v. Air Canada 一案中,一名客户向航空公司的网站聊天机器人询问抚恤票价,得到了一个极其自信的错误回答,并据此订票,随后起诉了公司。加拿大航空公司的辩护理由简直错得离谱:它辩称聊天机器人是一个“独立的法律实体”,应对其自身的言论负责。法庭断然拒绝了这一说法。机器人是加拿大航空公司网站的一部分;该公司应对其网站上的所有内容负责,包括产生幻觉的部分。虽然赔偿金额微不足道——仅为几百加元——但其背后的原则却意义重大:你对智能体输出结果的责任,就和你对定价页面上的错别字所负的责任一样。 并没有“模型干的”这种免责辩护。

现在,将这一原则从一段错误的句子扩展到错误的“行动”。一个误述政策的聊天机器人只会让你损失票价差额。而一个发放退款、转账、取消订单或向客户发送未经授权承诺的智能体,不仅会让你损失行动本身的成本和清理费用,还可能由于在所有人察觉之前,每个会话都在运行相同的错误逻辑,从而导致一系列连锁性的错误行为。你面临的风险不是一个坏结果,而是一整群关联的错误结果。

这种关联性正是风险难以评估的原因。传统的责任险遵循大数定律:相互独立、互不关联的错误相互抵消,从而使精算师能够对其定价。但智能体不会独立地失败。一次糟糕的模型更新、一个被污染的检索源、或者一个导致行为偏差 3 度的提示词修改,都会导致所有实例在同一时间以同样的方式失败。保险公司对这种风险模式有一个专门的称呼,那不是“职业责任”,而是巨灾(catastrophe)——与洪水和野火同属一类,即单一事件引发数千起同时索赔。当保险公司同意为此定价时,他们对巨灾风险的定价逻辑与常规风险完全不同。

为什么你现有的保险会悄悄将其排除在外

大多数团队认为他们现有的保单可以涵盖这些风险。但在大多数情况下,事实并非如此,而且保单条款的演变方向正变得对投保人不利。

专业责任险和职业责任险(E&O)是围绕人类错误设计的——即一个人在行使专业判断时偶尔出错。AI 在工作流中引入了一个非人类的决策者,而保险公司已经注意到了这一点。从 2025 年到 2026 年,保险公司开始附加批单,完全排除任何因使用 AI、AI 输出、训练、咨询或自动化决策而产生的索赔。这不是分项限额,而是责任免除(Carve-out)。承保人将这些系统(不无道理地)描述为产生既非确定性也不具备一致性输出的“黑盒”——而可量化性正是承保的基石。如果他们无法界定损失分布,理性的做法是排除风险,而不是错误定价。

披露条款中还隐藏着第二个陷阱。现在有些保单将披露 AI 使用情况作为承保前提,这意味着如果一个团队悄悄地将智能体接入面向客户的工作流,可能会因为违反了“虚假陈述”或“未尽告知义务”条款而导致保险失效。你“认为”自己拥有的保障可能已经不复存在,而你只有在索赔时才会发现。

此外,不要指望供应商会为你兜底。一项针对 AI 供应商合同的调查发现,88% 的供应商将赔偿限额设定为月度订阅费用,且只有 17% 的供应商提供任何监管合规保证。从字面上理解:如果你每月支付几千美元购买的模型造成了六位数的损失,合同规定供应商的风险敞口仅为那几千美元——而且这些合同中许多还包含补偿条款,要求去为他们辩护。法律责任不会止于供应商,而是按照设计直接流向你。

会员专享

余下内容仅对会员开放。

会员可读完整内容 —— 每一个公开发布的观点背后,那些框架、决策与推理的全貌。

  • 完整文章,包含未公开存档的部分
  • 可落地的工作框架,附带权衡与决策依据
  • 新文章抢先看,先于公开发布

随时取消 · 一次订阅,畅读全部

参考资料

保持联系,关注我获取更多内容

阅读需 9 分钟

赔偿缺口:当你的智能体执行了不可逆操作,谁的预算来买单?

一个自主智能体造成的损失可能比你的供应商责任上限高出许多倍,而 2026 年的保险除外条款正在关闭最后的防线。本文将介绍如何在事故发生前,将自主权转化为一项明码标价的支出决策。

insider
ai-agents
阅读需 9 分钟

智能体安排的无人继承的周期性任务

当一个智能体启动了一项周期性任务然后离去,该计划的寿命将超过其所有者 —— 孤儿率会在悄无声息中累积,直到有人进行审计。

insider
ai-agents
阅读需 8 分钟

让 Agent 先接警:AI 故障响应的信任阶梯

故障发生的最初 15 分钟通常是机械化的,Agent 可以在你解锁笔记本电脑前就完成这些工作。这套由叙述者、建议者、受控执行者、受限自动修复者组成的四层信任阶梯,配合基于证据的晋升和有范围的降级机制,比在经历一个糟糕的夜晚后彻底禁用自动化要明智得多。

insider
incident-response
阅读需 10 分钟

自主性开关:为何智能体模式应是用户设置而非模型设置

在你的智能体产品中硬编码单一的自主性级别会疏远一半的用户。相反,你应该交付单项任务自主性阶梯、成比例的撤销机制以及学习型默认设置。

insider
ai-agents
阅读需 9 分钟

发布前的爆炸半径清单:你的智能体团队遗漏编写的文档

大多数智能体团队在第一次事故发生时才发现缺失了爆炸半径清单。本文将介绍这一交付物、它所需的列,以及如何将其设为 CI 合并门槛以确保其准确性。

insider
ai-agents