你的智能体开始工作了。它处理工单、发放退款、更新记录、完成闭环——无需人工干预,且根据你的指标,其质量超过了执行同样任务的人类中位数。你已经准备好让智能体完全脱离人工干预。然而部署陷入了停滞,不是卡在工程环节,而是在一次会议中,法务或财务部门的人提出了一个你无法回答的问题:一旦出错,损失由谁承担?
这是智能体自主化过程中能力曲线无法触及的部分。你可以将准确率从 95% 提升到 99%,但上述问题依然存在。因为阻碍部署的从来不是“模型是否足够好”,而是由概率系统采取不可逆行动所带来的风险必须由人承担,而现在没人愿意承担。你的职业责任险(E&O 保险)是为人类失误编写的,且越来越多地将自动化失误排除在外。你的模型供应商合同声明对一切后果免责。而且,目前还没有哪家保险公司能为这类系统制作精算表——因为每当你修改一次提示词(Prompt),系统的失败率就会悄然发生偏移。
一个令人不安的事实是,“我们能否自主部署这个系统”正日益演变成一个保险和赔偿问题,而不仅仅是机器学习问题。那些懂得如何让智能体变得“可承保”——即清晰透明、边界明确且可证明受到监管——的团队将率先实现自主化部署,而其他人则会继续困在法律责任会议中。本文将探讨如何成为前者。
没人注意到的责任缺口
首先看看法律已经给出的定义,因为这比大多数工程师想象的要清晰得多。在 Moffatt v. Air Canada 一案中,一名客户向航空公司的网站聊天机器人询问抚恤票价,得到了一个极其自信的错误回答,并据此订票,随后起诉了公司。加拿大航空公司的辩护理由简直错得离谱:它辩称聊天机器人是一个“独立的法律实体”,应对其自身的言论负责。法庭断然拒绝了这一说法。机器人是加拿大航空公司网站的一部分;该公司应对其网站上的所有内容负责,包括产生幻觉的部分。虽然赔偿金额微不足道——仅为几百加元——但其背后的原则却意义重大:你对智能体输出结果的责任,就和你对定价页面上的错别字所负的责任一样。 并没有“模型干的”这种免责辩护。
现在,将这一原则从一段错误的句子扩展到错误的“行动”。一个误述政策的聊天机器人只会让你损失票价差额。而一个发放退款、转账、取消订单或向客户发送未经授权承诺的智能体,不仅会让你损失行动本身的成本和清理费用,还可能由于在所有人察觉之前,每个会话都在运行相同的错误逻辑,从而导致一系列连锁性的错误行为。你面临的风险不是一个坏结果,而是一整群关联的错误结果。
这种关联性正是风险难以评估的原因。传统的责任险遵循大数定律:相互独立、互不关联的错误相互抵消,从而使精算师能够对其定价。但智能体不会独立地失败。一次糟糕的模型更新、一个被污染的检索源、或者一个导致行为偏差 3 度的提示词修改,都会导致所有实例在同一时间以同样的方式失败。保险公司对这种风险模式有一个专门的称呼,那不是“职业责任”,而是巨灾 (catastrophe)——与洪水和野火同属一类,即单一事件引发数千起同时索赔。当保险公司同意为此定价时,他们对巨灾风险的定价逻辑与常规风险完全不同。
为什么你现有的保险会悄悄将其排除在外
大多数团队认为他们现有的保单可以涵盖这些风险。但在大多数情况下,事实并非如此,而且保单条款的演变方向正变得对投保人不利。
专业责任险和职业责任险(E&O)是围绕人类错误设计的——即一个人在行使专业判断时偶尔出错。AI 在工作流中引入了一个非人类的决策者,而保险公司已经注意到了这一点。从 2025 年到 2026 年,保险公司开始附加批单,完全排除 任何因使用 AI、AI 输出、训练、咨询或自动化决策而产生的索赔。这不是分项限额,而是责任免除(Carve-out)。承保人将这些系统(不无道理地)描述为产生既非确定性也不具备一致性输出的“黑盒”——而可量化性正是承保的基石。如果他们无法界定损失分布,理性的做法是排除风险,而不是错误定价。
披露条款中还隐藏着第二个陷阱。现在有些保单将披露 AI 使用情况作为承保前提,这意味着如果一个团队悄悄地将智能体接入面向客户的工作流,可能会因为违反了“虚假陈述”或“未尽告知义务”条款而导致保险失效。你“认为”自己拥有的保障可能已经不复存在,而你只有在索赔时才会发现。
此外,不要指望供应商会为你兜底。一项针对 AI 供应商合同的调查发现,88% 的供应商将赔偿限额设定为月度订阅费用 ,且只有 17% 的供应商提供任何监管合规保证。从字面上理解:如果你每月支付几千美元购买的模型造成了六位数的损失,合同规定供应商的风险敞口仅为那几千美元——而且这些合同中许多还包含补偿条款,要求你 去为他们 辩护。法律责任不会止于供应商,而是按照设计直接流向你。
市场正在围绕什么成形 差距是真实存在的,但并非永久性——一个市场正在这一领域形成,观察其形状能准确告诉你核保人(underwriters)需要看到什么。
慕尼黑再保险公司(Munich Re)的 aiSure 套件为 AI 系统的性能误差提供性能保证,其对“AI”的定义足够广泛,明确包含了采取自主行动的智能体系统 (agentic systems)。其专业保险公司 HSB 在 2026 年初推出了一款针对中小企业的 AI 责任险产品,承保由 AI 驱动的损失,如人身伤害、财产损失和广告侵权。Armilla 等新入场者则销售由劳合社(Lloyd's)支持的保险,涵盖幻觉、模型漂移和监管违规,据报道保额高达 2500 万美元。甚至出现了一个新兴的研究方向:基于轨迹经济的核保 (trace-economic underwriting)——直接根据智能体的执行轨迹而非静态调查问卷来为风险定价。
所有这一切的共同点值得内化:这些产品承保的不是“一个 AI”。它们承保的是一个行为受到限制、有日志记录且受到监督的系统。 性能保证的前提是你可以衡量性能。参数化触发器的前提是存在一个可观察、已达成的“失败”信号。基于轨迹的定价前提是存在轨迹。每一种机制本质上都是对“易读性”(legibility)的要求。无法投保的智能体是没人能看清其内部情况的那个;而可投保的智能体是能产生证据的那个。
让你的智能体具备可核保性 这为构建者重新定义了整个问题。你获得保障——或者获得功能类似于保障的内部批准——不是通过提高模型准确性实现的。你是通过让智能体的爆炸半径(blast radius)变得微小、受限且可审计来实现的。具体来说,有四个动作。
用硬性限制而非提示词来锁定爆炸半径。 在工具层强制执行每个智能体、每个会话和每个任务的支出上限,这样无论智能体如何“决定”,它在物理上都无法超过这些上限。一句“不要花费超过 500 美元”的提示词只是一个建议;一个拒绝第 501 美元的支出 API 则是一项控制。核保人和财务主管可以理解后者,而非前者,因为一个是界限,另一个是希望。
按可逆性对动作进行分类,并为不可逆的动作设置预算。 并非所有动作都带有相同的风险,统一对待会导致你对安全的操作监管过度,而对危险的操作监管不足。将动作按光谱排序,从完全可逆(只读查询、未发送的草稿)到完全不可逆(已转出的资金、客户已阅读的邮件)。然后运行一些研究人员所称的“不可逆性预算”(irreversibility budget):在智能体必须停止并重新获得授权之前,设定累积不可逆后果的硬性天花板。可逆动作可以完全放开运行,不可逆动作则消耗你刻意设置的预算。
在不可逆层级引入人工——且仅在该层级。 对所有事情都进行“人机协同”(Human-in-the-loop)只会重塑你试图自动化的手动流程,尝试这样做的团队会拖垮他们的审核人员并悄悄关闭闸门。人工签字授权应专门针对不可逆的临界点:即涉及真实资金转移、删除真实数据或做出外部承诺的动作。除此之外的一切都应在无人值守的情况下运行。这能让你在 95% 的场景中声称实现了真正的自主,同时在剩下 5% 可能真正造成伤害的场景中,保留一个站得住脚的“尽职调查”(reasonable care)说法。
记录一切作为证据,而不不仅仅是遥测数据。 在责任纠纷中,同时期的记录记录往往具有决定性意义——这些证据表明你评估了系统的限制,对其进行了监控,并在发现问题时调整了控制措施。因此,构建的交互日志不仅要能重构智能体做了“什么”,还要能重构“授权何时演变为偏移”(when delegation became drift):哪个模型版本、哪个提示词、哪个检索到的上下文、哪个审批人、哪个时间戳。这份日志就是限制你风险敞口的东西。在法庭面前,这就是“尽职调查”与“鲁莽部署”之间的区别,也是核保人(或你自己的法律团队)在签字批准前所需的关键产物。注意这里的双重目的:调试智能体的同一份轨迹,也是防御它的记录。
监管的顺风,以及现在行动的理由 这样做不仅是为了保护你自己。标准机构也开始对此给予奖励。诸如《德克萨斯州负责任 AI 治理法案》(Texas Responsible AI Governance Act)之类的框架创建了一个“避风港”:如果组织遵守了公认的治理标准(如 NIST AI 风险管理框架),这种遵守行为将被视为尽职调查的表面证据(prima facie evidence)。换句话说,让你的智能体具备可核保性的控制措施,正日益成为为你提供肯定性法律辩护的相同控制措施。审计轨迹、人工闸门、记录在案的风险审查——它们不是负担,而是将“我们部署了一个黑箱”转化为“我们尽到了一个合理运营者应尽的责任”的关键。
因此,战略格局是这样的:对于越来越多的任务类别来说,能力不再是自主部署的限制因素,责任(liability)才是。那些将此视为法律注脚的团队,将不断在同样的会议上碰壁,发布需要人类批准每一次按键的 Copilot,并纳闷为什么“模型足够好”从未转化为“智能体无人值守运行”。而那些将可核保性视为工程要求的团队——在工具层设置支出上限、划分可逆性层级、将人工签字范围缩小到不可逆操作、默认进行取证级日志记录——将能够带着“谁来承担损失”的答案走进会议室,并带着让智能体采取行动的授权走出来。
“足够好”在模型发布前就已经是入场券了。而“可投保性”(insurable)才是真正能上线的关键。构建一个没人害怕承保的智能体,当你的竞争对手还在为此争论不休时,你已经实现了自主化的部署。
会员专享
余下内容仅对会员开放。 会员可读完整内容 —— 每一个公开发布的观点背后,那些框架、决策与推理的全貌。
— 完整文章,包含未公开存档的部分 — 可落地的工作框架,附带权衡与决策依据 — 新文章抢先看,先于公开发布 登录以继续阅读→ 随时取消 · 一次订阅,畅读全部