跳到主要内容

保修难题:当你的 AI 功能出错时,谁来买单?

· 阅读需 10 分钟
Tian Pan
Software Engineer

每一份软件保修条款都假设了确定性行为。你交付一个函数,相同的输入返回相同的输出,而保修覆盖的是文档描述的行为与实际行为之间的差距。AI 功能彻底打破了这一假设。

当你的 LLM 驱动功能告诉客户错误的信息——而这个错误信息让他们蒙受了经济损失——传统的保修条款让所有人都在互相指责。

这不是假设场景。2020 年至 2025 年间,美国累计的生成式 AI 诉讼案件已超过 700 起,同比增长率高达 137%。管理软件责任的法律基础设施是为确定性世界构建的,而这种不匹配已经在造成真实损失。

加拿大航空先例:你对聊天机器人的承诺负责

这个让每个产品团队都开始关注的案例发生在 2024 年 2 月。Jake Moffatt 向加拿大航空的聊天机器人询问丧亲票价。聊天机器人告诉他可以先购买全价机票,然后再申请丧亲折扣。这是错误的——加拿大航空的实际政策明确排除了追溯申请。

当 Moffatt 要求部分退款时,加拿大航空拒绝了。然后他们提出了一个应该让每家部署 AI 功能的公司都感到担忧的论点:他们声称聊天机器人是一个"独立的法律实体",应该对自己的行为负责。不列颠哥伦比亚省民事解决仲裁庭完全驳回了这一论点——加拿大航空对其网站上的所有信息负责,无论是来自静态页面还是聊天机器人。该航空公司赔偿了 812 美元,金额虽小,但确立了一个重大原则。

如果你部署的 AI 系统向客户做出了声明,那些声明就是你的声明。模型的非确定性本质不能作为辩护理由。你没有编写那些具体的文字也不能作为辩护理由。是你选择将系统放在客户面前的,你就要对它所说的话负责。

为什么"AI 生成——请独立验证"无法保护你

AI 功能最常见的风险缓解策略是免责声明:"此内容由 AI 生成,请独立验证。"在非监管的消费者场景中,这可能会降低一些风险敞口。但在受监管行业中,这在法律上是不充分的——而且在其他领域也越来越不够用。

看看监管格局:

  • 医疗健康:加州的 AB 3030 法案要求使用生成式 AI 进行患者沟通的医疗服务提供者必须包含特定的免责声明以及联系人类医生的说明。但免责声明只是底线,而非上限——只有医生(而非 AI 系统)可以就医疗必要性做出最终决定。
  • 金融服务:用于信用评分或风险评估的 AI 模型必须遵守《公平信用报告法》。免责声明并不能免除你的实质性合规义务。
  • 销售和营销:FTC 要求所有声明——包括 AI 生成的声明——必须真实且不具有误导性。在你的 AI 编造的产品推荐上贴一个免责声明并不能满足这一要求。

模式很清晰:监管机构将免责声明视为最低披露义务,而非责任保护盾。实质性的注意义务仍然在部署者身上。你不能将专业判断外包给语言模型,然后对后果免责。

这在实践中很重要,因为许多团队将免责声明视为责任分析的终点。它应该是起点。

没人谈论的保险缺口

这是一个应该让每个正在交付 AI 功能的工程领导者感到警觉的事实:你公司现有的保险政策很可能不覆盖 AI 特有的责任。

传统的错误与遗漏(E&O)保险和一般责任保险是为确定性软件故障编写的——bug、宕机、数据泄露。它们通常不覆盖:

  • AI 幻觉导致的经济损失
  • 生成内容的知识产权侵权
  • AI 输出造成的诽谤或错误信息
  • 因 AI 生成建议引起的专业渎职索赔

这个问题正在恶化,而非好转。2026 年 1 月,Verisk 发布了专门针对生成式 AI 的新一般责任排除条款。2026 年第一和第二季度续保的保单是首批纳入这些排除条款的保单。如果你的公司最近续保了一般责任保险,请检查它是否现在明确排除了 AI 相关索赔。

保险行业将此称为"沉默 AI"——既未明确包含也未明确排除在现有保单中的 AI 风险敞口。当索赔发生时,双方争论是否适用保险覆盖,而投保人通常是输家。

一些专门的 AI 保险产品正在出现。由 Chaucer 和 Axis Capital 支持的 Armilla 在 2025 年推出了需要持续模型质量评估的保险。Testudo 于 2026 年 1 月推出了面向部署生成式 AI 的企业的索赔保险产品。但这些都是早期产品,记录有限,而且它们要求的模型监控和评估基础设施是大多数团队尚未建立的。

实际结论:在你交付一个向客户做出声明、推荐或决策的 AI 功能之前,请询问你的法律团队当前的保险是否覆盖故障模式。答案可能会改变你的风险考量。

加载中…
References:Let's stay in touch and Follow me for more thoughts and updates