跳到主要内容

3 篇博文 含有标签「insurance」

查看所有标签

没人会为你的智能体承保

· 阅读需 11 分钟
Tian Pan
Software Engineer

你的智能体开始工作了。它处理工单、发放退款、更新记录、完成闭环——无需人工干预,且根据你的指标,其质量超过了执行同样任务的人类中位数。你已经准备好让智能体完全脱离人工干预。然而部署陷入了停滞,不是卡在工程环节,而是在一次会议中,法务或财务部门的人提出了一个你无法回答的问题:一旦出错,损失由谁承担?

这是智能体自主化过程中能力曲线无法触及的部分。你可以将准确率从 95% 提升到 99%,但上述问题依然存在。因为阻碍部署的从来不是“模型是否足够好”,而是由概率系统采取不可逆行动所带来的风险必须由人承担,而现在没人愿意承担。你的职业责任险(E&O 保险)是为人类失误编写的,且越来越多地将自动化失误排除在外。你的模型供应商合同声明对一切后果免责。而且,目前还没有哪家保险公司能为这类系统制作精算表——因为每当你修改一次提示词(Prompt),系统的失败率就会悄然发生偏移。

赔偿缺口:当你的智能体执行了不可逆操作,谁的预算来买单?

· 阅读需 10 分钟
Tian Pan
Software Engineer

你的智能体刚刚向错误的账户发放了 40,000 美元的退款,重新路由了一份触发加急运费的货运订单,或者推送了一个导致客户生产环境宕机六小时的配置更改。操作已经完成。它是不可逆的,或者代价大到接近不可逆。现在唯一重要的问题是那个在你上线产品前没人问过的问题:谁的预算来买单?

大多数团队都是通过惨痛的教训才发现答案的。在三天后的会议室里,供应商的客户经理在免提电话里向他们回读赔偿限额条款。限额是年度订阅费。而损失是这个金额的 40 倍。对话很快就结束了。

保修难题:当你的 AI 功能出错时,谁来买单?

· 阅读需 10 分钟
Tian Pan
Software Engineer

每一份软件保修条款都假设了确定性行为。你交付一个函数,相同的输入返回相同的输出,而保修覆盖的是文档描述的行为与实际行为之间的差距。AI 功能彻底打破了这一假设。

当你的 LLM 驱动功能告诉客户错误的信息——而这个错误信息让他们蒙受了经济损失——传统的保修条款让所有人都在互相指责。

这不是假设场景。2020 年至 2025 年间,美国累计的生成式 AI 诉讼案件已超过 700 起,同比增长率高达 137%。管理软件责任的法律基础设施是为确定性世界构建的,而这种不匹配已经在造成真实损失。