赔偿缺口:当你的智能体执行了不可逆操作,谁的预算来买单?
· 阅读需 10 分钟
你的智能体刚刚向错误的账户发放了 40,000 美元的退款,重新路由了一份触发加急运费的货运订单,或者推送了一个导致客户生产环境宕机六小时的配置更改。操作已经完成。它是不可逆的,或者代价大到接近不可逆。现在唯一重要的问题是那个在你上线产品前没人问过的问题:谁的预算来买单?
大多数团队都是通过惨痛的教训才发现答案的。在三天后的会议室里,供应商的客户经理在免提电话里向他们回读赔偿限额条款。限额是年度订阅费。而损失是这个金额的 40 倍。对话很快就结束了。
这就是赔偿缺口,它不是一个你可以留到发布后交给采购部门处理的法律脚注。它是一个设计约束,从一开始就应该决定你赋予一个智能体多少自主权。令人不安的事实是,执行某项操作的技术能力与承担该操作责任的财务权限是由完全不同的系统管理的——你的代码库和你的合同——而这两个系统几乎从未在智能体被允许做什么的问题上达成一致。
