跳到主要内容

影子智能体:法务在事故复盘中才发现的 AI 功能

· 阅读需 12 分钟
Tian Pan
Software Engineer

发现你上线了一个 AI 智能体的最糟糕时机是在事故复盘中。不是在设计文档里,不是在架构评审中,也不是在变更工单里 —— 而是在事故复盘现场,律师正询问为什么在未经授权的情况下给客户退了款,而一名工程师正翻找着一个上次进行实质性评审还是在 11 个月前的服务,然后在名为 enrichTicket 的函数第 40 行处,发现了一个模型调用,它读取客户记录、决定处理方案,并调用了计费 API。没有人画过它的架构图。没有人批准它作为一个智能体运行,因为对于编写它的人来说,它根本不是智能体。它“只是一个辅助工具”。

这就是影子 AI,它已经露出了獠牙。第一波浪潮是员工将公司数据粘贴到消费级聊天机器人中 —— 这是一个数据泄露问题,虽然严重但尚在可控范围内。第二波浪潮是智能体:嵌入内部工具的模型调用,它们读取真实数据并执行真实操作,潜伏在那些原本为完全不同的用途而获批的服务中。大约一半的员工承认使用了雇主从未批准过的 AI 工具,而且很大一部分比例的使用来自高层 —— 总监和高管是主要的“元凶”,而不是实习生。当这种本能延伸到你的代码库时,你得到的不再是一个泄露的电子表格。而是一个拥有生产环境凭据且未经任何人签字批准的自主代理人。

令人不安的是,影子智能体并非由鲁莽的人创建。它们是由优秀的工程师创建的,而他们只是在执行你的要求:快速交付价值、复用现有基础设施、不要为每一个微小的改动都提交工单。治理差距并不是纪律问题。它是一个定义问题 —— 你的评审流程中根本没有他们所构建内容的对应类别。

智能体是如何在无人决策上线的情况下潜入生产环境的

影子 IT 有着明显的特征。有人注册了 SaaS 工具,报销了费用,IT 部门最终通过账单或 DNS 流量发现了它。这其中有一个决策时刻 —— 注册表单、信用卡 —— 留下了痕迹。影子智能体很少有这样的时刻。它们是逐渐累积而成的。

它通常始于一个已经存在且已经通过评审的服务。比如,一个负责对进线工单进行分类的支撑分拣程序。六个月前,有人添加了一个模型调用来生成工单正文摘要 —— 很有帮助,低风险,没人觉得有问题。接着是第二个调用,用来建议分类。然后,因为建议效果很好,又做了一个改动,在置信度高时自动应用该分类。再然后是一个小工具:如果工单是已知的 50 美元以下的计费错误,则自动发放积分。每一步对于一个已获批的服务来说都只是单行 diff 的改动。没有哪个单一的变更看起来像是“我们现在正在部署一个可以动用资金的自主智能体”。但这些变更的总和正是如此。

另一条常见路径是供应商开关。你已经在付费使用的 SaaS 工具上线了“AI 助手”或“智能体工作流”功能,有人因为演示效果好而启用了它。现在,第三方的智能体正在读取你的数据并调用你的工具,而决定将其引入的只是管理面板中的一个勾选项,而不是采购评审。分析师预计,到 2026 年底,特定任务智能体在企业应用中的比例将从不足 5% 跃升至约 40% —— 这种扩张大部分将以你已经在运行的软件中的功能形式出现,而不是你会有意识选择构建的系统。

这两条路径都有一个共同的危险属性:没有任何产出物标明“这里现在存在一个智能体”。你的软件架构图中出现了一个新的自主节点,而它是由没有任何评审员认为会产生重大影响的代码变动或勾选项添加的。

为什么你现有的控制措施无法捕获它们

你可能确实拥有实际的控制措施:代码审查、变更管理、权限审计,以及扫描未经授权 SaaS 的安全团队。问题在于,这些控制措施都是围绕着“人类形状的对手”或“人类形状的操作员”设计的,而影子智能体不符合其中的任何模板。

首先是身份。你的审计追踪是为回答“哪个自然人做了这件事”而构建的。智能体以服务账号或 API 密钥的形式进行身份验证 —— 一种非人类身份 —— 在大多数企业中,这些身份的数量已经远超人类身份,且管理要松散得多。当智能体执行退款时,日志会显示计费服务执行了该操作,这在技术上是正确的,但在追责上完全无用。没有看起来像人类的登录行为,没有“可疑登录”规则会标记的会话,也没有名字可以填入事故分析的所有者栏。

其次是网络检测。传统的影子 IT 应对方案是监控流向未授权域名的流量。潜伏在已获批准的微服务中的影子智能体不会产生这种信号 —— 它的模型调用和工具调用看起来就像是你已经许可的服务正常的内部通信。影子 AI 潜伏在已获批准的应用中,对于捕获上一代违规工具的域名黑名单和应用清单来说是不可见的。影子 IT 和影子 AI 之间的区别通常被描述为速度 —— 影子 IT 扩张了基础设施,而影子 AI 则加速了数据暴露 —— 但对于智能体而言,这还关乎“形状”:风险在于你信任的系统内部所采取的操作,而不是与你不信任的系统的连接。

加载中…
References:Let's stay in touch and Follow me for more thoughts and updates