发现你上线了一个 AI 智能体的最糟糕时机是在事故复盘中。不是在设计文档里,不是在架构评审中,也不是在变更工单里 —— 而是在事故复盘现场,律师正询问为什么在未经授权的情况下给客户退了款,而一名工程师正翻找着一个上次进行实质性评审还是在 11 个月前的服务,然后在名为 enrichTicket 的函数第 40 行处,发现了一个模型调用,它读取客户记录、决定处理方案,并调用了计费 API。没有人画过它的架构图。没有人批准它作为一个智能体运行,因为对于编写它的人来说,它根本不是智能体。它“只是一个辅助工具”。
这就是影子 AI,它已经露出了獠牙。第一波浪潮是员工将公司数据粘贴到消费级聊天机器人中 —— 这是一个数据泄露问题,虽然严重但尚在可控范围内。第二波浪潮是智能体:嵌入内部工具的模型调用,它们读取真实数据并执行真实操作,潜伏在那些原本为完全不同的用途而获批的服务中。大约一半的员工承认使用了雇主从未批准过的 AI 工具,而且很大一部分比例的使用来自高层 —— 总监和高管是主要的“元凶” ,而不是实习生。当这种本能延伸到你的代码库时,你得到的不再是一个泄露的电子表格。而是一个拥有生产环境凭据且未经任何人签字批准的自主代理人。
令人不安的是,影子智能体并非由鲁莽的人创建。它们是由优秀的工程师创建的,而他们只是在执行你的要求:快速交付价值、复用现有基础设施、不要为每一个微小的改动都提交工单。治理差距并不是纪律问题。它是一个定义问题 —— 你的评审流程中根本没有他们所构建内容的对应类别。
智能体是如何在无人决策上线的情况下潜入生产环境的
影子 IT 有着明显的特征。有人注册了 SaaS 工具,报销了费用,IT 部门最终通过账单或 DNS 流量发现了它。这其中有一个决策时刻 —— 注册表单、信用卡 —— 留下了痕迹。影子智能体很少有这样的时刻。它们是逐渐累积而成的。
它通常始于一个已经存在且已经通过评审的服务。比如,一个负责对进线工单进行分类的支撑分拣程序。六个月前,有人添加了一个模型调用来生成工单正文摘要 —— 很有帮助,低风险,没人觉得有问题。接着是第二个调用,用来建议分类。然后,因为建议效果很好,又做了一个改动,在置信度高时自动应用该分类。再然后是一个小工具:如果工单是已知的 50 美元以下的计费错误,则自动发放积分。每一步对于一个已获批的服务来说都只是单行 diff 的改动。没有哪个单一的变更看起来像是“我们现在正在部署一个可以动用资金的自主智能体”。但这些变更的总和正是如此。
另一条常见路径是供应商开关。你已经在付费使用的 SaaS 工具上线了“AI 助手”或“智能体工作流”功能,有人因为演示效果好而启用了它。现在,第三方的智能体正在读取你的数据并调用你的工具,而决定将其引入的只是管理面板中的一个勾选项,而不是采购评审。分析师预计,到 2026 年底,特定任务智能体在企业应用中的比例将从不足 5% 跃升至约 40% —— 这种扩张大部分将以你已经在运行的软件中的功能形式出现,而不是你会有意识选择构建的系统。
这两条路径都有一个共同的危险属性:没有任何产出物标明“这里现在存在一个智能体”。你的软件架构图中出现了一个新的自主节点,而它是由没有任何评审员认为会产生重大影响的代码变动或勾选项添加的。
为什么你现有的控制措施无法捕获它们
你可能确实拥有实际的控制措施:代码审查、变更管理、权限审计,以及扫描未经授权 SaaS 的安全团队。问题在于,这些控制措施都是围绕着“人类形状的对手”或“人类形状的操作员”设计的,而影子智能体不符合其中的任何模板。
首先是身份。你的审计追踪是为回答“哪个自然人做了这件事”而构建的。智能体以服务账号或 API 密钥的形式进行身份验证 —— 一种非人类身份 —— 在大多数企业中,这些身份的数量已经远超人类身份,且管理要松散得多。当智能体执行退款时,日志会显示计费服务执行了该操作,这在技术上是正确的,但在追责上完全无用。没有看起来像人类的登录行为,没有“可疑登录”规则会标记的会话,也没有名字可以填入事故分析的所有者栏。
其次是网络检测。传统的影子 IT 应对方案是监控流向未授权域名的流量。潜伏在已获批准的微服务中的影子智能体不会产生这种信号 —— 它的模型调用和工具调用看起来就像是你已经许可的服务正常的内部通信。影子 AI 潜伏在已获批准的应用中 ,对于捕获上一代违规工具的域名黑名单和应用清单来说是不可见的。影子 IT 和影子 AI 之间的区别通常被描述为速度 —— 影子 IT 扩张了基础设施,而影子 AI 则加速了数据暴露 —— 但对于智能体而言,这还关乎“形状”:风险在于你信任的系统内部所采取的操作,而不是与你不信任的系统的连接。
最后是代码审查本身。审查员接受的培训是在眼前的代码变动中捕获漏洞、安全破绽和风格违规。他们没有接受过识别“三行代码的添加刚刚跨越了治理边界”的培训 —— 比如这个特定的模型调用现在读取了受监管的客户数据,或者这个工具调用现在执行了一个不可逆的操作。代码变动看起来没问题:它能编译,通过了测试,也实现了 PR 中所述的功能。审查员没有任何提示会告诉他:“等等 —— 我们是不是刚刚构建了一个智能体?” 于是,服务中最具影响力的架构变更就这样作为常规变动溜了过去。
爆炸半径更大,是因为智能体不仅会泄露,还会行动 有必要准确说明为什么“影子智能体”(shadow agents)比“影子聊天机器人”(shadow chatbots)更令人警惕。提示词泄露只会暴露数据,但智能体却会采取行动 —— 而行动所带来的爆炸半径是数据暴露无法比拟的。
一个看到了客户地址的影子聊天机器人属于机密性事故:性质恶劣、需要报告,但影响范围仅限于它所读取的内容。而一个能够 修改 客户地址、取消订单、发放退款或代表公司给客户发邮件的影子智能体,则属于完整性和安全性事故。它以机器速度运行,且在做出第一个错误决策后的第十个错误决策时,依然没有人工介入来进行合理性检查。安全研究人员已开始将这些智能体称为 “运营内部人员”(operational insiders) —— 它们的行为就像一名拥有常驻权限和行动授权的员工,只不过没人雇佣过它们,没人审查过它们的判断力,也没人限定过它们的权限范围。
成本数据印证了这一直觉。涉及影子 AI 的数据泄露损失经测量比 平均事故高出约 670,000 美元 ,且绝大多数遭受泄露的组织在事发时都缺乏适当的 AI 访问控制。这种溢价并不仅仅是因为涉及了 AI —— 而是因为未受监管的智能体往往拥有广泛的权限且缺乏遏制措施,因此一旦出问题,就会波及它能触及的所有环节。一个继承了计费服务全部凭据的智能体不会只发错一笔退款。它会一直发错退款直到有人发现,而“有人发现”恰恰是你当初从未注册该智能体时所忽略的控制环节。
在发生破坏前发现智能体的轻量级治理 这种失败模式往往诱使人们倾向于沉重的解决方案 —— 成立中央 AI 评审委员会、对每次模型调用设置强制审批关口、对任何触及 Token 的东西进行为期六周的安全评估。这种疗法会害死病人。让治理变得昂贵并不能阻止影子智能体,反而会催生它们,因为它们之所以成为“影子”,正是因为合规路径太慢。目标应该是让 正确 的路径成为 简单 的路径。以下几件事确实能产生实际效果。
对调用模型的内容以及这些调用能触及的内容保持清单。 你无法治理你无法列举的东西,而 可见性现在被广泛视为首要控制手段 ,优于任何政策。这不一定非得是一个复杂的平台。它可以从一个强制性的注解或轻量级注册表开始:代码库中的每次模型调用都要声明它读取什么数据以及可以采取什么行动,如果调用未注册,CI 检查就会报错导致构建失败。重点不在于产物本身 —— 而在于让“这里存在一个智能体”成为系统已知的事实,而不是事故审查中发现的意外。
将你的评审关口定位于数据和行动风险,而非模型选择。 大多数 AI 治理政策都问错了问题 —— 哪个模型、哪个供应商、哪个地区。这些固然重要,但它们并不是决定爆炸半径的因素。真正能预判伤害的问题是:这是否触及敏感数据,以及它是否能采取不可逆的行动? 总结公共文档的模型调用不需要繁琐的手续。而能够转移资金或修改客户记录的模型调用则需要明确负责人和受限的最小权限凭据 —— 智能体应该只能触及其特定任务所需的内容 ,仅此而已。按照这个轴线分配评审精力,你就能把审查用在真正的风险所在。
将“智能体触及客户数据”作为变更流程中的首要问题。 成本最低、杠杆率最高的修复方案是在你的 PR 模板和架构评审清单中增加一行:此项变更是否允许软件在没有人工干预的情况下读取敏感数据或代表用户采取行动? 如果是,则为其指定负责人并进行二次审查。这只需勾选一个复选框,却能重塑评审者的关注点。影子智能体的产生正是因为在编写 Diff 的那一刻没人问这个问题 —— 所以,在那个时刻,每一次都去问这个问题。
这些都不需要你慢下来。它只需要你去察觉。那些被影子智能体伤害的组织并不是因为跑得太快,而是因为在盲目狂奔,他们像局外人一样发现自己的自主系统 —— 只有在东西坏了之后。
真正的教训:你对“部署智能体”的定义本身就是漏洞 影子智能体最深层的问题并非技术问题。而是在大多数组织中,“我们部署了一个智能体”听起来仍像是一个重大的、深思熟虑的事件 —— 一个项目、一次发布、一个命名。实际上,它只是一个 Diff。它只是一个复选框。它只是一个增加了工具调用功能的辅助函数。只要你的治理逻辑还假设智能体是带着项目计划从正门进来的,它们就会不断作为对你已批准服务的单行修改,从侧门进来。
解决方法是停止将“智能体”视为一个终点,而开始将“读取敏感数据或采取行动”视为触发条件。这种观念转变很小、成本很低,但这决定了你是在清单上发现你的自主系统,还是在事故审查中发现它们 —— 届时律师会坐在房间里问是谁批准了这一切,而现场没有人能回答。
会员专享
余下内容仅对会员开放。 会员可读完整内容 —— 每一个公开发布的观点背后,那些框架、决策与推理的全貌。
— 完整文章,包含未公开存档的部分 — 可落地的工作框架,附带权衡与决策依据 — 新文章抢先看,先于公开发布 登录以继续阅读→ 随时取消 · 一次订阅,畅读全部