通过总结进行数据窃取。 传统的 DLP 监控文件下载、批量邮件附件和 USB 传输。它不会监控员工要求 AI 代理“总结第三季度董事会简报、上个月的竞争分析以及我们的定价模型,然后将其转换成我可以对外分享的格式”。没有文件被移动。没有触发任何规则。数据还是流失了。
通过 AI 工具导致的凭据和密钥泄露。 使用 GitHub Copilot 的代码仓库与没有 AI 辅助的仓库相比,其密钥泄露率高出 40%。其机制非常寻常:开发人员将包含环境变量、API 密钥或连接字符串的上下文粘贴到 AI 提示词中。根据你的配置,AI 工具可能会记录这些信息、对其进行缓存或将其包含在训练数据中。即使没有恶意,AI 编程助手也为凭据离开环境创造了新路径。
通过过度授权的 MCP 集成放大访问权限。 支持代理式 AI 工具的 Model Context Protocol(模型上下文协议)服务器通常配有具有广泛读/写权限的服务账户。与人类用户账户不同,这些服务账户很少应用异常检测 —— 它们不被期望像人类一样行事。一个能通过提示词注入操纵 MCP 集成的受攻击用户,可以获得该服务账户的权限,而不仅仅是其自身的权限。这就是“混淆代理”(confused deputy)问题:AI 执行操作时拥有其人类操作员并不具备、甚至可能都不知道存在的权限。
用于持久访问的内存投毒。 具有持久内存的长期运行 AI 代理引入了一种在传统安全中没有对应物的威胁向量:攻击者将恶意指令注入代理的内存存储中,从而获得一种跨越会话边界的持久化机制。与仅影响单次对话的单次提示词注入不同,中毒的内存会导致代理“学习”攻击者的指令并将其应用于未来的交互 —— 在被检测到之前,这种影响可能会持续数天或数周。
DLP (数据泄露防护) 系统旨在检测可识别数据对象(文件、记录、结构化导出)的移动。它们无法对摘要、重新格式化的输出或 AI 综合分析进行分类。Cyberhaven 的研究发现,一家全球制造公司的工程师在完全正常的工作活动中,不知不觉地将专有产品设计粘贴到了 AI 工具中。没有触发任何 DLP 规则,因为没有规则在寻找那种模式。
AI 工具的审计日志在设计上就很稀疏。GitHub 的审计日志会记录建议是被接受还是被拒绝,但不会捕获从本地 IDE 发出的 Prompt 内容。Anthropic 的 Claude Enterprise 保留 30 天的日志并提供导出选项,但“导出的日志”只有在有人关注导出内容时才有意义。大多数组织配置了这些工具,接受了默认的日志配置,然后就没再管了。
这并不要求放弃 AI 工具。它要求像工程化任何特权系统访问一样来工程化它们——具备针对特定风险概况设计的范围限定、可观测性和异常检测。
限定范围的凭据优于服务账号。 每一个涉及敏感数据的 AI 工具集成都应使用即时 (Just-in-time)、短效且具备最小所需权限范围的凭据,而不是持久的服务账号。HashiCorp Vault 的动态令牌模式在此直接适用:AI 智能体在调用时请求凭据,在任务持续期间使用,随后凭据失效。利用该集成的内鬼拿到的是一个在他们尝试用于其他用途时就已经失效的凭据。
工具级别的审计日志,而不仅仅是会话日志。 仅记录用户与 AI 工具进行了交互是不够的。你需要工具调用级别的日志:智能体调用了哪些工具、传递了哪些参数、返回了哪些数据,以及由此采取了哪些行动。Databricks 的 Unity AI Gateway 就做到了这一点——每一次 LLM 和 MCP 调用都会记录到带有完整上下文的系统表中。这就是模范。如果你的 AI 基础设施无法产生同等的日志,那么你就是在没有仪表监测的情况下运行一个特权系统。
针对 AI 调整的速率限制异常检测。 人类内鬼受限于人类的速度。AI 智能体则不然。针对 AI 介导的 API 调用的速率限制应根据预期的任务范围来设置,而不是根据人类的带宽。一个代表单个用户在 10 分钟内发出 500 次文档检索调用的智能体并不是在浏览——它要么是一个死循环,要么是更糟糕的情况。AI 智能体的行为分析需要与它们并存的人类 UEBA 概况区分开,建立独立的基准。
随着 AI 从辅助个人开发者转向作为可在长周期内执行操作的自主智能体运行,威胁模型变得更加复杂。一个拥有持久记忆、代码库访问权限、电子邮件工具和数据库凭据的 AI 智能体,已经不再是传统意义上的工具。它拥有身份、持久性和操作范围,看起来更像是一个具有自主性的服务账号(Service Account),而非一个生产力功能。