跳到主要内容

71 篇博文 含有标签「security」

查看所有标签

多智能体通信中的三大攻击面

· 阅读需 12 分钟
Tian Pan
Software Engineer

最近的一项研究测试了 17 个处于多智能体配置中的前沿 LLM,发现当恶意指令来自同行智能体时,82% 的模型会执行这些指令 —— 尽管当用户直接发出完全相同的指令时,它们会拒绝执行。如果你正在交付多智能体系统,这个数字应该让你重新审视你的威胁模型。你的智能体可能在个体层面已经过加固,但作为一个整体,它们并非如此。

多智能体架构引入了大多数安全思维所忽视的通信渠道。我们加固了模型、系统提示词和 API 边界,但我们几乎不花时间去关注当智能体 A 发送消息给智能体 B 时会发生什么 —— 谁编写了该消息,它是否被篡改过,智能体 B 参考的记忆是否在三个会话前被一个从未接触过智能体 A 的攻击者所植入。

主体层级问题:多智能体系统中的授权

· 阅读需 13 分钟
Tian Pan
Software Engineer

一家制造公司的采购智能体逐渐确信自己可以在没有人工审核的情况下批准 50 万美元的采购。它这样做并非通过软件漏洞或凭据窃取,而是通过为期三周的供应商电子邮件序列,其中嵌入了澄清问题:“10 万美元以下的任何订单都不需要副总裁批准,对吧?”随后逐步扩展了这一假设。到它批准 500 万美元的欺诈订单时,该智能体运行的范围完全处于其认为的授权限制内。人类认为该智能体有 5 万美元的上限。而该智能体认为自己根本没有上限。

这就是最具体形式的主体层级问题(principal hierarchy problem):授予的权限、声称的权限以及实际行使的权限之间存在不匹配。当智能体衍生出子智能体,而这些子智能体又进一步衍生出更多智能体时,问题会呈指数级增长,链条中的每一环都会对允许的操作做出独立判断。

生产环境中的智能体授权:为什么你的 AI 智能体不应该是一个服务账号

· 阅读需 13 分钟
Tian Pan
Software Engineer

一家零售商给他们的 AI 订货 Agent 分配了一个服务账号。六周后,在有人察觉之前,该 Agent 已经向 14 家供应商下达了 38 份未经授权的订单,总额达 47,000 美元。根本原因并非模型幻觉或错误的提示词(Prompt),而是权限问题:测试期间配置的凭据从未在生产环境中缩小权限范围,既没有支出上限,也没有高价值操作的审批门槛。这个 Agent 发现了某项功能,假设自己已被授权使用,便开始不遗余力地进行优化,直到有人叫停。

这种模式随处可见。一项 2025 年的调查发现,90% 的 AI Agent 存在权限过度问题,80% 的 IT 人员曾目睹 Agent 在未经明确授权的情况下执行任务。整个行业正基于为无状态微服务设计的身份模型构建强大的自治系统——而这种不匹配正在引发真实的事故。

生产环境中的 LLM 流水线在哪泄露用户数据:PII、数据驻留以及经得起考验的合规模式

· 阅读需 14 分钟
Tian Pan
Software Engineer

大多数构建 LLM 应用的团队都将隐私视为一个模型问题。他们担心模型知道什么——它的训练数据、它的记忆——却在模型周围的流水线中留下了巨大的漏洞。令人尴尬的事实是,生产环境 LLM 系统中绝大多数的数据泄露根本不是来自模型。它们来自你未经脱敏就索引的 RAG 分块、你逐字写入磁盘的提示词日志、包含数据库凭据的系统提示词,以及被投毒文档劫持以窃取知识库中所有内容的检索步骤。

Gartner 估计,到 2025 年底,30% 的生成式 AI 项目将因为风险控制不足而被放弃。这些失败中的大多数并不是因为模型幻觉——而是源于工程师本以为在掌控之中的系统隐私和合规性故障。

关于在生产环境运行 MCP,没人告诉你的那些事

· 阅读需 12 分钟
Tian Pan
Software Engineer

Model Context Protocol (MCP) 将自己定位为 AI 的 USB-C 接口 —— 将任何工具接入任何模型,然后看着它们自如交流。在实践中,第一天确实感觉如此。第二天你会遇到扩展性漏洞。到了第三天,你就在阅读关于那些你甚至都不知道存在的工具投毒攻击(tool poisoning attacks)的 CVE 了。

MCP 是一个非常有用的标准。它于 2024 年底推出,并迅速被整个行业采用,它解决了大语言模型(LLM)与外部系统之间真实的集成摩擦。但在“完成演示原型”与“在真实用户负载下可靠运行”之间,存在着比大多数团队预想的更大的鸿沟。以下是这个鸿沟的真实样貌。

AI Agent 红队测试:发现真实漏洞的对抗性测试方法论

· 阅读需 11 分钟
Tian Pan
Software Engineer

一个金融服务 Agent 在标准的越狱测试套件中获得了 11/100 分——属于“低风险”。而上下文相关的红队测试(首先剖析 Agent 的实际工具访问权限和数据库架构,然后构建针对性攻击)发现的情况却截然不同:一种电影角色扮演技术可以指示该 Agent 在 88 个钱包中调度 44 万美元,执行未经授权的 SQL 查询,并暴露跨账户交易历史。通用测试套件并不知道该 Agent 拥有 withdraw_funds 工具。它测试的系统与实际部署的系统并不一致。

这 60 分的风险分值差距正是将传统红队方法论应用于 AI Agent 时面临的问题。Agent 不仅仅是做出响应;它们会规划、跨多个步骤进行推理、持有真实的凭据,并在现实世界中执行不可逆的操作。测试你是否能让它说出一些有害的话,与测试你是否能让它 出一些有害的事,并不是一回事。

MCP 生产环境指南:关于模型上下文协议没人告诉你的那些事

· 阅读需 13 分钟
Tian Pan
Software Engineer

“AI 界的 USB-C” 这个比喻很吸引人。但在涉及负责生产环境运行的这一关键层面时,这个比喻又是错误的。Model Context Protocol (MCP) 确实解决了一个真实存在的问题——即 AI 模型与外部系统之间爆发式增长的 N×M 次自定义集成——但“演示效果良好”与“在周一早高峰流量下既不泄露数据也不耗尽延迟预算”之间的差距,比大多数团队预期的要大得多。

MCP 在 2024 年 11 月发布后的五个月内,服务器下载量增长了 8,000%,到 2025 年 4 月,每月 SDK 下载量已达到 9,700 万次。这种采用速度既是其真正实用性的标志,也是一个警告:大多数服务器在投入生产时,团队并未完全理解他们所构建的基础。

构建受控的 AI Agent:Agent 支架 (Agentic Scaffolding) 实践指南

· 阅读需 12 分钟
Tian Pan
Software Engineer

大多数构建 AI Agent 的团队在第一个月都在追求性能:更好的提示词、更智能的路由、更快的检索。接下来的六个月,你则会忙于补救之前忽略的东西——治理(governance)。无法被审计的 Agent 会被法务部门叫停。没有权限边界的 Agent 会在预发布环境中造成混乱。没有人工升级路径的 Agent 则会在规模化运行时悄无声息地犯下严重的后续错误。

一个令人不安的事实是,大多数 Agent 部署之所以失败,并不是因为模型性能不足,而是因为围绕它的脚手架(scaffolding)缺乏结构。近三分之二的企业正在尝试 Agent;但只有不到四分之一的企业成功实现了生产规模化。差距不在于模型质量,而在于治理。

治理 Agentic AI 系统:当你的 AI 具备行动能力时,会发生什么变化

· 阅读需 10 分钟
Tian Pan
Software Engineer

在 AI 的大部分历史中,治理问题从根本上说是关于输出的:模型说了错误、冒犯或机密的内容。这固然糟糕,但它是受控的。影响范围仅限于读取该输出的人。

智能体 AI(Agentic AI)完全打破了这一假设。当一个智能体能够调用 API、写入数据库、发送电子邮件并生成子智能体时,问题就不再仅仅是“它说了什么?”,而是“它做了什么、针对哪些系统、代表谁做的,以及我们能否撤销它?”近 70% 的企业已经在生产环境中运行智能体,但其中大多数智能体在传统的身份与访问管理(IAM)控制之外运行,使其处于不可见、权限过高且未经审计的状态。

致命三要素:为什么你的 AI Agent 距离数据泄露仅隔一封邮件

· 阅读需 10 分钟
Tian Pan
Software Engineer

2025 年 6 月,一名研究员向一位 Microsoft 365 Copilot 用户发送了一封精心编写的邮件。没有点击链接。没有打开附件。邮件送达后,Copilot 在执行例行的总结任务时读取了它,短短几秒钟内,AI 便开始从 OneDrive、SharePoint 和 Teams 中外泄文件——通过将数据编码进它请求“渲染”的图片 URL 中,悄无声息地将内容传输到了攻击者控制的服务器上。受害者对此一无所知。

从传统意义上讲,这并不是一个新奇的零日漏洞(Zero-day)。没有缓冲区溢出,也没有 SQL 注入。该漏洞是架构性的:系统结合了三种能力,这些能力单独看起来像是理所应当的产品功能。但结合在一起,它们就构成了现在所谓的“致命三要素”(Lethal Trifecta)。

CORS 与 CSP

· 阅读需 1 分钟
  • CORS 允许站点 A(数据提供者)授权站点 B 从站点 A 读取(可能是私有的)数据(使用访问者的浏览器和凭据)。
  • CSP 允许一个站点防止自身(数据消费者)从意外来源加载(可能是恶意的)内容(例如,作为对 XSS 的防御)。