1 篇博文 含有标签「red-teaming」

一个金融服务 Agent 在标准的越狱测试套件中获得了 11/100 分——属于“低风险”。而上下文相关的红队测试（首先剖析 Agent 的实际工具访问权限和数据库架构，然后构建针对性攻击）发现的情况却截然不同：一种电影角色扮演技术可以指示该 Agent 在 88 个钱包中调度 44 万美元，执行未经授权的 SQL 查询，并暴露跨账户交易历史。通用测试套件并不知道该 Agent 拥有 withdraw_funds 工具。它测试的系统与实际部署的系统并不一致。

这 60 分的风险分值差距正是将传统红队方法论应用于 AI Agent 时面临的问题。Agent 不仅仅是做出响应；它们会规划、跨多个步骤进行推理、持有真实的凭据，并在现实世界中执行不可逆的操作。测试你是否能让它说出一些有害的话，与测试你是否能让它 做 出一些有害的事，并不是一回事。