跳转到主要内容

你的智能体无法穿透推理的脱敏层

阅读需 1 分钟Tian PanTian Pan

一次隐私评审批准了你的脱敏层。姓名、邮箱、账号、电话——所有这些都在提示词送达模型之前被清理掉了。你的单轮分类器仍然能跑到 94% 的准确率。六周后,你的多步骤智能体开始对类似"Sarah 用于登录的邮箱和她账单记录里的邮箱是同一个吗?"这样的问题给出自信但错误的答案,而且没人能在开发环境里复现。

脱敏层做到了 infosec 团队要求它做到的一切。它同时也悄悄地摧毁了你的智能体推理所依赖的性质:在不同轮次中出现的两个实体指代是同一回事。这个智能体并没有产生幻觉,它读到的是一份转录文本,其中 Sarah 变成了三个不同的人,"同一个"邮箱地址变成了两个互不相同的占位符。

这就是隐私评审抓不到的失败模式,因为评审审计的是离开边界的内容,而不是边界保留下来的内容。占位符对审计者而言是不透明的——这正是它存在的意义——而对衡量智能体质量的团队同样不透明,他们看到一个回归却无法追踪,因为造成它的转换发生在他们保留的所有日志的上游。

脱敏保留了分类效用,却摧毁了推理效用

PII 占位符背后最初的直觉来自单轮任务。"将这条工单分类为账单/技术/其他"在 Sarah Chen 变成 [NAME_1] 之后依然能正常工作,因为分类器从来不需要知道她是 Sarah。这种替换在信息上有损,但这种损失对它要回答的问题无关紧要。

多步骤智能体在做一件不同性质的工作。它们在跨轮次追踪实体、对它们做比较、跨工具调用做连接、判断两个指称是否共指。一旦映射不稳定,分类器能容忍的占位符格式就会同时破坏上述三项操作。

三种常见的转换方式,三种不同的失败形态:

  • 逐句随机 token(第 1 轮里 [NAME_4f9a],第 3 轮里同一个人变成 [NAME_7b2c])——共指被摧毁了。用户写了同一个名字两次,智能体却读到了两个陌生人。
  • 按类型固定 token(每个人名都变成 [NAME])——共指被过度合并。智能体把"顾客和客服"读成了同一个人,因为两者都叫 [NAME]
  • 会话级稳定 token[PERSON_47] 在一次对话内始终指代同一个人)——共指被保留了,但前提是上游的 token 化器在一开始就正确地解析了哪些跨度是共指的。如果"Sarah"和"陈女士"因为基于规则的提取器没把它们链接起来而拿到不同的 token,智能体就继承了这个链接错误。

隐私评审衡量的是 Sarah Chen 是否曾经越过边界。推理 bug 则存在于你选择了上述三种机制的哪一种、以及你的 token 化器对共指的判断是否正确。

infosec 视角和推理视角不是同一个评审

当安全团队批准一个脱敏层时,他们在问:PII 是否会到达模型供应商?它是否会落在我们无法控制的日志里?审计轨迹是否能证明合规?这些都是真实的问题,脱敏层对它们都给出了很好的回答。

推理团队问的则是一个安全评审表格里没有这一列的问题:脱敏之后,智能体还能不能正确回答涉及实体关系的问题?"这个用户以前联系过我们吗?""这是不是档案里那张支付方式?""开过之前那张工单的是不是同一个账户?"每一个都是身份连续性问题,答案取决于脱敏是否保留了两个跨度之间的相等关系。

这两个视角并不矛盾,但它们也不能互相替代。infosec 评审可以批准一个通过它自己的测试但同时以任何隐私指标都测不出的方式损害智能体的层。两个团队通常都不会发现,因为评估套件跑在真实数据上(脱敏之前),而生产跑在脱敏后的数据上——所以评估测量的根本就不是生产里那个系统。

让两个团队都保持诚实的几种模式

会员专享

余下内容仅对会员开放。

会员可读完整内容 —— 每一个公开发布的观点背后,那些框架、决策与推理的全貌。

  • 完整文章,包含未公开存档的部分
  • 可落地的工作框架,附带权衡与决策依据
  • 新文章抢先看,先于公开发布

随时取消 · 一次订阅,畅读全部

参考资料

保持联系,关注我获取更多内容

阅读需 10 分钟

Happy Path 是你的 Agent 评估测试过的唯一路径

94% 的通过率衡量的是你想象成功的能力,而非 Agent 是否真的有效。本文探讨黄金路径偏见如何渗入 Agent 评估套件,以及如何通过故障模式覆盖、生产案例收集和故障注入来解决这一问题。

insider
ai-agents
阅读需 11 分钟

你在没告诉智能体的情况下修改了工具 Schema

重命名一个字段对你的后端来说只是常规的 API 变更,但对于调用该工具的 LLM 而言,这却是一个无声的破坏性变更。本文探讨如何将工具 Schema 视为拥有两个消费者的版本化契约。

insider
ai-agents
阅读需 8 分钟

Agent 分支覆盖率:你的评测仅命中了 Happy Path,而非 Planner 的 If-Else 逻辑

Agent Prompt 中隐藏了评测套件从未执行过的 If-Else 分支。借鉴 MC/DC 的严谨性,通过分支 ID 监测 Planner 的决策,并基于覆盖率对 Prompt Diff 进行拦截,防止隐性的路由错误流入生产环境。

insider
ai-agents
阅读需 11 分钟

古德哈特定律现已成为 AI Agent 的难题

AI Agent 是极其彻底的数学优化器 —— 当代理指标成为训练目标时,能力强大的模型会可靠地发现并利用其中的漏洞。本文将介绍如何在奖励信号演变为攻击面之前对其进行审计。

insider
ai-agents
阅读需 8 分钟

自身训练语料库成为泄露途径的 PII 脱敏器

一个基于真实 PII 训练的微调脱敏器,本质上是一个对其训练集中每条受保护记录都拥有读取权限的模型,并部署在任何人都可以查询的 API 之后 —— 而这一事实很少出现在隐私审查中。

insider
privacy