跳到主要内容

在不触发法律红线的前提下,用生产数据训练你的 AI

· 阅读需 13 分钟
Tian Pan
Software Engineer

你的 AI 功能上线了。用户正在使用它。每一次会话回放、每一次点踩、每一个返回错误答案的请求,都清晰地暴露出它现在的表现与它应有水平之间的差距。信号就在眼前。问题是:你是否可以合法地利用这些信号。

这就是团队撞上合规高墙的地方。这不是一堵理论上的墙——而是实实在在的。仅在 2024 年,欧洲监管机构就开出了逾 12 亿欧元的 GDPR 罚款,OpenAI、Meta 和 LinkedIn 均在被点名之列。大多数执法行动背后有一条共同主线:以原先收集目的之外的方式使用行为数据,或收集了超出运营功能所必要的数据。监管机构并不会因为你的意图是改进模型而非投放广告就网开一面——尽管工程师们往往这样以为。

好消息是,如何在不保留可识别数据的前提下从生产信号中改进 AI 功能,这个工程问题在很大程度上已经有了解法。难点在于:在你需要扩大遥测范围之前,就把管道架构和同意界面搭建好——而不是等到法务部门标记了你的遥测扩展计划之后再补救。

你需要的数据与你被允许收集的数据之间的鸿沟

AI 系统从行为反馈中不断进化:用户接受了哪些回复、拒绝了哪些、接下来又问了什么、哪些会话突然中断。这个反馈闭环对于生产级 AI 来说如此核心,以至于工程师很容易将遥测数据收集视为一个基础设施问题,而非数据治理问题。

GDPR 持不同看法。第 5(1)(c) 条要求数据最小化——你只能收集为特定目的严格必要的数据。第 5(1)(b) 条增加了目的限制——为某一目的收集的数据不能被挪作其他不兼容的目的使用。如果你的隐私声明将 AI 功能的数据收集描述为"改善用户体验",而未明确说明"基于交互数据训练 AI 模型",那么即便数据已经在你的服务器上,你也没有用于训练用例的合法依据。

这不是技术细节。第 6(4) 条规定了将数据用于新目的时的处理规则,其所要求的"兼容性测试"是实质性的。新目的必须是合理的下一步、从原始收集时可预见,并且必须通过一项权衡测试,综合考量你的利益与用户预期。当用户以为自己在同意"个性化服务"时,"利用行为分析改进 AI 回复"很少能通过这一测试。

CCPA/CPRA 的运作方式不同——对大多数数据类别采用选择退出而非选择加入——但 2025 年的更新明确增加了在将自动化决策用于重大决策时的通知和有意义的退出要求。更重要的是,CPRA 明确禁止破坏用户自主权的暗模式,监管机构已开始执行这一禁令。

结果是:那些在搭建遥测管道时没有考虑训练用例的团队,发现自己在扩展数据项目时不得不重写同意流程,并向现有用户重新收集明确同意。

风险已不再是假设

2022 年至 2025 年间,执法环境发生了实质性变化。以下几个数据值得关注:

  • 2024 年 12 月,OpenAI 被意大利数据保护局罚款 1500 万欧元,原因是在算法训练数据收集方面通知不充分,以及未能为处理交互数据建立合法依据。
  • 2024 年 10 月,LinkedIn 被罚款 3.1 亿欧元,原因是在未获得适当同意的情况下进行行为分析——核心违规在于数据被收集用于一个目的,却被分析用于另一个目的。
  • Meta 因 AI 训练决策累计承受的 GDPR 罚款风险已达数十亿欧元。隐私权益组织 noyb 于 2025 年 5 月发出停止函,主张 Meta 的欧盟 AI 训练退出机制也违反了 GDPR 关于撤回同意应与授予同意同样便捷的要求。
  • 欧洲数据保护委员会(EDPB)第 28/2024 号意见明确指出,大型语言模型"极少达到" GDPR 豁免所需的匿名化标准——这意味着即使你认为自己已经对训练数据进行了匿名化,监管机构可能并不认同。

EDPB 关于匿名化的调查结论,对于依赖假名化作为合规捷径的团队尤为重要。假名化用假名替换标识符,但保留了数据结构。GDPR 将假名化数据视为个人数据。真正的匿名化——通过任何手段重新识别的可能性都极低——门槛要高得多,EDPB 已明确表示将对 AI 训练语料库适用这一标准。

在不保留个人数据的前提下保留训练信号的技术方案

以下四种经过生产验证的方案,可在限制隐私风险的同时维持反馈闭环。

联邦学习将训练过程保持在分布式状态。训练不再将用户交互数据集中到你的服务器,而是将模型更新发送到用户设备或边缘节点,在本地训练,只接收聚合后的梯度更新。原始交互数据从不离开设备。Google 的 Gboard 自 2017 年起在生产环境中采用这一方案,并于 2024 年将所有生产语言模型——下一词预测、表情符号建议、消息回复——全部迁移至结合差分隐私的联邦学习。

代价是基础设施复杂性和更慢的迭代周期。联邦训练需要跨大量客户端聚合模型更新才能发挥作用,这限制了你对分布偏移做出响应的速度。它还要求用户的设备有足够的电量和网络条件参与训练轮次。

**差分隐私(DP)**在聚合之前向模型更新或训练数据中添加经过数学校准的噪声。ε(epsilon)参数控制隐私与效用的权衡:ε 越低,隐私保证越强,但注入的噪声越多,从而降低准确性。医疗研究发现,当 ε < 0.1 时,模型输出变得不可靠——流行病学模型中的比值比开始出现反转。当 ε = 1.0 时,误差率与在 50% 随机样本上训练相当。当 ε = 4.0 时,则接近于 90% 的样本。

对于大多数生产 AI 功能,ε 值在 1 到 10 之间可在提供正式隐私保证的同时获得可接受的准确性。美国人口普查局在 2020 年的部署中展示了这一点的规模化实践。关键在于在整个模型生命周期内定义你的隐私预算,而不仅仅是每次训练运行,因为每次对数据的查询都会消耗预算,而合成定理意味着累积隐私损失会不断叠加。

合成数据生成用统计等效的人工数据替代生产交互数据。现代方案——差分隐私 GAN、基于 LLM 的合成以及联邦合成生成——可以生成在不保留原始用户记录的前提下保留分布、相关性和领域特定模式的数据集。

加载中…
References:Let's stay in touch and Follow me for more thoughts and updates