在受监管行业落地 AI:当合规成为工程约束
有一个快速测试,可以告诉你当前的 AI 技术栈是否能部署在受监管环境中:对于模型上周二做出的任何决策,你能否准确回答——运行的是哪个模型版本、输入了哪些数据、输出了什么、是谁发起的请求,以及为什么该输出在给定输入下是正确的?如果答案涉及"我们需要查一下 CloudWatch"或"我觉得用的是我们一直在用的那个模型",那你就不合规。你距离被审计卡死只有一步之遥。
正在为金融科技信用评分、医疗临床决策支持和保险核保构建 AI 的团队正在痛苦地发现这一点。默认的 AI 技术栈——云端 LLM API、应用层日志、隐私政策附录——无法满足 HIPAA、GDPR、SOX 或欧盟 AI 法案的技术要求。差距不在法律层面,而在架构层面。受监管 AI 的合规是一个工程问题,解决方案更像是分布式系统工程,而非法律文书。
为什么默认技术栈行不通
LLM 驱动功能的标准架构是这样的:用户请求到达,组装提示词,调用 API(OpenAI、Anthropic 或其他),在应用数据库中记录响应,然后继续。这种方式构建快,在大多数场景下运行良好。
在受监管行业,它同时在三个维度上失败。
数据驻留。 每次调用云端 LLM 都是一次跨境数据传输。GDPR 要求在欧盟以外传输数据时需要标准合同条款或约束性企业规则。印度 RBI 指令要求与支付相关的个人数据留存在印度服务器上。澳大利亚 APRA 标准实际上要求金融数据留存在澳大利亚基础设施上。当你从欧洲医疗应用调用 OpenAI API 时,你正在将 PHI 或金融数据输送到美国服务器,而监管机构对此正在加强审查。OpenAI 默认将 API 数据保留 30 天,仅此一点在大多数医疗场景下就已违反 BAA。
审计追踪不足。 监管机构需要重建产生特定决策的确切条件:模型版本(包括校验和)、完整输入、参数、输出、时间戳,以及触发它的人的身份。应用日志不是这回事。它们易于追加、可被篡改,且通常只保留开发者决定记录的内容。SOX 要求防篡改的财务记录。HIPAA 要求对每个 PHI 访问事件进行唯一用户标识。当你的 AI 在没有人员归属的 API 密钥下运行,并将日志记录到 30 天后轮换记录的服务时,你构建的架构无法满足任何一项要求。
按需可解释性。 GDPR 第 22 条赋予数据主体对显著影响其权利的自动化决策获得有意义解释的权利。2025 年 2 月欧盟法院在 C-203/22 案中的裁决进一步明确了这一要求:解释必须描述"实际应用于"该人数据的"程序和原则",而非对系统工作原理的笼统描述。"我们的 AI 判断你的贷款申请未达到风险门槛"是不够的。欧盟 AI 法案第 86 条为高风险 AI 系统的部署者增加了并行要求。如果你的模型无法按需生成针对具体决策的解释,就不能在这些场景中合法地作出决策。
监管机构实际需要的三类技术产物
大多数合规讨论产出的是文档。监管机构在审计中实际需要的产物是不同的——它们是系统做了什么的证据,而非系统被设计成做什么的描述。共有三类:
不可变推理日志。 推理日志是结构化、仅追加、并在存储层受写保护的。每条记录包含输入(或对输入的引用)、模型版本和校验和、推理参数、输出、时间戳以及用户身份。"仅追加"意味着记录创建后任何人都无法修改,包括管理员。"存储层写保护"意味着这由存储系统强制执行——AWS S3 对象锁、符合 WORM 标准的云存储或专用审计数据库——而非可被更改的应用代码。
这与应用日志在架构上有本质区别,后者由应用决定记录什么,且可以随时被修改以停止记录。正确实现的不可变推理日志提供了 SOX 要求的"防篡改"记录和 HIPAA 要求的访问日志。最实用的实现方式:在推理边界运行一个仅追加的 sidecar,写入锁定存储,且处于应用的写路径之外。应用无法在不禁用推理的情况下禁用它。
决策溯源图。 决策溯源图记录从源数据到最终输出的因果链。对于信用决策,它看起来像这样:
- 征信局数据(来源 ID、时间戳、Schema 版本)
- 验证转换(空值检查、去 重)
- 特征工程(负债收入比,由字段 X 和 Y 计算)
- 模型推理(模型 ID:
risk-scorer-v2.3,训练于 2025-01-15) - 决策阈值(risk_score > 0.60 = 拒绝)
- 输出:"申请被拒绝;信用记录不足"
这正是当数据主体询问"为什么我被拒绝"时,GDPR 第 22 条要求的内容。也是欧盟 AI 法案第 11 条要求的训练数据溯源文档,以及 FDA 2025 年 1 月针对 AI 医疗设备草案指南要求的全产品生命周期文档。捕获链条中每个步骤的结构化日志——而非仅仅捕获输入和输出——才能将推理记录转化为监管产物。
作为操作文档的模型卡片。 模型卡片是记录模型是什么、在什么数据上训练、跨子群体表现如何以及失效模式是什么的文档。标准解读将模型卡片视为发布产物——开源模型发布时附带的东西。在受监管行业,模型卡片是操作产物,必须为每个生产版本维护,并在模型更新时同步更新。
健康 AI 联盟(CHAI)开发了与 FDA 和 HIPAA 要求对齐的模型卡片模板。欧盟 AI 法案第 49 条要求在 2026 年 8 月截止日期前进行高风险系统注册的技术文档,包括训练数据描述和性能指标。记录训练数据组成、相关人口统计子群体上的表现、已知失效模式和偏差分析的模型卡片,是高风险欧盟 AI 法案合规的必要条件,而非可选指导。
数据驻留:应对多司法管辖区
数据驻留问题没有单一解决方案,因为各司法管辖区和数据类型的要求不同。实际的工程方法是按数据敏感度和司法管辖区路由,而非寻找一个在任何地方都适用的架构。
对于涉及个人信息的欧盟客户数据,选项包括:欧盟境内的本地推理、在有合同保障的欧盟区域 VPC 隔离云部署,或在任何跨境调用之前对数据进行匿名化处理。最后一个选项——在 API 调用前剥离标识符——对某些工作负载(文档分类、情感分析)是可行的,但对其他工作负载(任何需要对特定个人进行推理的情况)则不可行。
对于美国的医疗数据,最简单的合规架构是本地推理:在医疗机构自己的基础设施中部署开放权重模型(Llama、Mistral 或微调变体)。John Snow Labs 将这种方法产品化,提供专为本地 HIPAA 合规部署设计的商业支持模型,具备临床 NLP 能力。运营成本高于调用 API,但合规风险低了几个数量级。ANZ 银行对其澳大利亚客户数据得出了同样的结论:私有基础设施使他们能够控制数据驻留和审计日志,而云 API 无法做到这一点。
对于需要云端 LLM 能力但无法将可识别数据传输到外部的组织,API 网关模式是可行的。网关位于应用和 LLM API 之间,在出站调用前剥离个人可识别信息,将原始输入记录在本地不可变存储中,并用原始上下文重新组装响应。这会增加延迟(剥离步骤通常 50-200ms),并需要可靠的 PII 检测系统——其本身也是一个需要验证的模型。但它在满足大多数数据驻留要求的同时,保留了对前沿模型能力的访问。
作为运行时要求的可解释性
可解释性是大多数 AI 团队遇到最硬壁垒的地方。要求不是"有可解释性策略"——而是"能够按需为系统做出的任何决策生成可辩护的、针对具体决策的解释"。
架构含义:可解释性必须是运行时特性,而非事后分析能力。对于基于 RAG 的系统,这是可处理的:解释可以引用支持决策的检索文档,决策溯源图捕获推理时存在的检索结果。对于微调模型或不透明的基础模型,它需要在推理时生成 SHAP、LIME 或反事实解释,并与决策记录一起存储。
2025 年 2 月欧盟法院的裁决使标准比许多团队预期的更为苛刻。"我们的模型使用具有这些特征的梯度提升树"满足通用描述要求。法院在 C-203/22 中要求的是描述"实际应用于"该特定人数据的"程序和原则"。这意味着针对具体决策的解释:这些特征,来自这些数据,产生了这个分数,越过了这个阈值。解释必须在推理时生成并作为决策记录的一部分存储——而非之后从特征重要性值重建。
在欧盟构建系统的团队应假设监管机构会要求按需解释访问,且"我们需要时可以生成"是不够的。解释必须与决策记录一起存储,以便在不针对可能不同的模型状态重新运行推理的情况下检索。
合规时间线并非假设
几个截止日期要么已过,要么近到工程工作必须已经开始:
欧盟 AI 法案于 2024 年 8 月生效。GPAI 模型治理规则于 2025 年 8 月开始适用。完整的高风险 AI 系统合规截止日期——技术文档、符合性评估、欧盟数据库注册——是 2026 年 8 月 2 日。高风 险类别明确包括信用评分、贷款审批、KYC/AML 筛查和患者诊断 AI。如果你的组织属于这些类别中的任何一种,而合规工作尚未开始,那么 2026 年 8 月的截止日期是无法实现的。
FDA 2025 年 1 月关于 AI 医疗设备软件功能的草案指南为医疗 AI 引入了全产品生命周期要求,包括上市后重新训练模型的预定变更控制计划。2025 年 1 月的 HIPAA 安全规则 NPRM 提出了 20 年来最重大的更新,取消了必要和可寻址保障措施之间的区别,并收紧了加密要求。
这些不是长期风险,而是有近期截止日期的活跃监管项目。
无需六个月重写的起步点
将合规差距作为完整清单审查时,感觉不堪重负。实际的工程方法是按监管风险和实施成本优先排序。
从不可变推理日志开始。这在技术上很简单——它是对写保护存储的仅追加写入——而且它是几乎所有其他一切的基础。没有它,你无法满足 HIPAA、SOX 或欧盟 AI 法案中的审计追踪要求。你无法在审计中回答问题。实现它不需要更改你的模型、提示词或应用逻辑。它是推理边界处的一个 sidecar。
其次,添加决策溯源捕获。对于基于 RAG 的系统,这主要是捕获哪些检索文档被包含在提示词上下文中。对于有多个处理步骤的系统,这意味着在每个转换处记录中间状态。这不需要复杂的图数据库——与推理日志一起存储的结构化 JSON 记录对大多数监管目的已足够。
第三,建立带有文档化校验和的模型版本控制。监管机构询问三个月前某个决策时,需要知道运行的是 哪个确切的模型版本。如果你无法重现确切的模型状态,你就无法回答这个问题。与推理日志关联的、带有不可变校验和的模型版本控制解决了这个问题。
模型卡片和正式的可解释性管道成本更高、更复杂。它们应该在基础日志和溯源基础设施之后,而非之前。没有溯源数据来填充,你就无法写出准确的模型卡片;没有知道推理时捕获了哪些数据,你就无法构建合规的解释系统。
在受监管行业成功落地 AI 的团队不是那些在写一行代码之前就获得监管批准的团队。他们是从一开始就将日志、溯源和版本控制构建到基础设施中的团队——并发现这些相同的原语也使他们的系统在生产环境中更易调试。
合规与可靠性是从不同角度审视的同一个问题。监管机构想知道发生了什么以及为什么。试图调试生产事故的工程师也是如此。满足其中一方的架构也能满足另一方。
- https://artificialintelligenceact.eu/
- https://www.ataccama.com/blog/real-time-data-observability-is-the-missing-layer-in-eu-ai-act-compliance
- https://www.elixirdata.co/blog/ai-agent-decision-traces-vs-logs-audit-trail-compliance
- https://www.folio3.ai/blog/how-to-deploy-private-secure-llms-in-regulated-industries/
- https://blog.premai.io/ai-data-residency-requirements-by-region-the-complete-enterprise-compliance-guide/
- https://www.hipaajournal.com/when-ai-technology-and-hipaa-collide/
- https://www.fda.gov/medical-devices/software-medical-device-samd/artificial-intelligence-software-medical-device
- https://gdpr-info.eu/art-22-gdpr/
- https://www.techpolicy.press/understanding-right-to-explanation-and-automated-decisionmaking-in-europes-gdpr-and-ai-act/
- https://dev.to/dextralabs/production-lessons-from-deploying-llms-in-regulated-environments-3kcn
- https://www.mindstudio.ai/blog/ai-agent-compliance
- https://www.blockchain-council.org/blockchain/blockchain-for-ai-compliance-gdpr-hipaa-eu-ai-act-immutable-logs/
