跳到主要内容

工程师视角的欧盟 AI 法案:四个风险等级对你的架构究竟有哪些要求

· 阅读需 13 分钟
Tian Pan
Software Engineer

将欧盟 AI 法案的合规要求改造到现有系统中,成本是从一开始就内置合规的 3-5 倍。仅这一个事实,就应该重新定义每个工程团队对 2026 年 8 月截止日期的思考方式。欧盟 AI 法案不是律师会解决而工程师可以忽略的法律问题——它是一个架构问题,需要将日志管道、人工覆盖机制、偏差测试基础设施和可解释性层融入系统设计。如果你的 AI 系统涉及欧洲用户,而你还没有开始构建这些,那你已经落后了。

大多数关于 AI 法案的报道都集中在法律框架上:什么被禁止、什么被允许、罚款如何运作。这对你的法务团队很有用。本文关注的是你作为工程师实际需要构建的东西——合规所要求的具体系统、管道和架构变更。

四个风险等级:工程师的分类指南

AI 法案将每个 AI 系统归入四个风险类别之一。你所处的等级决定了你的工程义务,分类错误意味着要么为低风险系统过度设计合规,要么为高风险系统建设不足。

不可接受风险(被禁止)。 这些系统自 2025 年 2 月起已被禁止。如果你正在运行以下任何系统,请停止:社会评分系统、潜意识操纵技术、工作场所或学校中的情绪识别、用于执法的公共场所实时远程生物识别,以及纯粹基于画像的预测性治安维护。没有任何工程手段能使这些系统合规——它们是违法的。

高风险。 这是工程负担集中的地方。AI 系统如果用于关键基础设施、教育、就业、基本服务、执法或移民领域,就属于此类别。具体例子包括简历筛选、信用评分、自动评分、保险承保、诊断影像、临床决策支持、欺诈检测和 KYC/AML 筛查。经验法则是:如果你的 AI 系统做出或影响对人们生活产生实质性影响的决定,它很可能是高风险的。

有限风险。 与人类互动或生成内容的系统——聊天机器人、深度伪造生成器、AI 生成的文本和图像。主要义务是透明度:用户必须知道他们正在与 AI 互动,生成的内容需要机器可读的元数据表明它是合成的。这里的工程工作主要是前端披露和内容标注,而非架构变更。

最小风险。 垃圾邮件过滤器、推荐引擎、库存预测、游戏中的 AI。没有强制要求,但鼓励自愿行为准则。如果你的系统属于此类,可以停止阅读——但要仔细验证分类,因为影响基本服务访问的推荐引擎可能会被重新分类为高风险。

高风险系统的七项工程要求

AI 法案第 9 至 15 条定义了七类技术要求。每一类都直接转化为你需要设计、构建和维护的系统。

1. 与发布管道连接的风险管理

第 9 条要求建立与模型生命周期绑定的持续、文档化的风险管理系统——而非一次性评估后存档到合规文件夹中。在实践中,这意味着随每个模型版本更新的自动化风险评分,从生产指标回馈到风险评估的反馈循环,以及按人口统计群体跟踪错误率并按月监控概念漂移。

关键词是"持续"。风险管理不是你通过一次就完事的部署前关卡。它是一个持续监控系统,在部署后检测模型风险状况何时发生变化——当数据分布漂移时、当新的边缘情况出现时、当微调运行引入意外行为时。

2. 具有血统追踪的数据治理

第 10 条要求训练、验证和测试数据集是相关的、有代表性的,且尽可能无误差。工程含义:你需要从数据源到模型输入的数据血统追踪,以便向监管机构展示哪些数据训练了哪个模型版本。

这还意味着偏差检测管道,需要在受保护类别之间衡量统计对等性和均等化赔率。你需要具有自动异常检测的数据质量仪表板,以及对数据集缺口的文档化确认。如果你的训练数据存在已知的不规则性——疫情时代的扭曲、地理代表性不足、时间偏差——这些都需要被记录并评估其影响。

3. 自动生成的技术文档

第 11 条要求涵盖系统架构、数据流、训练方法和验证结果的技术文档。关键细节:这些文档必须在系统的整个生命周期中持续维护,而非在部署时一次性生成。

实用的方法是将自动生成的文档与你的 CI/CD 管道绑定。每个 ML 组件的模型卡片、当服务变更时自动更新的架构图、带有超参数和评估指标的训练运行日志自动发布。如果你的文档与实际系统产生偏差,那么从偏差的那一刻起你就不合规了。

4. 每个决策的不可变日志

第 12 条是工程工作变得严肃的地方。你的高风险系统做出的每个预测都必须记录输入数据、模型版本、置信度分数和输出。这些日志必须:

  • 不可变 —— 仅追加、防篡改存储
  • 保留 5-10 年最低期限
  • 可查询 —— 监管机构可以要求重建任何特定决策

这不是你应用程序现有的日志基础设施。30 天后删除的标准日志轮换策略违反了保留要求。可以更新的可变数据库记录违反了不可变性要求。你需要更接近事件溯源审计跟踪的东西——想想像 Apache Kafka 这样的仅追加日志存储加上到冷存储的长期归档,或者专门构建的不可变账本。

容量影响是显著的。如果你的系统每天处理 10,000 个决策,每个日志条目是 2KB,那么你每年生成 7.3GB 的审计数据,必须保留、索引并可查询十年。请相应规划你的存储架构。

5. 可解释性层,而非仅仅是置信度分数

第 13 条要求透明度——用户必须了解系统的能力、限制以及驱动其决策的因素。仅返回置信度分数不满足此要求。你需要可解释性层来展示哪些输入特征影响了输出以及影响程度。

像 SHAP 值、LIME 解释或反事实解释这样的技术成为强制性基础设施,而非研究实验。对于非技术用户,这意味着生成人类可读的摘要:"此申请主要因就业历史不一致(45% 权重)和债务收入比(30% 权重)而被标记",而非原始预测分数。

你还需要清晰地记录系统能做什么和不能做什么——它的预期用途、已知的失败模式,以及不应依赖它的场景。这些文档必须对实际使用系统的人可访问,而非埋藏在开发者维基中。

6. 人工覆盖架构

第 14 条可能是架构上最具挑战性的要求。高风险 AI 系统必须被设计为让人类能够在运行期间有效监督。这意味着需要构建:

  • 覆盖机制,允许授权用户撤销或修改任何 AI 决策
  • 可配置的自动化级别 —— 全自动、人在环中(人类在操作前批准)和人在环上(人类监控并可干预)
  • 紧急停止开关,在需要时完全停止系统
  • 升级工作流,当置信度低于可配置阈值时自动将决策路由给人类
  • 异常和漂移监控仪表板,让监督者实时了解系统行为

目的是防止"自动化偏差"——人类过度信任自动化系统这一有据可查的倾向。你的架构必须使人类能够真正轻松地理解、质疑和覆盖 AI 的输出。人类条件反射式点击的"确认"按钮不满足要求。监督者必须拥有做出独立判断的信息和工具。

7. 持续的准确性监控和安全性

第 15 条要求高风险系统维持文档化的准确性、稳健性和网络安全水平。工程工作包括:

  • 性能回归检测 —— 在影响用户之前捕获准确性下降的自动化监控
  • 对抗性测试和红队测试集成到你的发布流程中
  • 数据投毒检测,用于从用户反馈中学习的系统
  • 稳健性测试,针对意外的输入模式
  • 回退机制 —— 当系统遇到训练分布之外的输入时该怎么办?

这是 AI 特定的安全问题与监管交叉的地方。提示注入、数据投毒、模型提取攻击和对抗性样本不再仅仅是安全风险——未能防御它们就是合规违规。

合规架构模式

最实用的方法是从一开始就在系统中构建四个集成层,而非事后附加。

治理层。 风险管理配置、合规策略执行,以及确定系统中每个 AI 组件适用哪个风险等级的分类逻辑。这一层回答:"什么规则适用于这个特定模型?"

审计层。 决策日志记录、数据血统追踪和不可变记录保存。每个输入、输出、模型版本和置信度分数都流向这里。这一层回答:"发生了什么,什么时候,为什么?"

可解释性层。 模型级别和决策级别的解释、偏差监控仪表板和公平性指标。这一层回答:"系统为什么做出这个决策,它是否公平对待所有群体?"

人工监督层。 审查界面、覆盖机制、升级工作流和紧急停止开关。这一层回答:"人类能否理解、质疑并停止这个系统?"

这些层相互作用:审计层向可解释性层提供数据,可解释性层向人工监督层呈现信息,治理层根据风险分类配置每一层追踪的内容。

时间线比你想象的更紧迫

两个截止日期已经过去。被禁止的 AI 实践在 2025 年 2 月已被禁止。通用 AI 透明度要求在 2025 年 8 月已成为强制性的——如果你提供 GPAI 模型,你应该已经在发布训练数据摘要和版权合规文档。

重要的截止日期是 2026 年 8 月 2 日 —— 距今四个月。届时第 9-49 条规定的所有高风险 AI 系统义务将变得可执行。成员国必须建立监管沙箱,部署前必须进行合规性评估。

对于现在才开始的团队,一个现实的实施时间线:

  • 2026 年 4 月:盘点所有 AI 系统,按附件 III 风险类别分类,针对七项要求进行差距分析
  • 2026 年 5 月:设计并开始实施治理、审计、可解释性和监督层
  • 2026 年 6 月:构建日志基础设施、可解释性集成和人工监督界面
  • 2026 年 7 月:端到端测试、合规性评估、文档定稿、团队培训
  • 2026 年 8 月:生产监控激活,上市后监控开始

这是一个激进的时间表。如果你的系统复杂或合规差距大,你几个月前就应该开始了。

如果你在构建 AI 智能体,这意味着什么

AI 智能体使每项要求都变得更加复杂。一个链接多个模型调用、检索外部数据并在世界中采取行动的自主智能体,其合规表面积远大于单模型推理端点。

日志记录呈指数增长。 每个智能体步骤——每次工具调用、每次检索、每个中间推理步骤——如果智能体是高风险系统的一部分,都可能需要被记录。单次用户交互可能产生数十个可记录事件。

人工监督变成架构问题。 一个设计上自主行动的智能体与第 14 条对有效人工监督的要求相矛盾。你需要决定在智能体执行管道的哪些位置人类可以检查、批准或停止操作——并将这些干预点构建到智能体的核心循环中,而非作为事后考虑。

可解释性变成多步骤问题。 解释智能体为何得出某个结论需要追溯其整个推理链:它调用了哪些工具、检索了哪些数据、中间结果如何影响最终输出。像 SHAP 这样的单模型可解释性技术无法覆盖这些。

风险管理变成动态的。 智能体的风险状况会根据其决定做什么而变化。同一个智能体可能在连续的回合中处理最小风险查询和高风险决策。你的风险分类不能是静态的——它需要按操作评估风险,而非按系统。

等待的代价

不合规的处罚高达 3500 万欧元或全球年营业额的 7%,以较高者为准。但真正的成本不是罚款——而是将合规改造到未设计为合规的系统中的 3-5 倍乘数。

在使用可变数据库记录的系统中添加不可变日志意味着重新架构你的持久化层。在完全自动化的管道中添加人工监督意味着重新设计你的工作流引擎。在黑盒模型中添加可解释性可能意味着完全替换模型。

能够最顺利度过这一关的团队,是那些将 2026 年 8 月视为工程里程碑而非法律截止日期的团队。这些要求是具体的、技术的、可测试的——它们应该出现在你的 Sprint 看板上,而不仅仅是法务团队的清单上。

References:Let's stay in touch and Follow me for more thoughts and updates