全球人工智能治理大变局之欧盟人工智能治理 监管框架评述及启示

标签：合规业务-网络安全与数据合规，数字经济，电信、传媒、娱乐与高科技-高科技，人工智能

引言

继ChatGPT发布后，全球人工智能产业就生成式人工智能的研发和创新掀起一股浪潮。国内多家大型平台也相继推出自己的大模型产品。人们在惊叹于当前AI技术的高效便捷的同时，AI技术所带来的潜在风险也日益凸显。2023年5月8日，布鲁金斯学会（Brookings Institution）发表一篇名为《人工智能的政治：ChatGPT和政治偏见（The politics of AI: ChatGPT and political bias）》的评论文章。[1]该文章指出，类似于ChatGPT这种基于大型语言模型（large language models, LLM）的聊天机器人甚至可能存在政治偏见。

2023年6月，欧洲议会通过了《人工智能法案》的折衷修订草案（以下简称“2023年《AI法案》折衷草案”），该法案即将进入最终谈判阶段，如经正式发布，则标志着欧盟在人工智能整体监管方面走在世界的前列。

近年来，我国也不断建立自己的人工智能治理监管体系，国家网信办于2023年4月发布的《生成式人工智能服务管理办法（征求意见稿）》以及2023年7月13日最新发布的《生成式人工智能服务管理暂行办法》正是对目前如火如荼的人工智能产业监管作出的及时回应（对该法规的解读具体详见《“不要温和地走进那良夜”——对<生成式人工智能服务管理办法>的思考》《卧看星河尽意明——全球首部生成式人工智能法规解读》）。本文将从欧盟《人工智能法案》（使用“《人工智能法案》”或“《AI法案》”概括指代目前为止所有《人工智能法案》的立法文件）的立法进程出发，以比较分析的方法梳理欧洲对人工智能监管的变革和重点制度，并总结其可鉴经验，以提出对中国人工智能治理的进一步展望，供读者参阅。

一、欧盟人工智能治理立法发展概述

1. 立法概况

欧盟自2016年起就不断探索推进对人工智能技术应用的监管体系建构。2018年，欧盟建立人工智能高级专家小组（High-Level Expert Group on Artificial Intelligence，Al HLE），加快建立一个统一的人工智能法律监管框架的步伐。随着《人工智能法案》三次修改及谈判草案的发布，欧盟在世界范围内率先设计一系列措施以确立人工智能的治理规则体系，并尝试影响甚至塑造全球范围内的人工智能治理共识规则和标准。

表一  欧盟的人工智能监管及算法治理规则一览表

起初，欧盟对于人工智能的监管主要基于对技术发展的憧憬及对其产生的担忧。2016年发布的《欧盟机器人民事法律规则》从民事法律的角度对基于人工智能控制的机器人制定了相应的权利及义务规则。尽管该法律文件因机器人的法律地位存在较大争议而颇受非议[2]，但该文件作为欧洲乃至全球第一份专门规制人工智能的政策文件，对于欧洲的人工智能发展及人工智能伦理治理的发展均产生较大影响。[3]

随后，2019年发布的《可信人工智能伦理指南》正式确立了“以人为本”的人工智能发展及治理理念，其提出的可信人工智能三大要素也进而成为世界范围内较为通行的人工智能评估准则。与此同时，《算法的可问责和透明的治理框架》也于同年发布，确立了人工智能的算法问责机制及透明义务的规则。

2021年4月，《人工智能法案（提案）》（以下简称“2021年《AI法案》提案”）正式发布，该法案引入风险分级监管、市场准入制度、监管沙盒等制度，其目的在于应对突出的算法黑箱问题，以确保投放到欧盟市场的人工智能系统及其使用的安全性。在随后的两年，该法案陆续经过两次谈判修订，并于近日进入最终谈判阶段，该法案如正式获得批准，将有望成为全世界首部有关整体人工智能规制的法律。

此外，近年来，欧盟针对数据治理也陆续发布《数字服务法案》（Digital Service Act）、《数字市场法案》（Digital Market Act）、《数据治理法案》（Digital Governance Act）。这些法案旨在规范欧洲的数据利用和流转制度，与即将正式出台的《人工智能法案》将共同构成欧盟数据战略框架下的重要监管规则，一方面从底层逻辑入手，加强数据的安全保护，促进欧洲数据流动，防范算法自动化决策的潜在风险；另一方面也建立相关伦理价值标准，保障个人权利，构建监管与创新发展的平衡机制。

2. 欧盟人工智能治理框架下的相关法律概念的界定

(1) 人工智能

目前人们对人工智能的定义并不统一。欧盟广泛使用的人工智能定义来自《2018年人工智能战略》，该战略指出：“人工智能（AI）是指通过分析环境并采取行动（具有一定程度的自主性）以实现特定目标来展示其智能行为的系统。基于人工智能的系统可以完全依赖于软件，在虚拟世界中运行（例如语音助手、图像分析软件、搜索引擎、语音和人脸识别系统）或者也可以嵌入硬件设备中（例如高级机器人、自动驾驶汽车、无人机或物联网应用程序）。”[4]

2021年《AI法案》提案第3条对人工智能的定义为：“AI系统指采用附录1中所列的一种或多种技术和方法开发的软件，该软件能生成影响交互环境的输出（如内容、预测、建议或决策），以实现人为指定的特定目标。”其中，附录1列举的技术方法主要包括：机器学习方法（包括监督、无监督、强化和深度学习）；基于逻辑和知识的方法（包括知识表示、归纳编程、知识库、影响和演绎引擎、符号推理和专家系统）；统计方法，贝叶斯估计，以及搜索和优化方法。

事实上，“人工智能”的概念自1956年于美国的达特茅斯学会上被提出后，其所涵盖的理论范围及技术方法随着时代的发展也在不断扩展。如今，人工智能技术也发展出多个技术分支，应用于不同的领域中。相比于《2018年人工智能战略》，2021年《AI法案》提案对于人工智能的定义采取更加宽泛的界定标准。值得注意的是，在2022年《AI法案》妥协版本中，欧盟理事会及欧洲议会对于上述界定的观点有进一步意见，其认为“AI系统”的定义范围应适当缩窄，并侧重强调机器学习的方法。

我们理解，上述两种定义方法可能产生不同的实施效果，各有利弊。一方面，若采取更加宽泛的定义，则法案的适用范围也将更广，考虑到法律规制较之于技术的发展相对滞后，更宽的适用范围针对不断更新的技术能够提供相应的指导意见，以防止各类新技术“野蛮生长”；另一方面，若采取较为限缩的定义，则可在一定程度上避免一些已经应用比较广泛的技术（例如视觉智能等）被进一步监管，从而限制其发展。从最新的修改方案来看，欧盟可能倾向于采用更加宽泛的定义以期制定更加广泛的适用范围，但具体的界定仍待《人工智能法案》的正式版本发布后确定。

(2) 通用型人工智能系统

通用型人工智能系统（General Purpose AI system）的概念于2022年《人工智能法案》妥协版本（以下简称“2022年《AI法案》妥协版本”）中提出，在该版本第6条中，通用型人工智能系统是指“一种人工智能系统，无论其如何投放市场或投入使用，包括作为开源软件，其目的是由供应商执行普遍适用的功能，如图像和语音识别、音频和视频生成、模式检测（pattern detection）、问答、翻译等；通用型人工智能系统可在多个环境中使用，并可集成在多个其他AI系统中”。此外，该版草案进一步指出，通用型人工智能既可能单独作为高风险人工智能系统，也可能仅是某高风险人工智能系统的组件；如果某通用型人工智能系统提供者确信自己的系统不会用于《人工智能法案》规定的高风险场景，则其无需承担相应的高风险规制义务。

相较于上述版本，2023年《AI法案》折衷草案中将上述定义进行了简化和扩展，即“通用人工智能系统是指可用于和适应广泛应用的人工智能系统，而非经过有意专门设计的系统。”此处修改放弃了2022年《AI法案》妥协版本中的“定义+列举”的方式，并强调了此类人工智能系统的广泛适用性。

(3) 高风险AI系统

2021年《AI法案》提案首次提出了高风险AI系统（high-risk AI systems）的概念，但未给出明确定义，主要采用列举的方式列出了高风险AI系统的类型。提案中规定，高风险AI系统包含两种类型：一是附录2中根据某些欧盟法律作为安全组件或产品使用的AI系统；二是附录3中在特定领域使用的某些类型的AI系统。其中，附录3中列出了八个领域的高风险AI系统，具体为：

• 生物识别和以生物识别为基础的分类
• 可能威胁人的生命和健康的关键基础设施的管理和运营
• 可能决定人的受教育机会和职业培训就业
• 就业、员工管理和获得自营职业
• 获得和享用基本的私人服务和公共服务及福利
• 可能影响人的基本权利的执法活动
• 移民、庇护和边境管理
• 司法和民主程序

而在2022及2023年的草案中，附录3 的分类形式都被作出了一系列调整。在2022年《AI法案》妥协版本中，用于“执法部门的深度伪造检测、犯罪分析、旅行文件验证”的目的被排除在高风险AI系统列表之外，与此同时，增加了“在关键数字基础设施中作为安全组件使用的AI系统、用于评估生命和健康保险定价或资格的AI系统”的目的。

此外，该版本将“纯粹辅助”型的AI系统也排除在高风险范围之外，即如果一个AI系统在其他高风险环境中仅用于辅助人类决策，则该系统不会被认定为“高风险”。

2023年《AI法案》折衷草案对上述“高风险”类别进一步补充，包括：

• 情绪识别系统和其他利用生物识别数据对个体进行推断的系统（除生物识别验证系统外）
• 铁路和空中交通的安全组件
• 用于下列目的的AI系统：

   -  评估职业教育培训资格

   -  在教育中检测舞弊

   -  健康医疗分级

   -  边境检查

   -  移民和庇护预测

   -  用于替代性争议解决过程（除法律程序外）

   -  影响选举和全民公决的结果

   -  用于大型社交媒体在线平台推荐

此外，如果分销商、进口商或用户对一个未被指定为“高风险”的AI系统进行了重大修改，那么该AI系统将自动成为高风险AI系统。[5]

由上述分类可知，欧盟对于“高风险”的划分原则遵循《人工智能法案》中所提到的人工智能治理的基本原则，也就是“促进以人为本和可信任人工智能应用，并保证对于健康、安全、基本权利、民主以及法治的高度保护”。可以看到，欧盟目前对于法案中所提出的风险分类的具体方式仍处于斟酌阶段，但从各草案的修改大抵可以看出，欧盟对于人工智能可能带来的算法歧视、算法黑箱等问题，仍持较为谨慎的态度。

3. 欧盟人工智能治理的重点原则与制度

(1) 算法可解释性和透明度原则

随着自动化决策技术的普遍应用，大数据杀熟、算法黑箱等问题屡有发生。此前，欧盟的《通用数据保护条例》（“GDPR”）便针对算法自动化决策的问题提出了相应的规制要求，将透明度及算法问责原则列入该法案的核心原则之一。该法案第22条[6]也规定，数据主体有权拒绝仅基于算法自动化处理的决策。

事实上，早在1978年法国就曾在第78-17号文件《法律-信息技术、档案和自由法》中提出“数据主体有权知道自动化处理的逻辑信息并有权拒绝自动化处理作出的决定”。[7]2017年法国《公共行政关系法》进一步规定，运用算法作出的行政决定，行政机关应向公民提供算法决策所涉模型、大致参数、一般权重、数据来源等。[8]

在美国，其《公平信用报告法》提出算法决策不利结果告知规则，以及2017年《关于算法透明和算法问责声明》中规定的算法解释原则，也将算法的可解释性规则确认为算法治理的基本原则之一。美国2022年的《算法问责法案》形成了“评估报告—评估简报—公开信息”三层信息披露机制。这种层级披露机制一方面保留了监管所需的必要信息并保障了消费者基本的知情权;另一方面也限制了核心信息的流通范围，避免算法控制者商业秘密泄露，从而平衡了算法透明和商业秘密保护之间的冲突。

但目前，产业界仍对此规则有所争议，有不少学者认为，从技术的本质出发，算法的运行无法达到完全可解释的效果，且即便向用户披露算法的运行机制也无意义，因为用户不具备相应的专业知识[9]；同时，履行该义务也有可能侵犯算法服务提供者的商业秘密。[10]

(2) 风险分类分级监管与算法安全评估

《人工智能法案》的三次修改草案中，重点引入了以风险为导向，对于AI系统的分类分级监管制度。该法案提出了四种风险类型的AI系统：不可接受的风险、高风险、有限风险和极低风险。该法案对于不可接受的风险以及高风险等级的AI系统提出了严格的规制措施，同时为人工智能设计了全生命周期的规制措施，要求人工智能产品入市前评估和入市后监测，以便从事前、事中和事后共同治理。

自GDPR发布以来，有学者提出将数据保护影响评估制度（DPIA）与GDPR中的公私渠道“协同治理”制度有效联结，构建个人数据权利与算法治理相结合的影响评估机制。[11]其后欧盟的《算法责任与透明治理框架》也提出针对公共机构强制要求实施算法影响评估的要求。

这种以识别潜在影响并提出对应解决措施的“算法影响评估制度”同样被美国的立法机关所采用，在美国，2019年《算法问责法案》明确了算法影响评估的主要内容，包括：对算法的详细描述；实现数据最小化；保障消费者对决策结果的获取权和修改权；评估算法对个人信息隐私和安全的影响，以及可能产生的歧视性风险；算法主体采取的降低风险的补救措施。

在我国，2021年9月国家网信办发布的《关于加强互联网信息服务算法综合治理的指导意见》中明确提出了风险防控和算法分级分类安全管理的要求，强调了对高风险类算法的有效识别。此外，国家网信办等多部门于2023年7月13日最新发布的《生成式人工智能服务管理暂行办法》第3条及第16条也提出了对生成式人工智能服务的分类分级监管要求。（参见《卧看星河尽意明——全球首部生成式人工智能法规解读》一文）

欧美的风险分级监管路径以及算法安全评估方法虽然在具体的分类分级方式以及评估内容上存有一定争议，但总体上对我国仍具借鉴意义。

(3) 人工智能的外部问责机制

2019年4月，欧盟《算法问责及透明度监管框架》就算法自动化决策明确了具体的规制路径和政策建议。《人工智能法案》除了上述的评估监测机制外，更是从平台主体的义务、监管机构职责、处罚措施等各方面构建了对人工智能算法的外部问责机制。

针对算法的外部问责机制，美国率先通过2017年的《关于算法透明性和可问责性的声明》确定了算法的可问责性原则，并提出对于算法问责的各项程序。纽约市 2018 年设置了“算法问责特别工作组”（Algorithmic Accountability Task Force），负责调查市政府使用算法的情况，并就如何加强纽约市算法应用的公共问责提出建议。[12]2019年，美国《算法问责法》进一步明确了大型算法平台所应当承担的算法可问责性义务，以规制可能的算法歧视问题。

此外《2020年新西兰算法章程》也通过外部问责方式提升算法透明度，要求签署该章程的政府机构必须保证算法驱动决策的过程公开、透明、道德，包括提供算法过程和数据存储相关信息、进行风险评级以评估偏见出现的可能性及影响程度等，以构建公众对于政府机构自动化决策行为的信任。[13]

4. 欧盟对人工智能的宏观治理特点

纵观前文对欧盟人工智能治理框架的梳理，欧洲当前对于人工智能的监管和治理重点主张以个人自治权与人格尊严的保护作为核心理念。其试图通过建立人工智能监管体系，保障数据主体的基本权利，并尝试构建统一的监管规则，防范人工智能发展可能带来的风险，同时探索创新发展与安全规制的平衡。具体而言，欧洲的人工智能监管框架主要有以下几个特点：

(1) 在治理理念上，主张“以人为本”，采取发展与规制并行的理念，在防范风险的同时鼓励创新；

(2) 在治理主体方面，欧盟试图建立统一的监管机构，以实现和GDPR的衔接下，数据治理和算法规制主体的统一；

(3) 在治理的内容和手段上，欧盟强调以风险预防为导向，通过事前评估，事中监测，事后救济的多元路径，分级监管人工智能系统并规避其可能带来的风险，同时强调个人赋权和外部问责的协同治理。

二、2023年《AI法案》折衷草案重点变化分析

1. 重点制度变化与立法趋势分析

与2022年《AI法案》妥协版本相比，2023年《AI法案》折衷草案对一些制度做出了修订，包括不可接受的人工智能和高风险人工智能清单、通用型人工智能系统的义务、监管沙盒制度的创新等。此外，2023年《AI法案》折衷草案整体上呈现加强个人数据保护的立法趋势。

作为欧盟针对人工智能的首次综合性立法尝试，欧盟人工智能法案从安全、隐私等方面制定了详细规则。2023年《AI法案》折衷草案突出了对个人数据的保护，比如使用情感识别系统或生物特征识别系统的用户应当向可能受系统影响的自然人告知该系统的运行方式，并在此基础上增加适用欧盟规定（EU）2016/679、（EU）2016/1725和指令（EU）2016/280处理他们的生物识别特征和其他个人数据之前获得自然人的同意的要求，[14]以及一般性地禁止在公众可进入的场所使用实时远程生物识别系统。[15]

(1) 扩大了被禁止的人工智能应用名单

欧盟人工智能法案遵循基于风险的监管方法，根据人工智能可能产生的风险水平，为提供者和部署商规定了不同义务。因此，对人们的安全具有不可接受的风险水平的人工智能系统将被禁止，例如用于社会评分（根据社会行为或个人特征对人进行分类）的系统。2023年《AI法案》折衷草案严格禁止对人类安全造成不可接受风险的人工智能系统，包括部署潜意识或有目的操纵技术、利用人们弱点或用于社会评分的系统。从折衷草案对不可接受的人工智能风险的修改来看，折衷草案更加注重对隐私权的保护。

在2021年《AI法案》提案和2022年《AI法案》妥协版本下，“生物识别系统”——根据关于他们的生物信息对人进行分组的系统——被视为有限风险的系统，只需遵守透明度义务。折衷草案进一步禁止基于敏感或受保护特征对人进行识别的生物识别系统。[16]相比之前两个版本的人工智能法案，2023年《AI法案》折衷草案对于如何处理在公共可访问空间中的实时远程生物识别系统（如实时[17]人脸识别摄像头）采取了更为严格的立场，禁止在公共可访问空间中使用任何实时远程生物识别系统。使用人工智能系统在公共场所对自然人进行实时远程生物识别，对有关人员的权利和自由具有侵扰性，会影响到大部分人的私人生活，且对自然人进行远程生物识别的人工智能系统在技术上的不准确性可能导致歧视性结果。而在2022年《AI法案》妥协版本中，在搜索犯罪受害者、防止对人们生命或安全的特定、重大和即将来临的威胁、防止恐怖袭击、搜索特定严重犯罪的嫌疑人、防止对关键基础设施的攻击和对健康的威胁等情况下，可以使用实时生物识别系统。

由于情绪识别系统在检测情绪、身体或生理特征时使用的人工智能技术可能缺乏可靠性、特异性和普适性，折衷草案也禁止情绪识别系统的应用。在执法、边境管理、工作场所和教育机构等现实生活中部署该系统时，也可能出现可靠性问题，会有滥用的重大风险，因此，应禁止将这些用于检测个人情绪状态的人工智能系统投放市场、投入服务或使用。

2023年《AI法案》折衷草案引入了对“预测性警务”的禁止。所谓“预测性警务”是指根据对自然人的画像，或者基于个性特征的数据分析，包括个人的位置，或者自然人或群体过去的犯罪行为，进行预测、画像或风险评估以预测实际或潜在的刑事犯罪或其他违法行为再次发生，包括欺诈预测系统，该类人工智能系统具有歧视某些人或群体的风险，可能侵犯人类尊严以及无罪推定的法律原则。在“预测性警务”人工智能应用方面，美国对这类预测性警务人工智能的应用更为普遍和广泛，其中在较有代表性的COMPAS(Correctional Offender Management Profiling for Alternative Sanctions)系统的相关案例中曾引发关于人工智能再犯风险评估系统对于被告人质证权等正当权利损害的广泛讨论和争议，COMPAS系统以对犯罪者的访谈以及司法部门提供的信息为依据，来评估再犯的风险系数，被告人并没有机会了解和评估法院所使用的COMPAS的算法和结果的准确性，也没有机会与该工具的开发者进行对质和辩论，因此COMPAS被认为可能侵犯被告人的正当诉讼权利。因此，欧盟采取对“预测性警务”的禁止行动，体现了欧盟在平衡人工智能创新发展与安全规范方面更倾向于保护欧盟境内人员的安全和维护欧盟价值观。

值得注意的是，2023年《AI法案》折衷草案明确提出，不可接受的人工智能系统在欧盟以外也是不可接受的。因此，在欧盟境内开发、部署或使用这类系统都是非法的，折衷草案也禁止居住在欧盟的供应者向第三国出口不可接受的人工智能系统。

(2) 扩大了高风险人工智能系统的名单

如本文第一章第二节所述，2023年《AI法案》折衷草案扩大了人工智能高风险领域的分类，将对人们健康、安全、基本权利或环境的危害考虑在内。

2021年《AI法案》提案对高风险人工智能系统采取多项监管措施，包括上市前的严格管控、进行风险评估、确保活动可追溯、加贴CE标志、监管机构评估、市场监督、建立数据库、故障信息共享、严格执法和处罚等措施。2023年《AI法案》折衷草案对高风险人工智能系统的各项监管要求也有所修改，除了规定提供者的义务外，还规定了部署商的义务，包括在高风险人工智能系统必须根据第43条进行符合性评估的情况下，部署商应当与提供者合作调查原因。根据主管部门的合理请求，提供者和部署商还应允许国家主管部门在其控制范围内访问高风险人工智能系统的自动生成日志，主管部门对于获取的信息负有保密义务。该条新增规定体现了折衷草案对于人工智能监管趋势趋严。

(3) 新增关于通用型人工智能的条款

2023年《AI法案》折衷草案提出了两个新概念：基础模型和通用型人工智能系统，基础模型被定义为一种依托大量数据被规模化训练的AI模型，为确保生成结果之通用性而设计，并能适应广泛的特定任务。基础模型可以是单模态和多模态的，包括大型语言模型如GPT-3和多模态模型如DALL-E。其中生成式基础模型是基础模型的一种，特指被特别设定的、以不同水准的自主性进行内容生成的人工智能，如复杂文本、图像、音频或视频等内容。“通用型人工智能系统”，这种系统可以用于它最初未被设计出来的广泛的用途。也被称为强人工智能，具有跨领域的广泛智能，能够适用于不同任务与领域。折衷草案将通用性人工智能定义为一种可被用于和可适应于广泛应用的、但未因此被有意和专门设计的人工智能。

2023年《AI法案》折衷草案对基础模型的提供者施加了新的规则，提供者需要满足一系列在市场投放前、市场投放后以及用于生成式人工智能的基础模型提供者的额外义务。相关义务可被分为：基础模型被投放市场或投入服务之前的一般义务、投放市场或投入服务后一定期限内的后续义务、用于生成式人工智能的基础模型提供者的额外义务。主要包括进行风险评估，仅使用符合适当数据治理标准的数据集、设计和开发模型要达到一系列要求：高性能、可预测性、安全性和其他属性，最小化能源使用和浪费，为下游提供者使用模型编写“广泛的技术文档”和“易懂的指南”，将模型注册到拟议中的欧盟高风险人工智能系统数据库。

随着近期ChatGPT等生成式人工智能技术的快速发展，ChatGPT等通用目的人工智能系统的整个生命周期都必须接受外部审计，以测试其性能、可预测性、可解释性、可纠正性、安全性和网络安全性是否符合法案的最严格要求。

(4) 算法透明度要求

“透明度”是指人工智能系统的开发和使用方式应做到具有一定的可追溯性和可解释性。关于透明度的要求，2023年《AI法案》折衷草案对透明度的定义更具体，要求提供者和用户都能理解人工智能系统的运行方式。

2023年《AI法案》折衷草案明确规定，用户应知道人工智能系统如何运行以及它处理了哪些数据，以便向受影响的人解释人工智能系统做出的决定。在2022年《AI法案》妥协版本中，要求披露的信息主要涉及提供者的身份和联系方式，以及人工智能系统的性能特征、能力和限制。而折衷草案要求的信息更为详尽，包括进行合规性评估的实体的身份和联系方式，以及任何可能影响系统性能的用户行为等。此外，折衷草案中新增了一条规定，即为了遵守法案中规定的义务，提供者和用户应确保有足够的人工智能素养。

总的来说，2023年《AI法案》折衷草案对人工智能系统的交互、披露要求和豁免条件提供了更具体、详细的指导，旨在更好地保护自然人和他们的权利。

ChatGPT这类人工智能系统的制造商披露训练大模型所使用的版权数据信息。[18]基础模型的供应商将被要求声明是否使用受版权保护的材料来训练人工智能。对于谷歌和微软等科技公司，若违反规定，罚款可能高达数十亿美元。

(5) 人工智能系统人为监督

2023年《AI法案》折衷草案要求，对于高风险人工智能系统，在入市前的设计应当保证能够实施人为干预。

增加对人工智能人为监督的主要原因在于以下几个方面。首先，人工智能（AI）可能会做出涉及道德和伦理问题的决策，比如对个人隐私的侵犯、不公平的偏见和歧视等。人类不能放心地把这些决策交给人工智能，但如果有了人类的监督，则可以在充分利用人工智能的基础上预防相关的道德风险。其次，人为监督是降低人工智能风险的主要措施。如果AI产生错误决策甚至有违法行为，由于AI无法承担法律责任，责任的承担者只能是人类自己，所以人类需要监督AI以保证它们的行为符合法律规定。最后，尽管AI在很多领域都有显著的性能，但是它们并不能理解伴随着历史逐步形成的人类社会。AI必须在人类的监督下，以保证它们能够正确地处理这些复杂的涉及人类社会的问题。

还有一点需要引起人们注意的是，风险较高的人工智能系统，往往需要更高程度的人为监督。高风险的AI系统可能在未经恰当处理的情况下，造成重大的个人、环境乃至社会的损害。人类监督可以确保在经验层面使AI系统的运行符合人类社会的价值观和道德观，最大降低高风险AI对人类社会的伤害。AI系统的决策过程往往是不透明的，这使得其决策的有效性和合理性难以判断。人类监督可以要求AI系统提供更多的透明度和可解释性，以便理解和质疑其决策。且人为监督也可以促进AI的普及与发展。高风险的AI系统本身可能会引发公众的恐慌和反感，人类监督能够帮助建立公众的信任，提高AI系统的社会接受度。

(6) 监管沙盒制度

2021年《AI法案》提案引入监管沙盒（AI Regulatory Sandbox）制度，要求欧盟成员国在法案生效前至少建立并投入使用一个人工智能监管沙盒，以在相应的人工智能系统投放市场前对其遵守《人工智能法案》的情况进行验证。

对比2022年《AI法案》妥协版本，2023年《AI法案》折衷草案将“各成员国自行决定”修改为按照既定的标准强制建立。这种沙盒在覆盖国家层面的基础上，可以与其他一个或几个成员国联合建立，也可以跨成员国建立，以促进跨境合作和协同效应。

此外，在人工智能系统中个人数据是否可以在沙盒的保护下进行处理，折衷草案给出了答案，增加了个人数据用于开发人工智能监管沙盒需为公共利益开发之目的的要求。并且增加了在监管沙盒中，人工智能系统的潜在提供者需按照适用的欧盟和成员国责任立法，对于因在沙盒中进行的实验而对第三方造成的损害承担责任。折衷草案还规定了沙盒的设立机构应当每年向人工智能办公室（AI office）提交年度报告，从沙盒设立一年后开始，每年提交一次，直到沙盒终止。

(7) 行政罚款

对于不同风险等级，2022年《AI法案》妥协版本采取了不同程度的监管措施。对于被禁止的人工智能系统，法案严厉禁止，并对违反者处于上一财年全球营业额最高6%的处罚。2023年《AI法案》折衷草案将最高罚款提高到4000万欧元或前一财年全球年度营业额的7%。

2. 欧盟人工智能法案的立法缺陷分析

(1) 责任机制存在缺陷

2021年《AI法案》提案对人工智能产品设定市场准入门槛和建立全生命周期的监测体系，是一种有效的人工智能监管路径，欧盟人工智能法案规定了不同责任主体，根据组织在人工智能供应链中的位置划分了提供者、部署商、进口商、分销商或其他第三方的责任。然而，欧盟人工智能法案的责任机制仍然存在缺陷。

首先，在规制对象上，责任界定不清晰。例如，法案可能没有充分考虑到人工智能系统的自适应性，这可能导致在某些应用场景下的主体责任归属不清晰。此外，法案未明确多方参与场景下多个责任主体间的责任分配，这可能导致责任确定困难。[19]《人工智能法案》使用的术语与GDPR中通常理解的数据控制者/处理者不同，这可能会导致合规性问题。根据《人工智能法案》，参与者包括提供者、部署商、进口商和分销商，因此开发或销售人工智能系统组织内的负责机构可能并未能明确对应GDPR下数据控制者/处理者角色，有可能会导致在两部法案同时适用的情况下合规责任不清晰。

在责任承担方式上，《人工智能法案》在责任承担方式上较为单一，处罚方式主要是罚款，责任体系仍需进一步完善。

(2) 阻碍产业发展

欧盟在数字立法领域一直走在世界前列，此次欧盟人工智能法案引起不少质疑和担忧，有观点认为欧盟《人工智能法案》将使人工智能企业在欧洲承担过高的成本，而且大部分合规要求在技术上无法实现。有反对者担心监管过度可能给欧洲人工智能公司带来过高的成本和过重的负担。基于此，OpenAI公司首席执行官萨姆·阿尔特曼表示，如果《人工智能法案》对人工智能进行过度监管，他将带领团队撤出欧洲市场。[20]欧洲议会议员Brando Benifei表示欧洲的人工智能立法已超前地对人工智能的风险给予具体回应。

尽管欧盟《人工智能法案》的初衷是保护公共利益并确保人工智能的安全和透明，但其过于严格的监管措施可能会阻碍产业发展。例如，过高的合规成本和严格的数据保护规定可能会影响创新和竞争力。在2020年的一项针对使用人工智能技术的欧洲企业的调查显示，对有计划但尚未采用人工智能技术的欧洲公司来说，43%的欧洲企业将法律责任问题视为其使用人工智能技术的最大外部障碍之一。[21]欧盟的超前和过度监管可能会进一步强化欧洲人工智能产业落后的局面，诸多事前监管环节都将影响人工智能的开发进程。尽管欧盟委员会预测行业里大部分人工智能应用将落入低风险类别中，因而认为法案对人工智能产业发展的负面效果有限，但无论如何，诸多事前监管环节都将影响人工智能的开发进程。

另一方面，2023年《AI法案》折衷草案旨在在欧盟层面为人工智能系统的开发、投放市场、投入使用制定统一的法律框架，并确保基于人工智能的商品和服务的跨境自由流动，除非《人工智能法案》明确授权，成员国不得对人工智能系统的开发、销售和使用施加限制。

总体而言，《人工智能法案》属于偏规制型的立法，其对产业促进方面的规定较少。当前人工智能技术发展仍处在探索期，如何更好地平衡与衔接技术发展和监管创新，还需在实践中不断探索和完善。

三、欧盟人工智能监管体系对中国的启示

1. 中国人工智能监管框架和发展进程

我国一直关注人工智能技术与产业的发展，早在2017年7月，国务院发布了《关于印发新一代人工智能发展规划的通知》（“《通知》”）。《通知》高度总结了人工智能的发展现状，以及中国在应对人工智能的发展应采取怎样的战略态势，既强调了人工智能对我国提高国际竞争力、促进社会经济发展的意义，但同时也提及了其对政府管理、经济安全和社会稳定乃至全球治理带来的不确定性因素。为应对这一情形，《通知》在顶层设计上采取“三步走”战略，其中第二步战略（2020年-2025年）要求“初步建立人工智能法律法规、伦理规范和政策体系，形成人工智能安全评估和管控能力”。人工智能的法律法规和伦理规范作为人工智能发展的保障措施在《通知》中得到确认。

目前，我国在人工智能领域的法律规制工作正在稳步推进中。其中，作为整体规制的基础性法律，人工智能法草案已被列入国务院2023年立法工作计划，提请全国人大常委会审议。针对特定运用领域，比如推荐算法、深度合成等技术/产业，我国在立法上已经做出了初步的尝试。除此之外，数据作为人工智能发展的三驾马车之一，我国近年来的与其相关的《数据安全法》《个人信息保护法》等数据法律也在数据处理方面适用于人工智能。另外，对于科技伦理的有关规定也同样适用于人工智能。

表2  中国的人工智能监管及算法治理规则一览表

(1) 依据主体的治理范式与依据风险的治理范式

中国与欧盟关于人工智能监管的体系框架表明，两者对人工智能进行规制的出发点有所不同。中国针对不同的涉及算法的互联网信息服务，以落实主体责任作为基本落脚点。实际上，我国针对特定人工智能产品或服务的规定，基本上是将“服务提供者”作为相关义务的履行主体。《互联网信息服务算法推荐管理规定》的义务主体是“算法推荐服务提供者”，《生成式人工智能服务管理办法》的义务主体是“生成式人工智能服务提供者”，《互联网信息服务深度合成管理规定》则明确形成了多义务主体规制模式，包括深度合成服务提供者、深度合成服务技术支持者以及深度合成服务使用者，但从具体条文来看，深度合成服务提供者、深度合成服务技术支持者是该《规定》最主要的规制对象。

欧盟《人工智能法案》则是首先确立以风险为基准的人工智能治理框架。通过对人工智能系统进行评估，人工智能系统将被划分为不可接受风险、高风险、有限风险和最小风险四个层级，并匹配了不同的责任措施和差异化的监管。[22]在风险分级之下，2023年《AI法案》折衷草案进一步界定了提供者、授权代表、分销商、进口商、部署商等主体（根据Art3.1(8)，统称为“经营者”），明确在不同风险的人工智能系统统一的责任措施和差异化监管之下，各类经营者在其中具体应该承担何种义务。

(2)  在人工智能系统特殊领域的特殊监管达成共识

算法推荐，深度合成，生成式人工智能是我国规制人工智能的具体领域。虽然2023年《AI法案》折衷草案适用于所有的人工智能系统，但就上述某些产品或服务而言进行了特殊的回应。这些回应一定程度上印证了我国对这些领域进行特别监管的必要性。

面对深度合成，2023年《AI法案》折衷草案在第52条第3款第1项确定了深度合成的标记义务，使用深度合成时，不仅要告知接收者内容为使用深度合成系统下的输出物，同时要标记具体使用深度合成技术的主体的信息。这与《互联网信息服务深度合成管理规定》第16至18条所规定的标记义务保持一致，但相比之下2023年《AI法案》折衷草案更加强化了系统使用主体信息透明度的要求，一定程度上将法律责任分配给了使用深度合成技术的主体。

对于生成式人工智能，2023年《AI法案》折衷草案将其视为“基础模型”的一种类型，在第28b条对基础模型所施加的一系列一般义务之外，还通过该条第4款规定了针对生成式人工智能的额外义务。具体而言包括第52条第1款所规定的透明性义务、在保障言论自由等基本权利的同时防止违法内容生成，以及尊重知识产权的要求。

欧盟对于深度合成和生成式人工智能的特殊规定仅占据整部法案的极小篇幅，从规定内容上来看虽然抓住了规制重点但并不详尽。相较而言，我国的两个相关规定在义务上更为全面。不过由于缺少统一的横向立法，导致我国的相关规定存在大量重合，可能会导致规定交叉重复适用的问题。

2. 人工智能技术发展实践所需监管补位的难点和痛点

(1) 供应链中不同经济运营商之间责任分配的不确定性

人工智能系统从研发到投放市场涉及多个主体，特别是当委托代理或授权关系进行介入的情况下主体之间的关系将更为复杂。就我国的相关具体人工智能规范而言，服务提供者往往是主要的责任主体。在《人工智能法案》中，人工智能系统供应链的参与主体更为细化，具体包括提供者、部署商、授权代表、进口商和分发商，它们被统称为“运营者”。

2023年《AI法案》折衷草案在法律义务分配设计上，特别是对于高风险人工智能系统，提供者，其次是部署商，将承担主要的义务（Art16）。其中，提供者将承担最广泛的合规义务，包括建立风险管理制度和质量管理制度等，涵盖人工智能系统生命周期的事前和事后环节。而部署商的义务则主要集中于确保对高风险人工智能系统的人工监督和日常检测义务，主要覆盖人工智能生命周期的事中环节（Art29）。

2023年《AI法案》折衷草案要求进口商采取一定措施，确保所进口的人工智能系统投入市场之前已经获取了折衷草案对提供者所要求履行的一切程序及其文件，包括评估程序、技术文件以及CE标志（Art26）。

另外，相关责任主体的界定是以“特定”的人工智能系统参照进行界定的。在人工智能系统供应链上，当非提供者的其他责任主体对提供者的人工智能系统进行实质性修改而使其成为高风险系统，或将基本模型嵌入到高风险系统中，或以自己的名字或商标放在已经投放市场或投入使用的高风险人工智能系统的情形下，其他责任主体将会被认定为新的提供者（Art28）。

《生成式人工智能服务管理办法（征求意见稿）》出台之后，对生成式人工智能服务提供者的义务体系设计引起了一定的讨论。如果对责任主体的界定过于简化，人工智能供应链上的相关主体都可能被要求承担同样的义务，进而也有可能引起责任主体内部难以分配责任的问题。针对此，国内有的观点建议区分基础模型开发者和利用者，原则上由利用者承担内容生产者的责任和算法备案义务。[23]另外，也有观点认为生成式人工智能产品应该秉承“各负其责”的原则，分配权利义务——服务提供者承担服务提供者义务，生成内容使用者（用户）承担使用者义务。[24]我们理解，我国在尝试进行进一步的人工智能立法上，应当充分对人工智能开发及使用的各相关主体纳入考虑范围，合理分配各自应承担的法律责任，避免单一主体承担过重乃至于全部的相关责任，从而导致抑制创新或对产业链形成不良后果。实际上，正式生效的《生成式人工智能服务管理办法》也一定程度上回应了这个问题，通过第二条第二款和第三款的规定，一些主体被排除在了《办法》的适用范围之外。[25]

(2) 通用型人工智能的监管问题

在以风险为导向的人工智能治理框架中，最容易受到的挑战是无法应对一些跨应用场景和不具有特定使用目的的人工智能系统。最初的2021年《AI法案》提案并未对这类人工智能技术有所回应，这类人工智能系统往往也难以进行所谓的“风险评估”。因为其风险取决于部署商如何使用该系统。这一缺陷在ChatGPT等生成式人工智能涌现之后被发现并引起关注。

2023年《AI法案》折衷草案则对这一问题进行了回应。这类系统在2023年《AI法案》折衷草案中被称为“基本模型”，是指在广泛的数据上进行规模化训练的人工智能模型，其设计是为了实现输出的通用性，并能适应各种不同的任务。基本模型可以独立使用（例如生成式人工智能），也可以成为其他人工智能系统的组件。针对“基本模型”的泛用性特征，2023年《AI法案》折衷草案对这类模型的相关义务单独设计条款专门规定，与以风险作为分类标准的人工智能系统的相关义务相互区别。这有效解决了这类技术无法纳入AIA最初风险治理框架的问题。

3. 对中国人工智能监管治理框架的建议

(1) 纳入道德伦理和人权考量的以风险为基准的统一人工智能治理框架

欧盟以风险为基准的人工智能治理框架在一定程度上值得我国人工智能领域一般性立法进行参考和借鉴。

在一般性立法方面，人工智能的治理既有共性，但在具体的特殊领域的运用又具有特性，这是我们需要兼具横向立法和纵向立法的原因。缺乏统一的人工智能立法，将会导致不同特殊领域的立法在内容上高度重合，容易引起法律之间适用的困惑，也导致法律规定的重复和冗杂。提炼出人工智能治理的共性，将其作为一般性人工智能立法的规定内容，将有助于解决这一问题。

此外，伦理道德和人权向来都是人工智能技术发展绕不开的终极话题。其高度概括性、抽象性和不确定性，导致如何将这部分内容融入人工智能治理考验着立法者的立法技术。而以风险为基准的人工智能治理框架提供了其中一种解决方案。《人工智能法案》将人工智能系统对伦理道德和基本人权的影响有机纳入规制框架和评估框架中，对相关责任主体的义务配置和履行起着决定性的作用。实际上，我国《科技伦理审查办法(试行)》也是将伦理纳入包括人工智能开发在内的科技活动的积极探索。伦理审查委员会的审查结果也能够阻止违反道德伦理科技活动的开展。不过由于该《办法》适用于所有的科技活动，人工智能的特殊性可能无从得到体现。另外，应如何界定和解释“不可接受的风险”和“高风险”的人工智能系统也面临相当大的不确定性和模糊性。[26]人工智能系统会带来的问题，具体取决于使用它们的人、地点和目的。在一定程度上可能难以统一进行风险分类。[27]《人工智能法案》虽然通过举例的方式帮助解释和澄清，但仍可能无法应对快速发展变化的人工智能系统。因而以风险为基准的人工智能管理框架究竟成效如何仍有待进一步的观望和研讨。

(2) 人工智能法律与现有数据保护法律，特别是个人信息保护法制度的衔接性

人工智能的研发和部署使用离不开对数据，尤其是个人信息的处理。但我国《个人信息保护法》的规定可能会对上述活动形成一定的合规障碍。在《个信法》第13条所规定的各类个人信息处理的合法性中，仅有个人同意和基于合同履行所必须可以作为使用人工智能进行个人信息处理的合法性基础。诚然，就人工智能的部署和使用而言，上述合法性基础的获取并不存在特殊的障碍。但如果在研究开发环节也要求获取上述合法性，则会极大增加相关责任主体的合规成本。

虽然欧盟《人工智能法案》明确不排除一般情况下对GDPR的适用（Art2.5a），但在合法性基础上，GDPR有更多的合法性基础供个人数据处理者主张。例如“控制者和其他第三方的正当利益”以及“为了实现公共利益、科学或历史研究或统计目的处理中的处理”。

相较之下，《人工智能法案》在明确不影响GDPR的实施之下，在具体规定中对涉及个人数据的处理进行了解释和衔接。我国若计划进行统一的人工智能立法，那么个人数据处理的合法性问题将无法回避。比较好的方法当然是在人工智能立法中就合法性进行特别规定，以适用《个信法》第13条第1款第7项“法律、行政法规规定的其他情形”，为人工智能系统对个人信息处理提供额外的合法性基础。

(3) 监管沙盒充当人工智能系统投入市场的“守门人”

监管沙盒是《人工智能法案》中所使用的，确保人工智能系统合规的重要措施。“监管沙盒”是指由公共机构建立的，在创新人工智能系统投放市场或根据监管部门监督的具体计划投入使用之前，在有限的时间内为其安全开发、测试和验证提供便利的受控环境。它通过监管创建一个受控制的环境对人工智能系统进行测试，并给予合规指导。这一监管措施将为人工智能的合规监管带来两层意义：其一是能够帮助监管者实现了解人工智能系统的全貌并收集相关信息，消除信息壁垒，防止人工智能的复杂性而引起的滞后性，促进敏捷治理；其二是能够帮助提供者评估人工智能系统的现实运作情况，从而进行针对性的完善并获取专业的监管指导，有效降低合规成本。[28]同时，2023年《AI法案》折衷草案中的监管沙盒制度，还为个人数据的处理提供了额外的合法性基础，其第54条规定，在符合特定条件的情况下，在人工智能监管沙盒中，为其他目的合法收集的个人数据可仅为在沙盒中开发和测试某些人工智能系统的目的而处理。

我们理解，监管沙盒作为开发环境和现实环境之间的缓冲带，能够非常好地帮助提供者评估人工智能系统的合规水平，并决定是否投入市场。监管沙盒一定程度上也能够作为信用背书，帮助提供者论证其合规能力。

(4) 对中小企业的兼顾激励与监管的制度体系

在统一式的监管措施面前，虽然合规要求并无差距，但中小企业往往面临着难以承担的巨大合规成本。如果不采取适当的措施对中小企业进行保障，大型企业往往可以凭借自己的资源优势在实现技术创新的同时完成合规要求，而中小企业则只能在创新与合规中艰难抉择，这无疑可能会加剧大型企业的垄断局面。欧盟的数据立法向来意识到这一点，从GDPR到《数字服务法》，都采取了相应的措施适度降低中小企业的合规成本。《人工智能法案》也不例外。2023年《AI法案》折衷草案第一条进一步明确了要采取监管沙盒等措施降低中小企业的合规成本，促进科技创新。具体而言，通过第28a条制约单方面强加给中小企业和初创企业的不公平合同条款，通过采取规制格式合同的方式，一些显著不公平的条款将被视为无效约定，防止大型企业利用自身优势转嫁法律规定下本应自己承担的法律风险。在监管沙盒方面，2023年《AI法案》折衷草案第53a条特别提出应促进监管沙盒广泛而平等的参与，并减免参加费用和提供部署前服务和其他增值服务。最后，2023年《AI法案》折衷草案还通过适当降低中小企业的评估费用或其他合规要求，在处罚规定中要求将纳入中小企业的利益和经济活力，以实现降低合规成本的最终目标。2023年《AI法案》折衷草案还进一步吸纳了来自欧洲数字中小企业联盟的建议，要求相关准则的制定需要充分考虑中小企业的需求，以确保对其的合规负担不会因为中小企业参与缺位而导致过重。[29]

相较而言，我国的法律制度更多是在一般性规定的基础之上，强化对大型企业的监管。例如，就《个人信息保护法》而言，关键信息基础设施运营者和大型个人信息处理者将面临更多的合规义务，执行个人信息出境时也面临更严格的要求；而对于小型个人信息处理者的保障仅出现在第62条，属于个人信息保护工作推进内容之一，但目前尚未有具体规定。而专门针对人工智能领域制定的，针对算法推荐、深度合成、以及生成式人工智能的办法，均没有对中小型的服务提供者制定专门的规定，以控制其合规成本。

从防止垄断，促进人工智能技术创新的角度而言，欧盟的《人工智能法案》顾及到了中小企业在当中的弱势地位。我们认为，适当地将对中小企业的合规义务豁免规定以及合规支持规定纳入到未来的人工智能立法中，将有利于形成人工智能领域健康有序的公平竞争秩序，有效激发中小企业的科技创新活力，同时也能够在制度上有效防止过度监管，避免“放过老虎抓苍蝇”的行为。

以上，我们对欧盟整体的人工智能治理框架及2023年《AI法案》折衷草案的重点变化进行了梳理。可以看到，欧盟对于人工智能的治理整体上由分散不断趋于统一。同时，也逐渐重视欧盟内各项法律法规的衔接问题，以期构建欧洲数据治理的整体格局。接下来，我们将继续分析《人工智能法案》的重点制度，并通过对比分析，为我国的人工智能治理的具体路径提供可行思路。

扫码订阅“金杜律师事务所”，了解更多业务资讯