路未央，花已遍芳——欧盟《人工智能法案》主要监管及激励措施评述

标签：合规业务-网络安全与数据合规，数字经济，电信、传媒、娱乐与高科技-高科技，人工智能

如“全球人工智能治理大变局之欧盟人工智能治理 监管框架评述及启示”一文所述，欧盟《人工智能法案》（以下简称“《AI法案》”）以风险为进路，将人工智能（以下简称“AI”）系统分为不可接受的风险、高风险、有限风险以及极低风险四类。针对每一类AI系统，《AI法案》采取了不同的监管策略，并配以具体的制度使得监管可执行落地。具体而言，针对不可接受风险的AI系统，欧盟禁止任何企业或个人部署。针对高风险AI系统，欧盟允许相关主体在履行事前评估等义务后投放市场或投入使用，并进行事中、事后的持续监测。针对有限风险的AI系统，欧盟虽然不要求相应主体履行事前评估等义务，但其仍需遵循相应的透明度义务。针对极低风险AI系统，相应主体则可依据自由意志部署和使用。

总体而言，AI系统的监管不能以牺牲或放弃AI技术发展为代价。实践中，为了向市场提供符合规定的高风险AI系统，企业一般需要承担极高的费用或负担，而中小企业基于其财力、市场份额、能力等的多重限制，可能无法实现相应的要求。因此《AI法案》还提出了AI监管沙盒等策略，鼓励各企业尤其是中小企业的发展和创新。

一、纵观：欧盟《人工智能法案》的监管思路

自欧盟2021年《AI法案》提案起，其解释备忘录即对法案的监管思路进行了整体性描述，其中提到，“本提案对AI提出了平衡、相称的横向监管方法”，仅限于“与AI相关的风险和问题的最低必要要求”。并且，“建立了一个以明确界定的基于风险的监管方法为基础的相称的监管制度……同时，法律框架包括灵活的机制，使其能够随着技术的发展和有关新情况的出现而动态调整。”可以看出，欧盟《AI法案》的监管思路是以横向监管为基础，风险规制为主要方式，同时兼顾监管与发展的动态平衡，具体而言：

(一) 横向监管为基础

目前，在AI监管的相关法律文件中，主要存在“横向”监管与“纵向”监管两种主要方式。在横向监管方式中，监管机构将创建一个全面的法规，以尽可能涵盖AI可能产生的各方面影响；在纵向监管方式中，政策制定者采取“定制”的方法，针对不同应用或类型的AI制定不同的法规。[1]欧盟《AI法案》则采用横向监管模式，具体而言，该法案以风险分级的方式将所有AI系统纳入监管范围（特殊AI系统除外），并允许监管机构随着AI的发展不断将新的应用领域纳入现有的风险类别，而没有针对特定AI应用领域制定具体的法律规范。风险分级方式使法案整体处于相对灵活的状态，既能够保持横向监管方式具有的统一性和协调性，同时，相对灵活的分类标准也弥补了传统横向监管方式下对具体的AI应用场景针对性不高的问题，兼具法律的确定性与灵活性，使得相关监管措施更易落地。

(二) 风险规制为主要方式

欧盟《AI法案》采用分类分级的风险规制路径，在规定统一监管框架的基础上，识别和评估AI系统可能引发的风险。法案将AI系统分成四个风险级别，分别是不可接受的风险、高风险、有限风险和极低风险，每个风险类别都有相应的应用场景和监管措施，具体分类情形如下表所示：

以上，不同风险级别的AI系统对应不同的监管措施，风险等级越高意味着监管措施越严。灵活的分类方式基本涵盖了目前所有涉及的AI系统，并且该框架允许随着AI技术的发展不断更新和补充。该分类方法结合了不同应用场景的具体情况并对应设置针对性的监管措施，一方面避免笼统规范化的合规义务带来的规制失焦问题，另一方面，也为存在多种风险的复杂场景提供了较为清晰的解决思路，例如可以通过风险分级方式对应复杂场景中的不同类型的风险。但是，过于严格的风险分级方式也有可能对AI的创新发展造成一定限制，例如存在一些新兴的AI系统可能会被归类于高风险从而影响人们对于新兴AI技术探索的情形。

但是，我们理解，实践中各行业企业在某一具体场景中可能不仅适用一个AI系统，而是采取多AI系统耦合的方式，共同为客户提供服务。共同参与某个具体场景的多AI系统可能分属于不同的风险级别，此时，有必要为有机结合共同对外提供服务的AI系统重新划定风险级别。具体而言，当较高风险与较低风险的AI系统同时存在时，可以采用“就高不就低”的原则，对风险进行较严的监管规制。

(三) 兼顾监管与发展的动态平衡

法案同时引入了多种灵活措施和例外情形用于促进AI技术的开发创新，在保障监管要求的同时，兼顾AI技术的发展。具体而言，《AI法案》三个版本均提到AI监管沙盒，该措施可以保障企业在一个“安全空间”内测试创新性的AI系统，从而实现AI系统的开发、测试和验证。另外，法案也注重对知识产权的保护，例如2023年《AI法案》折衷草案序言第（79）条规定：“国家监督机构应将获得的任何信息，包括源代码、软件和数据(如适用)，作为机密信息处理，并尊重欧盟关于保护知识产权和商业秘密的相关法律。”2023年《AI法案》折衷草案序言第（83）条规定：“参与本条例应用的所有各方应以透明和公开为目标，同时尊重在执行任务时获得的信息和数据的保密性，制定技术和组织措施，以保护其活动中获得的信息的安全和保密性，包括知识产权和公共及国家安全利益。”保护知识产权即为保护创新，保护创新是推动发展进步的重要动力，由此可以看出，《AI法案》力图在完善监管措施的同时，基于对个人基本权利的保障，推动实现在AI技术可信赖和AI技术发展之间的动态平衡。

二、评述：各风险级别人工智能系统的主要监管制度

(一) 高风险人工智能系统的主要监管制度

欧盟《AI法案》采取统一监管策略，主要体现在以下三个方面：责任主体统一监管、各行业统一监管以及AI系统全生命周期统一监管。

首先，在各责任主体统一监管方面，《AI法案》将在AI供应链的各个层面为相关主体施加一系列义务，包括AI系统的提供者、部署者、进口商和分销商。

下文将主要讨论《AI法案》为高风险AI系统提供者在AI系统全生命周期各阶段设置的义务。依据《AI法案》对提供者的义务履行时间限制，我们将提供者在《AI法案》框架下应履行的合规义务细分为提供者将高风险AI系统投放市场前、投放市场时以及投放市场后三个阶段。

由于篇幅所限，在下文中我们将重点介绍高风险AI系统提供者在全生命周期各阶段的重难点合规要求。

1. 投放市场前

基于《AI法案》的整体性要求，一方面，投放市场或投入使用的高风险AI系统需遵循一定的技术处理要求，例如在开发设计时需配置系统运行日志的功能。另一方面，高风险AI系统提供者自身在将相关系统投放市场前，也需履行一定的合规义务，从而为判断AI系统是否符合相关规定的要求，以及提供者证明自身是否合规提供可行的路径。

(1) 确保高风险AI系统符合相关技术要求的义务

《AI法案》第二章规定了投放市场或投入使用的高风险AI系统应具备的要件，可进一步细化为基于风险动态变化形成的风险管理体系需求，基于核实验证目的形成的技术文档需求，以及基于减少数据训练引发的算法偏见与歧视等问题形成的数据质量需求。而《AI法案》第三章则规定，在相关系统投入使用前，提供者需确保其提供的高风险AI系统已具有上述能力或履行相关要求。

1）风险管理体系需求

《AI法案》三次的修订和调整中，具备全生命周期的风险管理体系并进行定期审查与更新始终是《AI法案》要求高风险AI系统具备的能力。

高风险AI系统具备风险管理体系的能力是欧盟《AI法案》采取以风险为进路的治理思路的题中应有之义。一方面，AI系统和传统产品不同，基于自我学习、算法更新等原因，其始终处于动态发展、变化的过程。另一方面，在技术上可能无法完全消除基于研发、部署、使用AI系统引发的算法歧视、偏见等问题，需要通过管理体系来进一步降低风险。此外，“算法黑箱”也在一定程度上使得AI系统对人类的影响存在相当的不确定性和不稳定性。基于风险平衡的视角，并非全部的风险提供者均需采取措施予以解决，其仅需对存在的重大风险进行评估并处理，最终将重大风险控制在可接受的范围内。

严格意义上，风险管理体系是贯穿高风险AI系统全生命周期的技术要求，高风险AI系统提供者不仅需在设计、研发阶段即采取措施确保系统可识别未来的风险，还需在AI系统上市后持续进行风险识别与判断，确保已投入市场的高风险AI系统对个人的基本权利所可能引发的风险始终处于可控制的范围之内。但是，依据2023年《AI法案》折衷草案第16条第（a）款，提供者应在高风险AI系统投放市场前，即已确保AI系统具有《AI法案》第二章为AI系统设置的要求。

目前，我国算法与AI领域的治理规范已有类似于风险管理体系的要求。具体而言，《互联网信息服务算法推荐管理规定》（以下简称“《算法推荐管理规定》）第八条规定，算法推荐服务提供者应当定期审核、评估、验证算法机制机理、模型、数据和应用结果等。但是，《互联网信息服务深度合成管理规定》和《生成式人工智能服务管理暂行办法》尚未规定前述的定期审核、评估义务。我们理解，定期审核等系列义务虽然并不完全等同于欧盟《AI法案》所述的风险管理体系，但这两者本质上均涉及AI系统提供者定期对AI系统可能引发的风险进行识别与评估，从而采取针对性措施予以解决。有鉴于此，在未来立法中，我国可进一步要求设置AI系统及算法的风险管理体系，确保动态发展的AI系统与算法对我国网络安全、数据安全以及个人信息保护的影响始终处于可被接受的范围内。

2）训练数据质量要求

训练数据的重要性不言而喻，诸如提高训练数据质量真实性、准确性、多样性的要求不仅在《AI法案》的三个版本中均进行了规定，在我国已经发布的《生成式人工智能服务管理暂行办法》中也有体现。具体而言，AI系统依托数据的喂养而训练和优化，训练数据的偏差将镜像地体现在AI系统的运作中。为了避免AI系统的算法歧视和偏差，提高训练数据的质量具有极其重要的意义。例如，预期在律师行业协助律师进行文件翻译的生成式AI服务，如在训练AI时仅是为其提供文学行业的语料，由于法律英语具备相当的专有词汇和用法，因此可能导致生成内容出现一定的偏差。

我国《生成式人工智能服务管理暂行办法》第七条以行为为导向，要求生成式AI服务提供者“提高训练数据治理，增强训练数据的真实性、准确性、客观性、多样性”。《AI法案》对训练数据的质量要求则存在不同的维度，除了应采取适当措施，发现、防止可能存在的偏见问题，2023年《AI法案》折衷草案还进一步要求数据具有相关性、充分的代表性，在考虑到预期目的的情况下尽可能地完整，并在高风险AI系统的预期目的或可预见的使用范围内考虑到其特定的环境或场景因素等。

和2021年《AI法案》提案相比，2023年《AI法案》折衷草案的数据治理要求的亮点如下：

• 新增技术可行性

2021年《AI法案》提案一经发布即引起社会公众热议，对于研发AI系统相关的企业而言，数据治理要求将使得企业承担极高的负担。最终，在2023年《AI法案》折衷草案中，第十条新增了技术可行性的说明，即利用数据训练高风险AI系统时，只要依据相应的市场或应用范围在技术上可行，则应采取相应的质量要求。

• 新增偏见考虑

《AI法案》对AI系统进行风险分类的核心目的在于，维护个人的健康、安全和基本权利等。基于此，2023年《AI法案》折衷草案第10条第2款第（f）项，新增偏见考量要求，即研发者在选择训练数据时，应当考虑到对个人健康、安全和基本权利产生的负面影响或导致欧盟法律所禁止的歧视或偏见。《生成式人工智能服务管理暂行办法》虽然并未在数据质量要求一条中规定类似的偏见考量义务，但其在第四条明确规定，“在算法设计、训练数据选择、模型生成和优化、提供服务等过程中，采取有效措施防止民族、信仰、国别、地域、性别、年龄、职业、健康等歧视”。

通过中欧相关条款对比，我们理解，虽然我国和欧盟均意识到训练数据的偏见将对AI系统产生实质影响，但基于歧视偏见的范围等，我们不排除可能存在具体的差异。此种差异本质上是基于各国对AI系统监管的合法利益考量差异而形成，并反映在具体的AI系统监管措施之中。

• 明确充分性要求

2021年《AI法案》提案中，其第十条仅规定训练数据需具有相关性、代表性、没有错误以及完整的。虽然这一条款旨在提高训练数据质量从而提高高风险AI系统的服务质量，但是实践企业和欧盟成员国均有代表反应，这一要求可能过于严苛，且缺乏一定的实践意义。例如，丹麦等国代表均认为，没有错误的完美数据是不存在的。

有鉴于此，为提高数据质量条款的适用性，2023年《AI法案》折衷草案进一步调整表述，补充了“充分的代表性”，“适当的错误审查”以及“在考虑到预期目的的情况下尽可能地完整”，在一定程度上解决了企业在实践中适用数据质量条款的现实障碍。尤其是针对完整性，2023年《AI法案》折衷草案明确规定完整性需考虑训练数据的预期目的也即训练高风险AI系统的预期目的，一方面有助于提高AI系统在预期使用领域的效能，另一方面可以减少提供者为了实现训练数据的完整性，从而过多地使用不必要的数据。

相较而言，我国《生成式人工智能服务管理暂行办法》虽然相对其征求意见稿而言，已从以“结果为导向”调整至“以行为为导向”（参见“卧看星河尽意明——全球首部生成式人工智能法规解读”一文），但是，我们理解，网信等监管部门仍可基于实践情况，进一步明确训练数据“真实性、准确性、客观性、多样性”的具体含义，避免歧义，并指导、帮助相关企业开展训练数据处理活动。我们一定程度上同意数据不可能在各个角度上完美，但考虑到训练数据可能会影响人工智能系统的判断从而放大数据的不完美性，企业不仅应当在选取预训练数据集时考虑更多的因素，而且应当在后续训练中持续不断的对训练数据的真实性、准确性等进行核查，尽可能的降低其对人工智能系统判断的影响。

• 强化个人信息保护要求

2023年《AI法案》折衷草案第10条第5款在2021年《AI法案》提案的基础上，进一步强化了个人信息（欧盟《通用数据保护条例》称之为“个人数据”）的保护要求，并提出采取适当的技术和组织措施从而保障训练数据涉及的个人信息的安全性等要求。

无论是《AI法案》还是《生成式人工智能服务管理暂行办法》，其均规定个人信息的处理需遵循相应的法律要求，具体如《通用数据保护条例》和《个人信息保护法》。但依据实践经验，企业在利用涉及个人信息的训练数据时，可能存在较多障碍，具体而言，相关主体主张无需取得个人信息主体同意而处理个人信息的“例外”合法性基础的空间有限，但获取海量个人信息主体的同意似乎又缺乏可行路径。如企业认为确有利用个人信息进行AI训练、优化的必要，可考虑选择经匿名化处理的个人信息作为替代方案。除匿名化及知情同意以外，各国监管部门应当就人工智能训练是否可以合理使用已公开个人信息给予更明确的指导。我们理解，对于已公开的个人信息无限制地用于人工智能训练可能会引发比如个人信息主体权利侵害，公开互联网平台不正当竞争等社会问题，但如果对训练数据的使用从技术和自我管理约束中，能够做到不标识个人信息主体或者对公开数据源予以成本补偿等，可能也是促成人工智能训练数据发展与安全平衡的方式之一。

3）技术文档与运行日志要求

2023年《AI法案》折衷草案第11条和第12条规定，高风险AI系统在投入市场前即应制定技术文档，并设计具有自动记录运行日志的能力。一方面，制定技术文档并保持更新的目的在于证明高风险AI系统符合《AI法案》第二章的要求；另一方面，日志记录能力能确保高风险AI系统在生命周期具有一定程度的额可追溯性，并能识别特定的活动。

为每个高风险AI系统配置技术文档与日志自动记录能力，无论是对AI系统提供者，还是高风险AI系统的主管监管部门而言，均具有积极意义。一方面，系统提供者可通过技术文档和自动记录的运行日志，自证其在高风险AI系统投入市场前，已履行完毕相关合规要求例如构建风险管理系统的要求。另一方面，技术文档也可为监管部门提供所有必要的信息，从而协助其判断特定的高风险AI系统是否符合评估要求。

我们理解，制定技术文档有助于AI相关企业构建完善的内部合规体系，明确识别已采取的合规措施与《AI法案》规定之间存在的差异。我国《生成式人工智能服务管理暂行办法》第十九条虽然规定提供者应配合主管部门的监督检查，并“按要求对训练数据来源、规模、类型、标注规则、算法机制机理等予以说明”，和技术文档涉及的为监管部门提供必要信息的功能有相似之处。但是，其本质上是对监管部门偶发的监管活动进行响应的要求。如AI企业期待寻求长期稳定、可持续的发展，在设计、完善内部合规制度体系时，可考虑将制定描述AI系统相关情况（包含AI系统的整体情况，研发、开发环节具体情况，以及投入市场后的更新情况等内容）的文件纳入企业内部合规制度体系当中，不仅有助于企业快速、高效应对监管部门的检查，还有利于企业自证合规。

(2) 构建质量管理体系的义务

根据2023年《AI法案》折衷草案，高风险AI系统提供者应建立、实施质量管理体系。具体而言，如下表所示，该版法案第17条第（1）款规定提供者应通过书面文件的形式（如政策、程序或指令等）系统有序地记录其检测和验证程序、适用的技术规范、数据管理体系、风险管理体系、系统投放市场后监测机制、事故和故障报告、监管配合、问责框架等。

整体上，在三版《AI法案》中，就质量管理体系承担的角色而言，其监管维度与风险管理体系同理，几乎覆盖了高风险AI系统的整个生命周期。从系统设计、开发阶段的质量控制、标准控制，到日常的数据管理和风险管理，再到系统投放市场后的监测制度、事故报告制度、沟通制度等等，质量管理体系将《AI法案》对高风险AI系统在各阶段的各类监管要求进行了有机的嵌套和整合，为高风险AI系统提供者设置了较为清晰、全面的、与预期组织规模相称的较高注意义务。此种全生命周期监管的方式要求提供者在任何情况下均保持合规的严格程度和保护水平，将有助于提供者及时发现系统存在的问题和风险，并采取合理方式避免风险的发生或损害的扩大，以始终将高风险AI系统可能造成的重大风险控制在可接受范围内。

就质量管理体系的要求内容而言，鉴于质量管理体系是企业在实践中广泛采用的标准化实践[2]，三版《AI法案》规定的质量管理体系与立法部门的现有质量管理体系（例如ISO 9000系列标准[3]或特定行业质量管理体系等）存在交叉准用以及动态交互。一方面，对于上述2023年《AI法案》折衷草案第17条第（1）款的内容，相关部门可将其纳入部门立法规定的现有质量管理体系中。另一方面，对于特殊行业既有的质量管理体系构建义务，《AI法案》也提供了部分准用性条款，提供者可直接适用相关特殊行业立法，例如2023年《AI法案》折衷草案第17条第（3）款规定，对于受第2013/36/EU号指令监管的信贷机构，提供者若根据该指令第74条规定落实了内部治理安排、流程和机制的规则，则被视为已经履行了《AI法案》项下建立质量管理体系的义务。

从监管类型来看，尽管我国非常重视标准体系建设，例如《国家新一代人工智能标准体系建设指南》从顶层设计的角度指出加强人工智能领域标准化发展，并出台一系列人工智能伦理、训练、人工标注等方面的安全规范，但我国尚无针对AI系统整体生命周期的质量体系层面的系统监管体系。如果将质量风险比作自始至终悬在AI系统合规管理之上的一把“达摩克利斯之剑”，那么质量管理体系就是紧紧绑住这把剑的绳索。质量管理体系越完备、系统、综合，高风险AI系统提供者对质量风险的把控就越符合预期、合乎规范。因此，基于对AI系统质量规范问题的重点关注，监管部门可通过将普遍实践的质量管理规则纳入现阶段对AI系统的规制范围内，并结合AI系统本身的特殊性予以补充，形成较为体系性的、可供提供者直接参考的质量标准。

2. 投放市场时

(1) 履行符合性评估义务

从监管方式的角度看，《AI法案》对高风险系统采取了事前评估的监管方式，这也是目前国际社会实践中各国对算法进行评估的探索方向之一。《AI法案》规定，在将高风险AI系统投放市场或投入使用前，提供者或第三方评估机构应当进行针对高风险AI系统的符合性评估（Conformity Assessment）。

具体而言，2023年《AI法案》折衷草案第43条详细规定了主体开展符合性评估的规则，其本质是为验证该版法案第三编第二章及相关条款、附录中对高风险AI系统的有关要求是否得到满足的过程。如下表所示，2023年《AI法案》折衷草案中，根据AI系统类型的不同，相应开展评估的主体和具体程序也有所不同。值得注意的是，系统发生实质性修改后，《AI法案》要求相关主体重新进行符合性评估。

符合性评估的监管模式主要呈现以下三方面的特点：

1）因系统而异的分级分类制度

符合性评估作为对高风险AI系统的监管方式，是《AI法案》整体采用风险进路作为监管思路的重要表现。当涉及到不同风险级别的AI系统时，《AI法案》采取不同程度的分级规范模式。不同于针对有限风险AI系统监管措施，《AI法案》对高风险AI系统采取的监管模式呈现出强监管、全生命周期监管和事前评估式监管的特点。

以对质量管理体系的符合性评估为例，在高风险的AI系统中，质量管理尤为重要。这些系统往往应用于决策关键领域，如医疗诊断、金融风险评估或自动驾驶等。对于这些系统，准确性和可靠性至关重要，一旦发生错误，将可能导致严重后果。由此，为了确保系统的输出符合高标准，对于高风险AI系统，严格的质量管理体系的符合性评估必不可少。

相比之下，在低风险的AI系统中，质量管理严格程度相对灵活。这些系统通常应用于日常生活中的辅助工具，如语音助手、社交媒体过滤器等。尽管这些系统的准确性和可靠性仍然很重要，但其可能出现的负面影响也相对较小。因此，在这种情况下，可以灵活调整质量管理措施，以平衡成本和效益。

另外，人工智能的应用场景非常广泛。随着技术的发展，越来越多的行业和领域开始采用人工智能技术，如医疗保健、农业、交通运输、零售等等。显然，如果对所有人工智能产品或服务都适用统一的监管规则，可能会对部分提供者施加过高的合规义务。这可能导致不公平市场竞争，并阻碍创新和发展。因此，有必要根据不同的应用领域和风险级别制定差异化的监管政策，以促进合理的市场竞争和技术创新。

我国早在《网络安全法》《数据安全法》《个人信息保护法》中就确立了分类分级保护制度，为不同风险层级的规制对象适配不同程度的保护或规范制度。而在人工智能领域，秉承《关于加强互联网信息服务算法综合治理的指导意见》的“分级分类安全管理”思路，《算法推荐管理规定》规定了对于算法推荐服务提供者的分级分类管理制度，《生成式人工智能服务管理暂行办法》也明确提出了整体性的分级分类监管理念。

值得参考的是，在制定规范模式和监管政策时，需要综合考虑AI系统的风险级别、应用领域、执行的功能、使用的具体目的和方式，以及涉及的利益相关方。这样可以更好地平衡技术创新与风险管理之间的关系，促进人工智能的可持续发展并最大程度地造福社会。

2）自评估和第三方评估相结合

符合性评估包括提供者出于内部控制的目的自行进行的自评估，以及由第三方机构进行的评估。这两种评估方式在适用范围和效果上有所区别。这种区别或与各类高风险AI系统的特点和潜在风险相关。

对于2023年《AI法案》折衷草案附录3列出的涉及生物识别系统以外的高风险AI系统，自评估允许AI系统提供者主动承担责任，监控和管理其系统的合规性。通过自评估，提供者可以更好地了解和掌握系统的特点，根据自身业务需求进行调整和改进。对于一般的高风险AI系统，这种方法具有合理性，因为提供者本身在系统开发过程中具有充分的专业知识和资源，实施自评估符合实际，且为提供者提供了灵活和主动管理的机会。实施自评估也有利于培养提供者的AI素养（AI Literacy）。

对于涉及生物识别的系统以及作为安全组件或产品使用的AI系统，因其可能对基本权利和环境等带来更高的风险或其风险更具有隐蔽性，需要采用更为严格的评估方式。第三方评估提供了一个独立、客观的审查机制，可以对系统进行全面的检查和验证。通过第三方评估，可以减少利益相关方的干预，一定程度上敦促提供者接受社会方面的审查，相对增强公众对AI系统合规性和安全性的信任感。当然，基于已有的欧盟协调标准与通用规范已经覆盖了法案对高风险AI系统的部分要求，出于降低评估成本和提高评估效率的考量，2023年《AI法案》折衷草案也为提供者第三方评估设置了退出机制。

目前，我国对AI系统的监管采取了“自评估+公权力机关评估”的综合治理思路。然而，不论是自评估还是监管部门评估，都存在缺乏具体规则指引的问题。为此，监管部门可参考《AI法案》符合性评估的考量维度，如AI系统评估框架、相关法律衔接问题、是否引入第三方评估问题、评估程序和标准问题、评估可操作性问题，为AI系统提供者明确可遵循的标准、提供自我评估指引，也为监管部门提供科学、规范和有效的依据，提高监管效能。

3）嵌入现有欧盟标准的准用机制

《AI法案》为高风险AI系统列出了一系列需要接受评估的事项，但也同时允许某些特定高风险AI系统提供者在就所有相关事项符合欧盟的协调标准或通用规范的情况下，退出更严格的第三方评估。

这意味着，如果AI系统提供者能够满足适用的欧盟标准或规范，他们可以部分地将这些标准视为等同于符合性评估的要求。这并非豁免AI系统的标准化要求，更不是豁免了提供者的符合性评估义务，而是通过准用已有欧盟标准等规则，提供了一种替代的途径来证明AI系统的合规性。

准用机制的优势在于，其一，准用机制利用已经存在的监管框架和标准，通过结合已有规则，允许AI系统提供者利用现有的标准和规范来证明其系统的符合性，不仅为提供者提供了便利而安全的技术标准，也省去了重复的评估流程，进而避免提供者成本的增加和评估结果的延迟。

其二，通过准用机制，欧盟将现有的标准和规范与AI系统的标准化工作相衔接，可以确保AI系统在技术和操作层面上符合行业最佳实践和欧盟现有的监管要求，实现对新兴技术监管制度的彼此衔接，有利于主管机关的灵活监管。

其三，符合性评估的准用机制也见证了欧盟针对AI系统监管标准化工作的进一步发展。在逻辑上，《AI法案》的准用机制是一种充分利用现有行业立法和协调标准、通用规范，并进一步扩展AI系统标准化工作的方式。法案中专门针对高风险AI系统的要求构成了对已有规则的延伸，或可进一步拉动现有欧盟各项标准规范在AI系统方面的进一步发展。

但是，值得警惕的是，在法律适用层面，当欧盟标准化组织制定的与AI系统有关的标准可以成为准用性规则而具有符合性推定的“特权”时，这类标准化组织在解释规则时显然具有一定的话语权，然而少数的标准化组织是否经过充分的审查进而具备代表广泛主体利益的意见？这一过程是否可能构成欧盟委员会等立法机构对标准化组织实质性的委托或授权？这些问题均值得思考与质疑。

对于我国而言，当前，在我国人工智能相关产品和服务不断丰富的同时，也出现了标准化程度不足的问题。人工智能涉及众多领域，虽然某些领域已具备一定的标准化基础，但是这些分散的标准化工作并不足以完全支撑各领域人工智能系统全生命周期的监管要求。因此，布局、梳理并加快形成人工智能领域的完善的标准体系有利于我国抢占标准创新的高点。但是，在加快以标准化的手段促进我国人工智能技术、产业发展的同时，明确标准制定主体的地位，界定立法与标准之间的关系，厘清标准之间的依存与制约关系，也是在建立标准体系时不可忽略的重点。

(2) 高风险人工智能系统备案义务

《AI法案》提案第51条规定，高风险AI系统投放市场或投入使用前，应在欧盟委员会主导建立的欧盟公共高风险AI系统数据库中备案。《AI法案》折衷草案相较而言，除了新增了特殊部署者的备案义务，还进一步补充了在AI系统发生实质变更（Substantial Modification）时的重新备案义务。实质变更具体指在高风险AI系统投入市场时，发生了提供者在最初的风险评估中没有预见到的变化，且此种变化可能致使高风险AI系统不符合《AI法案》规定的要求，或者这种变化将导致高风险AI系统的预期目的被改变。

我国自《算法推荐管理规定》以来，截至《生成式人工智能服务管理暂行办法》，始终坚持要求具有舆论属性或者社会动员能力的相关主体应履行算法备案义务。但是，我国已初具体系的算法备案和《AI法案》的AI系统备案仍存在一定区别，即透明度义务程度可能存在区别。

具体而言，我国既有的算法备案是面向监管部门的信息公开，即使网信部门在实践中将定期公布算法备案的履行情况，但公众也仅能了解服务提供者名称、备案的算法服务类型以及备案编号等基础内容。相较而言，《AI法案》的高风险AI系统备案义务除了面向监管部门的信息公开，其还暗含了面向社会公众的信息公开。具体而言，《AI法案》不仅规定，高风险AI系统数据库应面向公众公开，还应有助于社会公众阅读、浏览。

向社会公开与AI系统相关的信息有助于社会公众理解AI系统的运行逻辑和预期用途，便于公众的实际使用。相较而言，虽然我国《生成式人工智能服务管理暂行办法》虽然在其第八条规定“提供者应当与注册其服务的生成式人工智能服务使用者签订服务协议，明确双方权利义务”，服务协议事实上也有助于用户了解生成式人工智能服务的运行逻辑、潜在的风险等，但是，这一规定并未具体规定服务提供者在服务协议里应向用户告知的内容颗粒度。有鉴于此，监管部门或可在实践中进一步制定规则或指引，引导、协助相关企业充分履行向用户的信息公开义务。

(3) CE标识标志义务

针对前述符合性评估的认证，《AI法案》自2021年提案起，即引进了欧盟合格认证（Conformité Européenne, “CE”）机制。对存在高风险的AI产品和服务，经评估程序被认定合格后，可贴上CE标志投入使用。CE标识的规则由来已久，其是欧盟对产品安全性的认证，而非质量的认证，由此可知，欧盟将AI系统的安全性置于极高的战略地位，这也符合欧盟计划建立“可信”AI系统环境的美好愿景。

如前所述，我国算法治理领域采取了算法备案的监督方式，但其在行政法上仅属于行政事实行为，监管机关并非对备案算法的真实性、合法性、安全性等作出行政确认。有鉴于此，在未来，针对较高风险的AI系统，监管部门可考虑在备案的基础上增设类似的认证机制；这类机制将有助于保障公共利益，促进企业开发利用可信的AI及AI产业健康发展。

3. 投放市场后

(1) 部署风险监测系统的义务

2023年《AI法案》折衷草案第61条规定，高风险AI系统提供者应采取与AI技术和高风险AI系统相称的方式，建立并执行上市后的监测系统。监测系统应当具有收集、记录和分析由部署者或者其他来源提供的有关高风险AI系统在整个生命周期内的性能的相关数据。提供者可根据上述数据和分析情况，评估高风险AI系统是否在投入市场后仍继续符合评估要求。

除此之外，AI系统始终是动态活跃的系统，而非静止的物品，因此，监测其在投放市场后的性能、状态等各方面情况有助于提供者随时掌握系统的最新动态，在风险到来前及时响应，避免风险扩大，造成更多损失。

《生成式人工智能服务管理暂行办法》第十四条规定，“提供者发现违法内容的，应当及时采取停止生成、停止传输、消除等处置措施，采取模型优化训练等措施进行整改，并向有关主管部门报告”。这一规定明确了违法内容生成式提供者应尽的义务。但是，在此基础上，监管部门还可进一步明确服务提供者发现、识别违法内容的流程，并依此作为提供者是否履行相应义务的判断依据。延伸至生成式人工智能领域外的AI治理领域，和《AI法案》相似，监测系统始终具有其积极意义。

(2) 采取纠正措施等义务

根据2023年《AI法案》折衷草案第21条和22条，高风险AI系统的提供者如果认为或有理由认为其投放市场或投入使用的高风险AI系统不符合《AI法案》的要求，应立即采取必要的纠正措施（Corrective Actions），并尽到相应的通知义务及合作调查义务。具体如下表所示：

2023年6月12日，欧洲议会通过的《通用产品安全法规》（General Product Safety Regulation，“GPSR”）正式生效，并将于2024年12月13日实施。[6]这一法规是对《通用产品安全指令》（General Product Safety Directive，“GPSD”）的修改，引入了处理诸如网络安全风险、新型科技产品相关风险的产品安全规定。与GPSR中的负责人制度、产品召回制度、事故报告制度相呼应， 《AI法案》中对高风险AI系统提供者也设置了记录技术文档、建立质量管理体系义务与上表中纠正措施等义务，契合了GPSR应对AI系统引起的风险、保护消费者等核心目标。

其中，产品安全信息强制报告制度值得重点关注。报告义务是整个产品安全监管中的关键环节之一，在推动相关主体落实产品安全主体责任方面起着关键性作用。[7]目前，实施产品安全信息强制报告制度是国际通行惯例，且各国报告制度呈现日趋精细化的趋势。

对我国而言，我国《生成式人工智能服务管理暂行办法》在第十四条为生成式人工智能服务提供者也设置了发现违法内容时的纠正、整改措施义务，且设置了相应的产品安全信息的强制报告义务，如“应当及时采取停止生成、停止传输、消除等处置措施，采取模型优化训练等措施进行整改，并向有关主管部门报告”，此外，该条还为提供者附加了对使用者相关违法行为的监督、处理、报告责任。此外，《消费者权益保护法》第十九条和《消费品召回管理暂行规定》也对产品召回及报告制度进行了规定。但应对目前人工智能技术的发展与普及，各类新业态的消费模式迅速发展，目前我国的产品安全信息强制报告制度仍未形成完整的体系，相关法律文件的级别仅为部门规章，法律约束力不足，且规定内容在表述上仍然较为模糊，在实践中容易产生寻租空间。因此，我国可在继续完善产品安全法律法规体系的基础上，进一步明确针对人工智能领域的强制报告的内容、程序、时限以及报告对象等，并在法律层级的立法中纳入对新兴技术风险应对的考量。

(3) 配合监管部门开展工作的义务

与欧盟《通用数据保护条例》类似，《AI法案》作为一项欧盟范围内的立法，将对每个欧盟成员国产生法律约束力。在各阶段的草案中，《AI法案》均提出各成员国须建立相应的国家监管机构，以监督《AI法案》的规则在国内的应用和实施。相应的，《AI法案》也为提供者设置了需要配合上述监管机构开展工作的义务。

综上所述，《AI法案》对高风险AI系统提供者设置了种类繁多的监管要求。尽管目前对我国AI系统监管思路来说，欧盟拟议的《AI法案》并不是我国搭建治理结构的唯一框架或参考，且自2021年《AI法案》提案发布之日起，部分监管要求在实践中存在较多争议，如数据质量要求、准用欧盟协调标准等等，但是，《AI法案》的提出和讨论，确实从整体上为高风险AI系统的治理提供了体系化的、基于风险的治理模式和精细化的监管要求，也为这类主体提供了在开发AI系统时可以实施的核心原则的示范，尤其是可以为人工智能监管的发展赋能的符合性评估等制度，对我国进一步细化对人工智能系统监管措施而言具有较高的参考价值。

(二) 有限风险人工智能系统的主要监管制度

针对有限风险的AI系统（Certain AI systems）的监管，《AI法案》对其提出了透明度义务要求，具体表现在以下几个方面：

2021年《AI法案》提案52条规定有限风险AI系统的特殊/额外透明度义务，2022年《AI法案》妥协版本对此进一步完善，2023年《AI法案》折衷草案对此无更新。根据2021年《AI法案》提案序言5.2.4的解释，透明度义务旨在应对有限风险AI系统的具体操纵风险（Specific Risk of Manipulation），保障人们能够作出知情选择或退出特定场景。下表将从义务主体、义务内容和例外情形等方面拆分有限风险AI系统的透明度义务。如“全球人工智能治理大变局之欧盟人工智能治理 监管框架评述及启示”一文所述，有限风险的AI系统包含生物特征分类系统、情绪识别系统等。

不同类型的有限风险AI系统的透明度义务的内容可以从义务主体、义务内容和例外情形等方面进行区分，具体如下表所示：

除第52条规定的透明度义务之外，2023年《AI法案》折衷草案还要求有限风险AI系统遵守第4a条1d的一般原则的透明度义务，即AI系统的开发和使用方式应允许适当的可追溯性和可解释性（Traceability and Explainability），同时使人类意识到他们与AI系统的交流或互动，以及适当告知用户该AI系统的能力和限制，并告知受影响的人他们的权利。

三、人工智能创新激励制度—— 人工智能监管沙盒（Regulatory Sandbox）

(一) 监管沙盒制度总览

监管沙盒制度为英国金融行为监管局（Financial Conduct Authority）于2015年为监管FinTech（金融科技）及相关创新产品应运而生的一项监管措施，监管沙盒旨在“建立一个安全空间，企业可以在其中测试创新性的产品、服务、商业模式和提供机制，而不会因从事所述活动而立即招致通常的监管后果”[8]。虽然目前很多国家例如美国、澳大利亚、新加坡等已采取了类似的监管沙盒制度，但该制度初面市场时仍为一项较为大胆地、相对创新性地监管措施，原因来自于监管沙盒制度的逻辑基础：一为破坏性创新（disruptive innovation），二为适应性监管（adaptive regulation）[9]。

金融科技的技术多样化和其自身快速发展与变革的特征决定了金融科技初创企业（尤其是中小企业）在产品设计或业务运营之初往往无法承担繁重的监管合规义务，这将会严重阻碍其技术创新；但另一方面，自由放任的监管态度又无法阻止新兴的金融科技的肆意发展、对公共社会利益及国家安全等方面的潜在系统性风险。而通过监管部门设置统一的准入限定性门槛，使得沙盒参与者在限定的运行期间、以竞争但资源共享互通的模式，利用模拟真实市场环境开展业务测试，最终向市场推广产品，对监管者和金融科技监管沙盒的参与者均有益处。对监管者而言，沙盒有助于其更好地理解金融科技的创新逻辑与知识，从“治理主体”转变为“协商主体”有助于其尽早发现对新兴技术存在的监管盲区，推动监管创新。而金融科技监管沙盒的参与者被允许在受控环境下测试其产品或服务，可以更好地了解与把握监管框架和趋势，有助于减少技术开发阶段因监管不确定性带来的可能损失与合规成本。

然而，因在监管沙盒制度下传统意义上利益对立的两面主体需要共同合作、互利互惠，随之也产生了一系列问题，例如[10]：

• 沙盒项目的准入标准/要求界定过严可能会直接排除抱有优秀创新计划的初创企业，标准界定过松也会招致不严肃、无关紧要的初创公司，从而浪费沙盒项目的时间与资源，破坏沙盒的目的；
• 沙盒项目的适用范围可能过于有限或存在滞后性，仍会阻碍全面地测试新技术的潜能；
• 监管沙盒旨在为初创企业提供一个安全的空间，以测试其产品和服务，初创企业无需面对全部监管合规负担。然而，这可能导致监管的不确定性，初创企业不知道离开沙盒后将面临哪些具体的监管要求。这种不确定性可能阻碍需要为未来做规划的初创企业，使其不愿投资于可能无法满足监管要求的产品或服务；
• 监管沙盒可能创造一种环境，使金融科技初创企业能够利用监管漏洞获得相对于例如银行和金融机构的成熟市场主体的竞争优势，可能产生对消费者、公共利益、国家安全的系统性风险。

由此可见，监管沙盒制度本身固有的模糊性与流动性决定了该制度在实践中必然会要求监管部门做出进一步解读或指示，同时，不同国家因政策导向与对某一领域的监管或鼓励趋势与态度均存在较大差异，利用监管沙盒制度管制何种行业、何种技术为佳同样需要监管部门进一步举措明确。

(二) 设立人工智能监管沙盒的初衷与立法思路的转变

2023年《AI法案》折衷草案序言第（72）条列明了AI监管沙盒的（“AI监管沙盒”或“沙盒”）立法初衷：即AI监管沙盒的目标应是通过在AI系统开发和上市前阶段建立一个受控的实验和测试环境来促进AI创新，以确保创新的AI系统符合《AI法案》和其他相关的欧盟与成员国的法律规定。对于监管部门而言，监管沙盒可以增进其对技术发展的理解，改进监管措施，并向AI系统开发人员提供指导，监管部门也可在此受控环境中针对创新型AI系统进行更多的监管学习与理解，为未来法律框架的修订提供思路。针对潜在的AI系统提供者而言，受控的安全试验环境可以使其快速推进AI系统的测试与开发，也可以为其提供更多的法律确定性。尤其针对中小企业、初创企业而言，AI监管沙盒可以消除资源与技术障碍，使得其能更加积极地参与创新型AI系统的测试与开发，贡献其经验与专业知识。

2023年《AI法案》折衷草案规定的AI监管沙盒制度具有如下突出特点：

从上述制度不难看出，2023年《AI法案》折衷草案对于设立AI监管沙盒制度、在监管部门与市场主体之间建立有效合规沟通机制等方面持积极态度，欧盟委员会将基于《AI法案》的相关规定，从设立、开发、实施和监督AI监管沙盒等方面出台更为细致地规定，以规范沙盒准入标准、申请程序、选择与退出沙盒以及参与沙盒各方的权利与义务等事宜，以解决AI监管沙盒如何在欧盟层面得到一体协调化适用问题。

然而，部分学者对AI监管沙盒是否能理想化落地提出了一些疑问[11]，例如：

1. 人工智能监管沙盒仅适用于人工智能系统的开发与上市前的有限时间段

就AI技术的开发与应用，换言之，AI技术的创新与监管两个方面，AI监管沙盒均应当是一项以保障技术安全为优先的监管措施与前提。由于AI系统具有快速更新与无法提前预期后果的自我学习能力的特性，当AI系统上市之后即脱离了AI监管沙盒的管控，即便当某项AI系统退出监管沙盒时，相关监管部门会出具一份合规退出报告书（exit report），以表明AI系统，特别是高风险AI系统已满足了相关合规要求，其他市场监管部门在对AI系统进行符合性评估时也应参考退出报告书的内容，但这并未从根本上排除或有效控制AI系统本身固有的无法预期性和可能衍生的新型风险。虽然AI系统离开监管沙盒后并非处于完全不受任何规范限制的状态，AI系统的提供者仍需履行《AI法案》规定的相关合规义务，但监管沙盒的试验性质及其“有限空间、有限技术及有限测试时间”的特征可能并不能覆盖AI系统上市后面临的数据处理场景的复杂与多样性，AI系统在沙盒测试环境下也可能无法有机会与其他市场上已经较为成熟的AI系统与互联网环境进行互动与耦合，一旦AI系统离开AI监管沙盒的“温床”，对于国家安全、社会公共利益以及消费者个人权益的影响亦是一项未知谜题。

2. 加入沙盒不代表责任的完全豁免，企业自证善意合规实则增加负担

欧盟虽然通过设立监管沙盒机制为促进创新提供了立法背书，但却对沙盒参与者可能面临的法律责任配以有限的保护机制。2023年《AI法案》折衷草案第53条（4）明确规定，拟参与AI监管沙盒的提供者仍然应就沙盒中的试验对第三方造成的任何损害承担相关适用的欧盟和成员国层面的法律法规项下的责任。可以看出，即便AI监管沙盒的主旨是促进与激励AI的创新，但沙盒内并非法外之地，参与沙盒的AI系统提供者仍需注意规范测试、训练AI系统时的各项操作，并及时就可能存在的“灰色地带”向监管部门寻求意见，保持流畅的沟通机制，及时采取替代性方案或缓释措施，以避免产生法律责任。

与此同时，2023年《AI法案》折衷草案就上述法律责任的承担提议了一项折中操作：即若AI系统的提供者系完全按照其与监管部门就加入沙盒项目达成的计划条款（Agreed plan）行事，并且善意（Good faith）遵从监管部门的相关指导，此种情形下若对第三方造成任何损害，监管部门不会就AI系统提供者违反《AI法案》的行为进行罚款。本条新增内容看似是一种妥协后的法律责任“豁免”，但在实践中可能会面临诸多问题：例如，企业需要自证AI系统的开发、测试、训练等在各个方面均符合事先约定的计划条款，虽然约定的计划通常会就监管部门与提供者双方的权利与义务进行约定，然而参与沙盒项目的AI系统可能未必来自单一提供者，在训练AI系统的时候可能存在需要与其他提供者的AI系统进行耦合、互交互联的情形，对于AI系统自身学习而产生的后果甚至是侵权行为通常无法事先预期、区分与规范，而企业仅能尽最大限度确保AI系统的开发与训练的各项技术安全措施等合法合规，对此某一提供者需要自证行为合规性可能会花费大量的时间与经济成本，相关AI系统的训练与开发也需同步暂停，最终效果可能会使得更多持有新型想法的初创企业畏惧沙盒制度，阻却创新试验的积极性。

(三) 人工智能监管沙盒制度对中国监管实践的参考与启示

2017年国务院印发的《新一代人工智能发展规划》[12]已经提到要统筹布局AI创新平台，包括AI开源软硬件基础平台、群体智能服务平台、混合增强智能支撑平台、自主无人系统支撑平台、AI基础数据与安全检测平台，同时促进各类通用软件和技术平台的开源开放。此后，《关于加快场景创新以人工智能高水平应用促进经济高质量发展的指导意见》《网络安全标准实践指南——人工智能伦理安全风险防范指引》《生成式人工智能服务管理暂行办法》等法律法规均对上述开源开放合作的精神提出了具体回应，例如将大力支持专精特新“小巨人”、独角兽、AI初创企业等积极开展场景创新，鼓励算力平台、共性技术平台、行业训练数据集、仿真训练平台等AI基础设施资源开放共享等等。从促进与激励技术创新角度，上述纲领与初衷与设置AI监管沙盒的意图具有相似之处，即打造一项技术与资源共享互利认知，以加速积累的技术能力与海量的数据资源、巨大的应用需求、开放的市场环境有机结合，形成我国AI发展的独特优势。[13]

但是将类似AI监管沙盒制度嵌入我国现行AI规范法律框架中，对于监管部门与企业均提出了挑战：

对于监管部门而言，需要就沙盒的准入资质、申请与挑选“合格”AI技术的程序、AI技术/项目退出沙盒、结束试验的合规性评估要点等方面确立统一的规范制度，对于在沙盒中可能存在的技术耦合进行风险评估（例如是否允许交互耦合、耦合的程度等），沙盒试验环境的信息网络安全措施由哪一方保证落实（监管部门或另行指定具有技术能力的第三方）也需要进一步研判，同时需要就发生数据安全事件、信息泄露、损害国家安全、公共利益、个人主体权益时的缓释措施与救济方案进行提前预设预期等等。

对于企业而言，监管沙盒制度带来的共享资源与技术支持虽然会推动创新型企业、中小企业的AI技术研发，但在缺少明确的立法框架（包括参与沙盒的各方权利与义务）与激励机制的前提下，市场参与度可能并不会达到立法预期效果，相比促进企业自身的技术沿革与发展而言，企业可能更加担心潜在地合规成本甚至是违法风险。此外，将新型技术投入至共享平台中也可能带来商业秘密、知识产权、算法算力专业知识等方面的泄露与抄袭，企业亦会担心自身的技术产品因此失去市场竞争力而不愿参与沙盒项目。此外，基于沙盒内其他AI技术而进一步得到开发、训练、测试的技术，如在未来投入市场后存在侵权行为，认定责任主体相对复杂困难也会是企业在加入沙盒之前考虑的问题之一。

此外，同上文所述，AI监管沙盒制度如果仅适用于AI系统在上市前的开发与训练，基于AI系统自身学习与训练效果的不可预期性，事前监管仍存在滞后性，当AI系统上市之后即会面临更加复杂地真实世界场景与问题，不可预知地风险也会随着AI系统自身调节、训练与升级不断产生。对此监管部门可以考虑将AI监管沙盒的监管、指导期间延伸至相关AI系统上市后一定时间，这对于监管部门与企业双方而言均是一种交流与互惠互利的有效渠道，监管部门可以了解到AI系统上市后可能产生的问题与风险，从而加快修订有关规范制度，出台新行业标准以更加全面、迅速地对新风险做出立法应对，企业也可以就AI系统在真实世界应用过程中产生的合规问题与监管部门及时沟通，从源头做好合规整改；双方将就保护国家安全、造诣与提升公共利益方面共同挥发自身的角色与作用。

四、人工智能监管的未来方向

(一) 设置安全标准或法律标准

我国目前阶段对于AI的治理规范主要集中于确保AI的安全性、使用的透明性、算法的可解释性以及符合伦理性等方面，已初步形成了包含法律、部门规章、地方性法规、国标、行业自律标准的多层次治理规范结构，在标准体系建设方面，例如国家标准化管理委员会等五部门印发《国家新一代人工智能标准体系建设指南》《人工智能伦理安全风险防范指引》《生成式人工智能预训练和优化训练数据安全规范》《信息安全技术生成式人工智能人工标注安全规范》等标准已经为AI的开发、测试、运行提供了指导性思路。而拓展中国AI发展的潜力与市场的前提是市场主体可以依赖相对细致与健全地技术标准与安全标准，按照既定的规则履行合规义务，尤其是若参考欧盟立法与监管的评估审查思路与逻辑，如何为一项发展迅速又具有固有不可预测性的技术从事前节点制定技术标准与安全标准将系监管部门首要考虑的问题之一。其次，正因为AI技术涉及的数据种类与行业多样，各行业主管部门也应对本行业内特有数据处理场景及相关AI技术/系统出台标准文件为企业提供参考。第三，在选择制定强制性标准或推荐性标准文件方面，主管部门需要考虑企业在实践中落地标准要求的切实可能性、合理性与可行性，相对较严格的法律标准或强制性标准反而可能会阻却AI在我国开发与应用的进程。

(二) 进一步落实动态平衡的要求

欧盟《AI法案》旨在通过监管和促进发展的动态平衡，确保AI技术的合规性与可持续发展，在保障公共利益和个人基本权利的同时，推动AI技术的创新与运用。目前，我国也已经出台多部相关的法律和政策性文件，如《人工智能伦理安全风险防范指引》《新一代人工智能发展规划》《关于加快场景创新以人工智能高水平应用促进经济高质量发展的指导意见》等，在强化风险监管的同时，坚持推动AI技术的创新发展。虽然欧盟《AI法案》通过制定具体的规定和机制用于满足这种平衡，但在实践中，动态平衡的实现仍具有一定的挑战性，具体而言，对于AI领域的监管，监管措施既不能过度严苛，也不能过于宽松，同时要具备一定的灵活性。过于严苛的监管措施会限制AI技术的创新，给相关义务主体造成较重的合规负担；过于宽松的监管措施会导致AI技术滥用，无法实现监管效果；固定且僵化的监管将无法满足AI技术的不断发展变化的现实要求。自《AI法案》提案发布后，欧盟乃至世界范围对此具有义务过于严苛、不利于技术发展的负面评价。而欧盟在数次谈判和修订中也尽其努力，降低基于AI系统监管而对AI技术及产业发展带来的负面效应。

目前，我国仍处于对于AI领域的探索阶段， 许多新兴技术还无法做到准确的掌握和运用，未来国内AI的发展方向也无法准确预知，因此，对于AI领域的监管实际上无法且无需做到明确且清晰，需要保留一定的开放性。我们理解，我国最新出台的《生成式人工智能服务暂行管理办法》基于风险分级分类的思路和制度已经为此后基于生成式人工智能服务乃至AI技术的发展预留了动态平衡监管的空间。在风险分级分类的基础上，监管部门可依据实际情况适时调整风险分级分类清单，实现AI系统或服务在风险等级上的动态调整，在“保安全”的基本要求不变的情况下促使AI技术最大程度迸发其活力。

(三) 监管措施或可更新：“以AI监管AI”

无论是欧盟《AI法案》，亦或是我国将于2023年8月施行的《生成式人工智能服务管理暂行办法》，在为服务或系统提供者施加合规义务时，仍是以传统的监管措施为主线。例如，安全评估、符合性评估均以评估为核心，同时具备国家评估和自评估两种要求；算法备案实质上为一种行政事实行为，属于行政行为在算法治理领域的具体应用。但是，传统的监管手段往往以被监管者特定时间内较为固定的事实基础为依托，而基于AI技术和AI系统自我学习、不断变化的特性，在对其监管时若仍仅采取传统的监管手段，可能无法随时应对AI系统发生的新变化和新风险。同时，相对传统的活动而言，AI系统的处理行为对人类而言更具不可知性。

为了解决AI系统在高速发展的过程中可能引发的等多样问题，尤其是大模型引发的AI伦理等问题，在未来，企业或监管部门或可采取以“AI监管AI”的方式，将人类的监管逻辑转换为机器可读的指令，构建一个“与人类水平相当的、负责模型对齐的‘AI研究员’”。例如，在判断某AI系统是否存在显著风险时，监管部门可考虑设计特定的评估AI系统，用以判断被评估的AI系统是否具备相应的风险实时监测能力。

值得注意的是，OpenAI于近日创建了一个名为Superalignment的研究团队，并计划打造一个如前所述的“AI研究员”，并准备开展一系列诸如开发可扩展的训练方法等工作，从而打造一个解决超级AI对齐的“AI研究员”。日后，OpenAI对此的工作方法论和阶段成果均可为社会各界提供新鲜能量。[14]

(四) 人工智能伦理治理的发展

欧盟致力于制定人工智能治理规则的出发点之一，就是旨在通过制定明确的规则和标准来促进相关主体开发和使用负责任且合乎道德的人工智能。我们可以在欧盟《AI法案》的各项规则中发现其实现伦理治理的思路，例如，《AI法案》要求设计值得信赖的人工智能（Trustworthy AI），这体现了欧盟致力于为人工智能系统设立一个更为宏观的价值标准，希望通过将《欧盟基本权利宪章》（European Union Charter of Fundamental Rights）及以人为本的价值观、道德确立为更高级别的框架，以避免人工智能系统对公平、非歧视、保护隐私等社会权利等人类普世价值的褫夺；再如，《AI法案》要求培养所有利益相关方的人工智能素养（AI Literacy），将其视为推动人工智能技术得以正确使用和发展的必然要求，也体现了欧盟对人工智能技术发展的价值引导思路。

简言之，《AI法案》的伦理治理思路就是尽可能地实现人工智能与人类伦理在最大程度上的对齐（Alignment），即在人工智能系统的设计、开发和应用中，要确保人工智能系统与人类价值和期望一致，以促进人工智能技术的正确、负责和可持续发展，避免人类利用人工智能的初衷被与人类思维存在差距的算法规则吞噬。

对此，我国早在2017年就发布了《新一代人工智能发展规划》[15]，指明了人工智能可能带来的冲击法律与社会伦理等问题。目前，我国人工智能伦理治理呈现横向立法格局，《科技进步法》《个人信息保护法》《数据安全法》《生物安全法》等法律法规和《科学技术活动违规行为处理暂行规定》等相关制度均提出重视科技伦理治理的核心思路，科技伦理治理也随着国家科技伦理委员会的成立进入新的阶段。2021年发布的《新一代人工智能伦理规范》体现了我国将伦理道德融入人工智能全生命周期，为从事人工智能相关活动的自然人、法人和其他相关机构等提供伦理指引的立法倾向。2022年发布的《关于加强科技伦理治理的意见》我国首个国家层面的科技伦理治理指导性文件，为加强科技伦理治理划定了“红线”和“底线”[16]，将科技伦理审查和监管制度确立为贯穿人工智能生命周期治理的关键一环。2023年我国还发布了《科技伦理审查办法（试行）（征求意见稿）》，对存在较高伦理风险的科技活动实施清单管理，并建立伦理审查结果专家复核机制。

目前，我国也在努力追求人工智能与人类伦理在最大程度上的对齐，“科技向善”的人工智能伦理治理思路日益清晰。从立法框架而言，我国目前人工智能伦理治理呈现横向发展格局，可考虑在立法过程中为行业立法留出足够空间，以构建更为纵深的各行业、各领域的伦理治理格局。从规范范围而言，我国可考虑进一步延伸对人工智能系统全生命周期的认定和规范，让所有相关方从编写第一行代码开始都有意识地设计负责、安全、值得信赖的人工智能系统和产品。从规范标准而言，我国在考量人类普适性价值同时，应立足我国科技发展的历史阶段和社会文化特点，限制不符合伦理的行为，促进人工智能系统高水平安全发展。从配套制度而言，我国应当加强对所有相关主体的人工智能伦理的教育和宣传，提高社会大众、从业人员和决策者的意识和理解，并加强对人工智能伦理原则和实践的培训，使相关人士具备认识和解决人工智能伦理问题的能力，推动人工智能技术的正确应用和发展。只有尽可能通过全方位发力，才可以建立起个体对人工智能的信心，并鼓励以安全且有益于社会的方式设计和使用人工智能技术。

感谢实习生刘阳、王艺捷对本文作出的贡献。

扫码订阅“金杜律师事务所”，了解更多业务资讯