2021/08/30

积跬步,至千里——算法治理之互联网信息服务算法推荐管理

作者:宁宣凤 吴涵 陈胜男 屈尘 张子谦

继《数据安全法》及《个人信息保护法》等法律法规从一般规则层面概括性地对数据新技术的开发应用、自动化决策等的公平公正性进行总体性规范[1]后,国家网信办于2021年8月27日发布了针对互联网信息服务算法推荐的专门管理规范——《互联网信息服务算法推荐管理规定(征求意见稿)》(以下简称“《规定》”)。相比于此前法律法规层面对于算法监管的总体、概括性要求,《规定》以互联网信息服务为基础,从算法的公平公正及信息内容角度对算法推荐服务提出了各项具体细化的要求,反映了有关部门对于数字产业监管愈发深入,已从对于算法问题所凸显的法律价值层面的监管渗透到对于算法应用过程的技术性监管

同时,《规定》还尝试在监管策略上对算法推荐服务建立起一套流程监管体系,在进行实体规范的同时,以程序化的方式保障算法推荐服务应用的向善性。相比于国外在算法治理统一规则方面的尝试(例如欧盟在今年四月颁布的《人工智能法案》,具体可见我们此前发布的文章《算法治理系列之——智能时代的算法治理》),《规定》充分考虑了国内当下对于算法监管治理的理论与实践现状,采取了“专题性”的规则设定思路,在监管要求上将更具针对性和灵活性。

一、 《规定》的适用范围及规制对象

根据《规定》第二条,《规定》主要适用于在中华人民共和国境内应用算法推荐技术提供互联网信息服务。

首先,对于“算法推荐技术”的范围,《规定》从算法适用的功能场景及所应用的技术类型出发,明确了其包含应用生成合成类、个性化推送类、排序精选类、检索过滤类、调度决策类等算法技术:

  • 生成合成类算法:我们理解,该类算法基于深度学习技术拟合一种概率分布,从而合成或生成文本、语音、图像等文件,如利用大数据、人工智能等技术自动合成新闻、博文、帖子、评论等信息。该类算法技术同样可能适用于AI换脸APP涉及的“深度伪造”与“深度合成”等场景。

  • 个性化推送类算法:我们理解,该类算法通过人工智能分析和过滤机制对海量数据进行深度分析,可以实现信息内容与用户的精准匹配,例如线上购物软件通常可应用该算法,基于用户喜好为其推荐可能喜欢、感兴趣的商品。

  • 排序精选类算法:该类算法可以将一串资料依照特定方式排序,例如搜索引擎对搜索结果进行排序展示。

  • 检索过滤类算法:该类算法可以基于用户需求或法律要求,从可行的决策(推荐)方案中过滤出合适的推荐结果,例如可用于自动识别敏感字词。

  • 调度决策类算法:该类算法可以在资源有限但有多个进程同时发出请求的情况下,决定合适资源使用者,如作业调度算法、进程调度算法等。典型场景如网约车平台调度算法向乘客附近的网约车司机派单,并为司机与乘客提供信息撮合服务。

其次,《规定》对于算法推荐技术的类型在定义中采用了非穷尽列举的方式。从内容上看,《规定》实质规制的算法类型并不局限于上述算法类别。例如,《规定》第十八条强调,算法推荐服务提供者向消费者销售商品或者提供服务的,不得利用算法在交易价格等交易条件上实行不合理的差别待遇等违法行为。该规定剑指当下平台经济中的“大数据杀熟”热门问题,虽然《规定》指出价格歧视行为是算法基于消费者的偏好、交易习惯等因素进行的决策,但“大数据杀熟”除推荐算法外,不排除还会应用到定价类算法,因此《规定》实际适用范围可能会被扩大。

此外,《规定》将算法推荐技术的监管场景限定于“互联网信息服务”范畴,而根据《互联网信息服务管理办法》:互联网信息服务是指通过互联网向上网用户提供信息的服务活动,包括经营性互联网信息服务与非经营性互联网信息服务。可见,互联网信息服务仍可能涵盖较大范围的线上服务场景,无论是网站还是App、是提供电子商务服务还是社交娱乐服务,只要涉及以互联网为媒介向用户提供信息,则会落入互联网信息服务的范围内。

二、 算法推荐服务的监管原则与规则

《规定》在第四条与第六条中提出算法监管的主要原则——公正公平、公开透明、科学合理、诚实信用以及内容向善原则,并以此为基础在后续条文中进一步明确具体的监管规则。纵观《规定》全文,其对于算法监管细则可主要分为两类,一类是对算法推荐服务提供者提出的新增要求,另一类是在既有法律法规规章基础之上对涉及算法场景的细化要求,因此前者对应的罚则为《规定》所直接规定的法律责任,而后者的法律责任则是需要按照既有的法律、行政法规和部门规章的规定进行处理。本章节将对上述算法监管原则及相应的细化规则进行梳理和总结,以为公司提供指引和参考。

1. 公正公平、科学合理、诚实信用

上述原则要求算法推荐服务提供者在为用户提供服务时一方面应当保证对不同用户所提供的服务的平等性和合理性,避免歧视对待;另一方面也应确保服务本身符合商业道德要求,防止造假、欺诈、利用信息不对称实施欺骗等现象。

根据《规定》,算法推荐服务提供者应当从以下方面落实上述原则:

要求

罚则

  • 定期审核算法模型的公德伦理性

应当定期审核、评估、验证算法机制机理、模型、数据和应用结果等,确保未设置诱导用户沉迷或者高额消费等违背公序良俗的算法模型。

  •  加强用户模型和用户标签管理

不得利用违法和不良信息关键词生成用户标签或将其记入用户兴趣点,并据以推送信息内容;不得设置歧视性或者偏见性用户标签。

  • 禁止流量造假、流量劫持

不得利用算法虚假注册账号、非法交易账号、操纵用户账号,或者虚假点赞、评论、转发、网页导航等,实施流量造假、流量劫持。

  •  禁止网络操控

不得利用算法屏蔽信息、过度推荐、操纵榜单或者检索结果排序、控制热搜或者精选等干预信息呈现,实施自我优待、不正当竞争、影响网络舆论或者规避监管。


  • 警告、通报批评,责令限期改正。

  • 拒不改正或者情节严重的,责令暂停信息更新,并处五千元以上三万元以下罚款。

  • 构成违反治安管理行为的,依法给予治安管理处罚。

  • 构成犯罪的,依法追究刑事责任。

  • 劳动者工作调度算法,应保障劳动者合法权益

算法推荐服务提供者向劳动者提供工作调度服务的,应当建立完善以下算法,保障劳动者权益:

(1)   平台订单分配

(2)   报酬构成及支付

(3)   工作时间

(4)   奖惩等

  • 定价或其他交易条件算法,应保障消费者合法权益

不得根据消费者的偏好、交易习惯等特征,利用算法在交易价格等交易条件上实行不合理的差别待遇等。


按照有关法律、行政法规和部门规章的规定予以处理。


2. 公开透明

算法的透明度原则是国际社会在进行算法监管时所普遍要求的原则之一。算法的公开透明、可解释性一方面可以保障作为用户或者消费者的算法使用者的知情权,另一方面有助于算法服务提供者自证算法合规,例如算法服务提供者为证明其算法并未设置诱导用户沉迷或者高额消费等违背公序良俗的模型,或者并未根据消费者的偏好、交易习惯等特征在交易价格上实行不合理的差别待遇,其需要对其的算法逻辑、基本原理和机制进行解释。除此之外,算法的公开透明原则也有助于对算法进行监测和审核,以确保其运行状态和输出结果在预期范围内且相对可控。

《规定》中为落实算法的公开透明原则提出细化要求,企业可从以下方面加强算法的公开透明程度:

要求

罚则

  • 建立健全相关制度和规则

(1)落实算法安全主体责任,建立健全以下制度:
  • 用户注册制度;

  • 信息发布审核制度;

  • 算法机制机理审核制度;

  • 安全评估监测制度;

  • 安全事件应急处置制度;

  • 数据安全保护和个人信息保护等管理制度。

(2)制定并公开算法推荐相关服务规则。

(3)配备与算法推荐服务规模相适应的专业人员和技术支撑。

  • 加强服务规则的可解释性和透明性

综合运用内容去重、打散干预等策略,并优化检索、排序、选择、推送、展示等规则的透明度和可解释性,避免对用户产生不良影响、引发争议纠纷。

  • 公示算法相关情况

以显著方式告知用户其提供算法推荐服务的情况,并以适当方式公示算法推荐服务的基本原理、目的意图、运行机制等


  •  警告、通报批评,责令限期改正;

  • 拒不改正或者情节严重的,责令暂停信息更新,并处五千元以上三万元以下罚款。

  • 构成违反治安管理行为的,依法给予治安管理处罚;

  • 构成犯罪的,依法追究刑事责任。


3. 内容向善

根据《规定》第六条,算法推荐服务提供者应当坚持主流价值导向,优化算法推荐服务机制,积极传播正能量,促进算法应用向上向善,同时不得利用算法推荐服务传播法律、行政法规禁止的信息。《规定》对此从多方面进行了细化规定,企业可以参考以下要求完善算法内容合规体系:

要求

罚则

  • 建立违法和不良信息识别机制

加强信息内容管理,建立健全用于识别违法和不良信息的特征库,完善入库标准、规则和程序。


  • 对合成信息作显著标识

发现未作显著标识的算法生成合成信息的,应当作出显著标识后,方可继续传输


  • 建立人工干预与用户自主选择机制

加强算法推荐服务版面页面生态管理,建立完善人工干预用户自主选择机制,在首页首屏、热搜、精选、榜单类、弹窗等重点环节积极呈现符合主流价值导向的信息内容。其中用户选择机制可以包括:

(1)  向用户提供不针对其个人特征的选项,或者向用户提供便捷的关闭算法推荐服务的选项。用户选择关闭算法推荐服务的,算法推荐服务提供者应当立即停止提供相关服务

(2)  用户认为算法推荐服务提供者应用算法对其权益造成重大影响的,有权要求算法推荐服务提供者予以说明并采取相应改进或者补救措施

(3)  向用户提供选择、修改或者删除用于算法推荐服务的用户标签的功能;

(4)  设置便捷的投诉举报入口,及时受理和处理公众投诉举报;建立用户申诉渠道和制度,规范处理用户申诉并及时反馈。

  • 警告、通报批评,责令限期改正;

  • 拒不改正或者情节严重的,责令暂停信息更新,并处五千元以上三万元以下罚款。

  • 构成违反治安管理行为的,依法给予治安管理处罚;

  • 构成犯罪的,依法追究刑事责任。

注:

3(1)与3(2)的罚则为:按照有关法律、行政法规和部门规章的规定予以处理。

  • 违法和不良信息处置机制

(1)  发现违法信息的,应当立即停止传输,采取消除等处置措施,防止信息扩散,保存有关记录,并向网信部门报告;

(2)  发现不良信息的,应当按照网络信息内容生态治理有关规定予以处置

  • 未成年算法推荐服务的特殊保护要求

(1)  通过开发适合未成年人使用的模式、提供适合未成年人特点的服务等方式,便利未成年人获取有益身心健康的信息内容;

(2)  不得向未成年人用户推送可能引发未成年人模仿不安全行为和违反社会公德行为、诱导未成年人不良嗜好等可能影响未成年人身心健康的信息内容

(3)  不得利用算法推荐服务诱导未成年人沉迷网络

按照有关法律、行政法规和部门规章的规定予以处理。

三、 《规定》提出的具体监管手段

在《算法治理系列之——智能时代的算法治理》一文中我们提到,国际社会的算法规制的方式较为多样化,大致可以分为事前、事中与事后三个阶段的监管模式。其中,事前的监管方式主要包括禁止算法使用、备案、影响评估、对AI算法(系统)设计提出要求等;事中的监管机制主要包括要求算法供应商主动持续上报和赋予主管机构对AI算法系统检查和监视权力两种模式;事后的监管机制主要指赋予用户私人诉权或赋予国家权力机关代为行使诉权的救济模式。本次《规定》从监管方式上看似与上述监管思路有所交叉,具体而言包括分级分类、备案、安全评估、配合检查等。

1. 分级分类

根据《规定》第十九条,网信部门将对算法建立分类分级管理制度。企业可以根据下列因素对既有算法进行梳理并进行初步分类分级,以识别出敏感程度较高的算法,并加强对其的审核、监测以满足上述算法推荐服务监管规则的要求:

(1) 舆论属性

(2) 算法的社会动员能力

(3) 内容类别

(4) 用户规模

(5) 算法推荐技术处理的数据敏感程度

(6) 对用户行为的干预程度

2. 备案

在上述分级分类制度的基础之上,根据《规定》第二十条和第二十二条,对于满足特定条件的算法推荐服务提供者,还须履行一定的备案手续,保障执法部门对于企业算法推荐技术应用的干预监管:

要求

罚则

  • 需要进行备案的主体

具有舆论属性或者社会动员能力的算法推荐服务提供者;

  • 备案时间

应当在提供服务之日起十个工作日内;

  • 备案内容

服务提供者的名称、服务形式、应用领域、算法类型、算法自评估报告、拟公示内容等信息;

  • 备案方式

通过互联网信息服务算法备案系统填报;

  • 备案变更

算法推荐服务提供者的备案信息发生变更时,应当在变更之日起五个工作日内办理变更手续;

  • 备案变更

算法推荐服务提供者的备案信息发生变更时,应当在变更之日起五个工作日内办理变更手续;

未按照要求备案或者在报送备案时隐瞒有关情况、提供虚假材料或者通过欺骗、贿赂等不正当手段取得备案的,由国家和省、自治区、直辖市网信部门依法撤销备案,并给予警告、通报批评,责令限期改正;拒不改正或者情节严重的,责令暂停信息更新,并处五千元以上三万元以下罚款。

  • 备案注销

算法推荐服务提供者终止服务的,应当在终止服务三十个工作日前办理注销备案手续,并作出妥善安排;

未按照要求及时办理注销备案手续,或者发生严重违法情形受到吊销互联网信息服务许可、关闭网站、终止服务等行政处罚的,由国家和省、自治区、直辖市网信部门予以注销备案。

  • 备案公示

完成备案的算法推荐服务提供者应当在其对外提供服务的网站、应用程序等显著位置标明其备案编号并提供公示信息链接。

警告、通报批评,责令限期改正;拒不改正或者情节严重的,责令暂停信息更新,并处五千元以上三万元以下罚款。构成违反治安管理行为的,依法给予治安管理处罚;构成犯罪的,依法追究刑事责任


3. 安全评估

在上述分级分类制度的基础之上,根据《规定》第二十三条,具有舆论属性或者社会动员能力的算法推荐服务提供者应当按照国家有关规定开展安全评估。算法推荐服务提供者应当完善算法推荐服务管理机制,对算法推荐服务日志等信息进行留存,留存期限不少于六个月,并在相关执法部门依法查询时予以提供。若相关算法推荐服务提供者未按上述要求完成安全评估或日志留存等义务,则按照有关法律、行政法规和部门规章的规定予以处理。

4. 配合检查

根据《规定》第二十四条第二款,算法推荐服务提供者应当配合有关主管部门依法实施的安全评估和监督检查工作,并提供必要的技术、数据等支持和协助。对于违反者按照有关法律、行政法规和部门规章的规定予以处理。这意味着主管机构在进行安全评估和检查工作时,算法推荐服务提供者可能需要向其提供数据、算法模型等,以供其查验。

四、 结语

《规定》是我国首次专门针对算法推荐建立监管规则,对于算法推荐服务的深层技术性要求反映了执法部门对于网络信息安全治理已经逐渐从统一规则的普适性监管到特定领域和场景的纵深性监管,这也进一步提示企业,未来企业内部的业务合规工作将不再仅聚焦于整体层面的合规内控框架,对于诸如算法应用等具体场景下的技术合规工作也将愈发必要。

如前所述,在《规定》发布之前,已有多部部门法律法规或规范草案对算法及自动化决策等类似技术在不同场景下的应用提出了规范要求,例如《个人信息保护法》第二十四条要求个人信息处理者利用个人信息进行自动化决策时应当保证决策的透明度和结果的公平公正,不得实行不合理的差别待遇;《数据安全管理办法(征求意见稿)》也曾就基于信息收集采取的服务质量与价格歧视行为、采取自动化手段访问收集网站数据、利用用户数据和算法进行的定向推送,以及利用大数据、人工智能等技术自动合成新闻、博文、帖子、评论等行为进行规制。在电子商务领域,《电子商务法》第十八条也规定了类似的“大数据杀熟”条款,而《网络交易监督管理办法》涉及的多个条款,包括搜索降权、下架商品、限制经营、屏蔽店铺等干涉平台经营者自主经营的行为等,以及向消费者发送商业信息等行为,都可能使用算法完成。此外,《国务院反垄断委员会关于平台经济领域的反垄断指南》对平台领域内可能涉及的算法共谋,以及利用算法进行的拒绝交易、限定交易、差别待遇等行为进行规制。在具体的罚则方面,《价格违法行为行政处罚规定(征求意见稿)》还专门规定了“新业态中的价格违法行为”,对就基于算法实施价格歧视的行政处罚进行规定。司法实践中,近期浙江省绍兴市柯桥区人民法院还就某用户与在线旅行平台的“大数据杀熟”纠纷中明确平台作为中介对标的实际价值有如实报告义务,如未践行承诺则可能存在虚假宣传、价格欺诈和欺骗行为。[2] 该案例被视为“大数据杀熟”领域法院判决消费者方胜利的第一案。

这些以往的立法规则、司法实践进一步说明,算法的治理与监管具有较高的多维度价值取向性,一项算法技术的应用将不仅涉及某一部门法领域的监管规则,甚至且往往牵扯多部门、多领域监管规则的“竞合”。在这一背景下,企业更应审慎对待自身算法技术的内部监管与合规,现阶段在进行算法技术开发与应用的内部审查时,在关注《规定》的监管走向和趋势的同时,更应综合考虑其他部门领域的法律法规和监管要求,保障内部审查内容与审查流程的全面性和完整性。

总之,《规定》是我国对算法监管迈出的重要一步,首次系统地从实体与流程监管方面对互联网信息服务场景下的算法伦理与合规提出要求。我们可以期待,未来算法的纵深式监管将愈发趋向于专业化和技术化,在回应监管需求的同时为技术可行性留下操作空间。


[1]例如,《数据安全法》第二十八条规定,开展数据处理活动以及研究开发数据新技术,应当有利于促进经济社会发展,增进人民福祉,符合社会公德和伦理。

[2] https://new.qq.com/omn/20210716/20210716A0ESYA00.html

主要联系人

数字智能

数字创新将引领全球范围的行业变革。数字智能中心的众多资源能够助您正面拥抱和迎接数字革新。

数字智能
Share on LinkedIn Share on Facebook Share on Twitter
    您可能感兴趣

    2021年11月25日,上海数据交易所揭牌成立仪式暨2021上海全球数商大会在沪举行,《上海市数据条例》同日颁布。

    2021/12/02

    Data is the new oil. It's valuable, but if unrefined it cannot really be used. It has to be changed into gas, plastic, chemicals, etc to create a valuable entity that drives profitable activity

    08 November 2021

    在香港回归20周年之际,中国人民银行和香港金融管理局发布联合公告,香港与内地债券市场互联互通合作(“债券通”)正式诞生。债券通上线的初期,仅支持资金的北向流通,即境外投资者可以通过债券通“北向通”投资内地债券市场 更多

    2021/10/18

    今年8月17日召开的中央财经委员会第十次会议指出,“要坚持以人民为中心的发展思想,在高质量发展中促进共同富裕,正确处理效率和公平的关系,构建初次分配、再分配、三次分配协调配套的基础性制度安排”。一个月以来,“三次分配 更多

    2021/10/18

    本网站使用Cookie来增强您的体验并帮助我们改善网站。请参阅我们的隐私政策以获取更多信息。如果您继续浏览网站而不更改设置,我们将假设您愿意收到这些Cookie。您可以随时更改Cookie设置

    有关我们使用哪些类型Cookie的更多信息,请参阅我们的Cookie使用政策