在本系列第一篇《生成式人工智能数据合规研究系列（一）——法律与监管概述篇》以及第二篇《生成式人工智能数据合规研究系列（二）——网络安全篇》中，我们主要进行了关于国内外生成式人工智能（“生成式AI”）数据合规法律和监管环境的梳理，并分析了生成式AI服务提供者在网络安全方面可能面临的风险和防范。承接前两篇内容，我们继续推出本系列研究的第三篇“数据安全篇”。在本篇中，我们将为您梳理和分析企业在开发和运营生成式AI的过程中在数据安全方面可能遇到的法律风险，包括算法风险、训练数据来源风险、生成内容风险以及其他风险，并提出具有操作性的风险防范建议，供相关企业参考。  

一、算法风险及防范[1]

在生成式AI的开发和运营阶段，开发者设计和使用AI技术时，有产生算法偏见、歧视性倾向等不符合科技伦理的算法风险。

针对生成式AI的算法风险，我国在多部法律法规中对算法的设置及使用进行了明确规定。生成式AI技术与深度合成技术在本质上属于同一类技术，在应用场景上存在诸多交叉地带。[2]《互联网信息服务深度合成管理规定》（“《深度合成规定》”）中指明，深度合成服务提供者应当落实信息安全主体责任，建立健全算法机制机理审核、科技伦理审查等管理制度，具有安全可控的技术保障措施。[3]《互联网信息服务算法推荐管理规定》（“《算法推荐规定》”）中也有类似表述。《生成式人工智能服务管理暂行办法》（“《生成式人工智能办法》”）规定，在算法设计、训练数据选择、模型生成和优化、提供服务等过程中，要采取措施防止出现种族、民族、信仰、国别、地域、性别、年龄、职业、健康等歧视。[4]

我们建议通过以下几种方式来保证生成式AI算法模型的安全性、透明性、可解释性和可追责性，防范算法风险：

①　进行算法备案

针对算法可追责性的监管，我国主要采用算法备案的方式。根据《算法推荐规定》第24条 ，具有舆论属性或者社会动员能力[5]的算法推荐服务提供者应当在提供服务之日起十个工作日内通过互联网信息服务算法备案系统填报服务提供者的名称、服务形式、应用领域、算法类型、算法自评估报告、拟公示内容等信息，履行备案手续。根据《深度合成规定》《生成式人工智能办法》，对于涉及具有舆论属性或者社会动员能力的深度合成服务、生成式人工智能服务的算法备案、变更和注销备案的手续按照对算法推荐服务提供者的要求履行[6]。

通过以上规定可知，履行算法备案义务的前提是，需要涉及算法推荐、深度合成或生成式AI服务，还需要具有舆论属性或社会动员能力。

认定某一类型服务或该等服务的提供者是否具有舆论属性或者社会动员能力，目前尚未出台明确的实操指引，因此存在一定的不确定性。但结合我们的实务经验，我们理解对于面向公众提供的生成式AI服务，有较大概率被监管部门认定为具有舆论属性或者社会动员能力，作为服务提供者的企业应当按照要求通过互联网信息服务算法备案系统（https://beian.cac.gov.cn）及时进行备案。在监管实践中，如我们在系列文章第一篇中的梳理，截至今年9月，包括百度、阿里在内的多家头部互联网企业均已对其旗下的大模型产品进行了算法备案。

②　开展安全评估

除算法备案外，生成式AI服务提供者需要对符合监管要求的算法的安全性进行安全评估。

《深度合成规定》要求深度合成服务提供者和技术支持者提供具有以下功能的模型、模板等工具的，应当依法自行或者委托专业机构开展安全评估：

（一）生成或者编辑人脸、人声等生物识别信息的；

（二）生成或者编辑可能涉及国家安全、国家形象、国家利益和社会公共利益的特殊物体、场景等非生物识别信息的。[7]

《算法推荐规定》要求算法推荐服务提供者应当定期审核、评估、验证算法机制机理、模型、数据和应用结果等，不得设置诱导用户沉迷、过度消费等违反法律法规或者违背伦理道德的算法模型。[8]《深度合成规定》《算法推荐规定》《生成式人工智能办法》分别要求深度合成服务提供者开发上线具有舆论属性或者社会动员能力的新产品、新应用、新功能的，具有舆论属性或者社会动员能力的算法推荐服务提供者，提供具有舆论属性或者社会动员能力的生成式人工智能服务的，应当按照国家有关规定开展安全评估。[9]在上述规定所列示的情形下，生成式AI服务提供者应当按照要求进行安全评估。

此外，鉴于上述规定列示的评估情形还包括“具有舆论属性或者社会动员能力”的情形，一旦被认定具备舆论属性或者社会动员能力，根据《具有舆论属性或社会动员能力的互联网信息服务安全评估规定》[10]，安全评估应当重点关注的内容包括但不限于：确定与所提供服务相适应的安全管理负责人等的情况、用户真实身份核验、留存日志信息、对违法有害信息的防范处置、个人信息保护、建立投诉举报制度、协助有关部门调查等。

③　添加内容标识

在算法设置中为用户提供内容标识，可以减少用户对于AI生成内容产生混淆的情况，符合算法透明性的监管要求。《深度合成规定》规定了两种内容标识义务：

1）不影响用户的标识：深度合成服务提供者对使用其服务生成或者编辑的信息内容，应当采取技术措施添加不影响用户使用的标识，并依照法律、行政法规和国家有关规定保存日志信息；

2）显著标识：提供智能对话、合成人声、人脸生成、沉浸式拟真场景等具有生成或者显著改变信息内容功能服务的，应当在生成或者编辑的信息内容的合理位置、区域进行显著标识，向公众提示信息内容的合成情况，避免公众混淆或者误认。《生成式人工智能办法》第12条也规定了对于生成内容按照《深度合成规定》进行标识的要求。

④　进行算法优化

为提升算法的准确性、安全性和可解释性，我们建议生成式AI服务提供者定期对算法进行审核、评估、验证算法机制机理、模型、数据和应用结果等[11]，并根据上述审核评估结果，及时更新、调整算法。另外，生成式AI服务提供者对算法进行更新后，需要在技术层面保证算法的可解释性，并通过在“使用说明”或“服务条款”等面向用户的文件中释明算法运行的原理、更新后的应用结果等，以期让用户免受“算法黑箱”的困扰。

⑤　配合监管部门检查

《深度合成规定》第21条规定，网信部门和电信主管部门、公安部门依据职责对深度合成服务开展监督检查。深度合成服务提供者和技术支持者应当依法予以配合，并提供必要的技术、数据等支持和协助。此外，《具有舆论属性或社会动员能力的互联网信息服务安全评估规定》和《算法推荐规定》中均对服务提供者提出了检查工作中的配合要求。[12]具体而言，提供者应当依法予以配合，按要求对训练数据来源、规模、类型、标注规则、算法机制机理等予以说明，并提供必要的技术、数据等支持和协助。

二、训练数据来源的风险及防范

生成式AI以大型语言模型为基础，需要大量数据才能运行和改进。根据《生成式人工智能办法》中所体现的立法趋势，在确保数据真实、准确、客观、多样的情况下，需要对生成式AI的预训练数据、优化训练数据来源的合法性问题进行评估和分析。

生成式AI的训练数据来源通常包括：

基于合作方的数据集；

基于爬虫的外采数据集；

人工标注数据集；

人机交互数据集[13]。 

基于合作方的数据集来源主要需要关注合作方本身数据来源的合法性，在风险控制中需要以合同等形式约定双方的权利义务。人工标注数据集是指标注人员基于提示，对数据完成不同类型的标注，然后上传到数据库用于数据训练。人机交互数据集指用户输入数据与生成式AI进行交互，并将输入数据用于数据训练。[14]

在这四类数据来源中，爬虫是通过编程来自动实现对目标站点和目标信息的批量获取。作为一项中立的技术，爬虫技术本身并不违法，但是利用爬虫技术爬取的数据合规风险较高，还涉及侵犯著作权、商业秘密等知识产权侵权风险以及构成不正当竞争的风险。

针对爬虫技术的数据来源合法性的风险，生成式AI服务提供者可从以下方面落实合规要求：

①　技术手段

在训练生成式AI利用爬虫技术抓取信息时，我们建议在技术的设定上应当尽量抓取公开数据，对于需要避开或突破被访问网站的技术防护措施才能获取的非公开信息，则不应当抓取，其中要重点防范抓取相似经营主体的主营业务数据，避免构成不正当竞争的风险。此外，建议提前为爬虫技术设置抓取的范围与抓取限制，避免构成侵犯知识产权、竞争权益、个人信息权益等民事权益或构成非法获取计算机信息系统数据罪等网络刑事犯罪。

②　综合评估与定期检查

为减少合规风险，在爬虫技术投入使用前，我们建议生成式AI服务提供者从拟抓取数据的数量、质量、类型、是否具有反爬取设置等方面进行综合评估，对爬虫收集的相关数据与对被爬取网站带来的可能影响进行分析与监测，定期检查自身抓取的涉嫌侵权的数据，并对其采取停止抓取、删除等措施。

③　爬虫协议（robots exclusion protocol）

爬虫协议是指网站可建立一个robots.txt文件来告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取，而搜索引擎则通过读取robots.txt文件来识别这个页面是否允许被抓取。目前爬虫协议在搜索引擎中已被广泛采用并逐渐成为行业共识，且在相关司法判例中被法院认可。建议爬取数据时应当遵循爬虫协议，尊重网站内容提供者对于自身网站中数据被爬取的限制。此外，数据权利人也可能以合同形式约定对数据访问、获取的权限，如果数据抓取违背了合同约定（如爬取了未获授权的数据），则可能承担违约责任，因此也建议在不同的平台、网站爬取数据前，关注相关平台、网站上公开的与数据权利有关的声明、服务条款或其他合同性文件中涉及数据获取的相关条款，如该等条款中明确约定禁止使用平台、网站内相关数据，则不应爬取该等数据。

三、生成内容的风险及防范

生成式AI生成的文本内容连贯且上下文相关度高，但是由于训练数据真实性不佳等问题，生成式AI在生成内容的真实性与生成内容的合法性上均存在挑战，对生成内容审核工作要求较高。

①　生成内容的真实性

以OpenAI推出的ChatGPT和谷歌开发的的Bard等生成式AI为例，该类产品接受了大量的文本语料库的训练，仅能通过已有的数据进行文本输出，并不具备辩别信息真伪的能力，因此可能在使用过程中“自信”地将不正确的信息陈述为事实，即所谓“产生幻觉”，编造虚假信息，具体表现为生成内容与引用内容冲突，产生增加、删改、篡改原文的现象以及生成内容没有事实依据。

生成式AI的开发和运营公司作为内容生产者[15]，在产品生成内容准确性不佳时，应当履行纠偏的义务。目前，行业内的初步纠偏做法为平台审核与用户反馈两道机制。在当前海量数据不断输入及输出的情况下，平台达到一定体量后，仅依靠平台审核存在算力和人力不足的问题。当前企业对于生成内容多在输入、输出时分别设置两道过滤机制，利用算法技术提升内容审核的效率，但是仅依靠算法过滤，对错误内容筛选的准确性欠佳，容易造成大面积误伤。设置算法过滤机制，并建立用户投诉渠道对内容加以人工审核是算法相关立法[16]中体现出的合规方向，也是目前行业实践的初步探索。例如，谷歌表示AI聊天机器人出现的事实错误凸显了严格测试过程的重要性，并称将通过 Trusted Tester 计划启动这一过程，会将外部反馈与自己的内部测试相结合，以确保 Bard 的回应在质量、安全性和现实世界信息的基础性方面达到高标准。[17]

②　生成内容的合法性

生成式AI所输出的内容可能不符合人类价值观，不良信息随机出现和迅速传播的风险增加。虽然生成式AI有文本输入与输出时的过滤机制，但是仅通过敏感关键词设置的过滤系统准确度欠佳且无法识别价值倾向，可能生成违法内容。例如，在首批用户测试中，ChatGPT出现了辱骂用户、表白用户、诱导用户离婚、监视开发人员等言论。

对于该类生成内容的纠偏，目前业界主要以标识、建立投诉机制、内嵌算法过滤防护机制、限制访问次数、人工审核等方式进行。例如，在识别到ChatGPT给出的答复可能存在不合适的内容后，ChatGPT平台内有时会显示“此内容可能违反我们的内容政策，如果你认为这是错误的，请提交你的反馈”。微软必应AI聊天机器人限制用户每日可访问次数：2023年2月17日，微软表示，将为必应人工智能聊天机器人设定每天50个问题的提问上限，每个人仅有五次问答机会。[18]微软对准确性问题的修复方式表明：尽管已经投入使用，事实上人工智能相关服务的提供方也无法完全掌握并控制这些大型语言模型的具体运作。此外，我们注意到，当前对于生成式AI的监管讨论主要集中在以文字生成为主的大语言模型，对于图片、视频等生成内容的管理与纠偏，大多依靠人工审核，对该类生成内容的合规探讨有待技术的升级与法律监管的跟进。

③　生成内容的恶意使用

基于用户不同的使用目的，生成式AI可能被使用在各式各样的场景中，其中也包括恶意使用生成式AI生成的内容，包括但不限于虚假新闻、诈骗、损害他人名誉等违法犯罪或侵犯他人权益的情况。例如，我国监管部门在今年5月份查处了一起利用ChatGPT编造虚假新闻的案件，犯罪嫌疑人涉嫌构成寻衅滋事罪。

对于AI生成内容的恶意使用，应由实施恶意行为的用户承担法律责任，与此同时，在我国“一案双查”[19]的背景下，如未尽到相应的网络安全和数据安全保护义务，提供生成式AI服务的企业也可能被追究法律责任。为进一步避免相关风险，我们建议生成式AI服务提供者设置用户协议或服务条款，通过协议的方式降低因用户非法使用生成内容造成的法律风险；此外，我们也建议生成式AI服务提供者通过设置技术措施对恶意使用行为进行防范，例如，OpenAI为ChatGPT设置了一些内置防护机制旨在防止ChatGPT被用于犯罪活动，这些机制包括拒绝创建shell代码或提供关于如何创建shell代码及逆向shell的具体说明，并标记恶意关键字，以阻止网络钓鱼等非法请求。

四、其他风险及防范

在数据安全合规方面，可能还存在着数据泄露隐患、数据跨境传输合规等风险。

①　数据泄露的风险及防范

一方面，生成式AI的数据来源包含企业内部文件，一旦网络安全遭到破坏，数据泄露风险极大。

另一方面，如果用户向生成式AI系统内发送了敏感数据，那么该数据也会被利用为训练数据，用户提供的信息极有可能在其他场景下被披露，因此在数据安全合规方面，生成式AI运营者需要履行安全管理义务。

建议企业按照法律法规的相关要求，对生成式AI进行相应的安全管理活动，包括但不限于：加强风险监测，发现数据安全缺陷、漏洞等风险时，应当立即采取补救措施；发生数据安全事件时，应当立即采取处置措施，按照规定及时告知用户并向有关主管部门报告；[20]加强对用户发布的信息的管理，发现法律、行政法规禁止发布或者传输的信息的，应当立即停止传输该信息，采取消除等处置措施，防止信息扩散，保存有关记录，并向有关主管部门报告[21]。

②　数据出境的风险及防范

如果生成式AI服务接入境外的生成式AI技术或将运算服务器设置在境外等，涉及到向境外提供训练数据或用户输入的数据，则可能会涉及数据出境问题，在此情况下，生成式AI服务提供者应结合具体业务情况和相关法律规定，酌情选择申报数据出境安全评估、与境外接收方签订标准合同、实施个人信息保护认证等方式保证数据出境的合法合规。

③　训练数据、用户输入数据涉及重要数据时的风险及防范

《数据安全法》第21条规定，“国家建立数据分类分级保护制度，根据数据在经济社会发展中的重要程度，以及一旦遭到篡改、破坏、泄露或者非法获取、非法利用，对国家安全、公共利益或者个人、组织合法权益造成的危害程度，对数据实行分类分级保护。”重要数据是指“一旦遭到篡改、破坏、泄露或者非法获取、非法利用等，可能危害国家安全、经济运行、社会稳定、公共健康和安全等的数据”。[22]

虽然重要数据的识别工作的具体方式仍在探索之中，目前相关行业、地区的目录的制定工作也还在推进，考虑到生成式AI的训练包含海量数据，面向公众开放的生成式AI服务也会涉及收集海量用户输入的数据，我们建议生成式AI服务提供者对重要数据识别的工作进行关注，一旦用于生成式AI训练的训练数据或用户输入的数据被识别或认定为重要数据，生成式AI服务提供者需要对该等重要数据进行重点保护，履行重要数据处理者的相关义务，包括但不限于：明确数据安全保护组织架构；对重要数据进行备份、加密；对生成式AI的数据处理活动定期开展风险评估；在特定情况下申报数据出境安全评估等。

除网络安全、数据安全风险外，生成式AI服务提供者在数据合规方面还将面临个人信息保护方面的合规要求和法律风险，我们将在下期为您继续呈现“个人信息保护篇”，尝试探讨提供生成式AI服务的企业作为个人信息处理者，在个人信息保护方面的风险及应对策略，敬请期待。

注释：

[1] 本研究中的“数据安全”指广义上与数据处理活动有关的所有事项的安全问题，包括基于数据应用的技术相关问题，因此，将算法风险纳入“数据安全风险”的范畴。

[2] 生成式AI技术是指具有文本、图片、音频、视频等内容生成能力的模型及相关技术。深度合成技术，是指利用深度学习、虚拟现实等生成合成类算法制作文本、图像、音频、视频、虚拟场景等网络信息的技术。

[3] 《互联网信息服务深度合成管理规定》第7条。

[4] 《生成式人工智能服务管理暂行办法》第4条第（2）项。

[5] 《具有舆论属性或社会动员能力的互联网信息服务安全评估规定》第2条：本规定所称具有舆论属性或社会动员能力的互联网信息服务，包括下列情形：（一）开办论坛、博客、微博客、聊天室、通讯群组、公众账号、短视频、网络直播、信息分享、小程序等信息服务或者附设相应功能；（二）开办提供公众舆论表达渠道或者具有发动社会公众从事特定活动能力的其他互联网信息服务。

[6] 《互联网信息服务深度合成管理规定》第19条、《生成式人工智能服务管理暂行办法》第7条。

[7] 《互联网服务深度合成管理规定》 第15条。

[8] 《互联网信息服务算法推荐管理规定》第8条。

[9] 《互联网服务深度合成管理规定》 第20条、《互联网信息服务算法推荐管理规定》第27条、《生成式人工智能服务管理暂行办法》第17条。

[10] 《具有舆论属性或社会动员能力的互联网信息服务安全评估规定》第5条：对互联网信息服务提供者的安全评估应当重点关注以下内容：

（一）确定与所提供服务相适应的安全管理负责人、信息审核人员或者建立安全管理机构的情况；

（二）用户真实身份核验以及注册信息留存措施；  

（三）对用户的账号、操作时间、操作类型、网络源地址和目标地址、网络源端口、客户端硬件特征等日志信息，以及用户发布信息记录的留存措施；

（四）对用户账号和通讯群组名称、昵称、简介、备注、标识，信息发布、转发、评论和通讯群组等服务功能中违法有害信息的防范处置和有关记录保存措施；

（五）个人信息保护以及防范违法有害信息传播扩散、社会动员功能失控风险的技术措施；  

（六）建立投诉、举报制度，公布投诉、举报方式等信息，及时受理并处理有关投诉和举报的情况；

（七）建立为网信部门依法履行互联网信息服务监督管理职责提供技术、数据支持和协助的工作机制的情况；  

（八）建立为公安机关、国家安全机关依法维护国家安全和查处违法犯罪提供技术、数据支持和协助的工作机制的情况。

[11] 《互联网信息服务算法推荐管理规定》第8条。

[12] 《具有舆论属性或社会动员能力的互联网信息服务安全评估规定》第9条：网信部门和公安机关根据对安全评估报告的书面审查情况，认为有必要的，应当依据各自职责对互联网信息服务提供者开展现场检查。网信部门和公安机关开展现场检查原则上应当联合实施，不得干扰互联网信息服务提供者正常的业务活动。

《互联网信息服务算法推荐管理规定》第28条：网信部门会同电信、公安、市场监管等有关部门对算法推荐服务依法开展安全评估和监督检查工作，对发现的问题及时提出整改意见并限期整改。算法推荐服务提供者应当依法留存网络日志，配合网信部门和电信、公安、市场监管等有关部门开展安全评估和监督检查工作，并提供必要的技术、数据等支持和协助。

[13] 具体分析详见后文第二部分 三、个人信息保护风险评估。

[14] 参见禹卫华：《生成式人工智能数据原生风险与媒介体系性规范》，载《中国出版》2023年第10期。

[15] 《生成式人工智能服务管理暂行办法》第9条：提供者应当依法承担网络信息内容生产者责任，履行网络信息安全义务。涉及个人信息的，依法承担个人信息处理者责任，履行个人信息保护义务。

提供者应当与注册其服务的生成式人工智能服务使用者（以下称使用者）签订服务协议，明确双方权利义务。

《网络信息内容生态治理规定》第34条：网络信息内容生产者违反本规定第六条规定的，网络信息内容服务平台应当依法依约采取警示整改、限制功能、暂停更新、关闭账号等处置措施，及时消除违法信息内容，保存记录并向有关主管部门报告。

[16] 《互联网信息服务深度合成管理规定》第12条：深度合成服务提供者应当设置便捷的用户申诉和公众投诉、举报入口，公布处理流程和反馈时限，及时受理、处理和反馈处理结果。

[17] Section 508 Trusted Tester Conformance Test Process Version 5，https://www.dhs.gov/trusted-tester，2023-6-20 last visited.

[18] 参见和讯网：《新必应聊天事故频出后 微软发话：每个问题仅限5条回复！》，https://baijiahao.baidu.com/s?id=1758155518839103419&wfr=spider&for=pc，最后访问时间：2023年11月15日。

[19] 2018年起，针对网络乱象，公安机关开始实行“一案双查”制度，即在对网络违法犯罪案件开展侦查调查工作时，同步启动对涉案网络服务提供者法定网络安全义务履行情况的监督检查。

[20] 《数据安全法》第29条。

[21] 《网络安全法》第47条。

[22] 《数据出境安全评估办法》第19条。