信息技术

以ChatGPT为代表的AIGC成为新一轮科技革命和产业变革的重要驱动力量，深刻改变着社会的生产生活方式。同时，一系列安全风险也相伴而生，不仅加剧升级了传统数据安全风险，还催生了诸多新型复杂风险，给治理体系带来更大挑战。建议把握AIGC的技术特性和传播规律，从三方面持续提升治理能力：一是制定更具针对性的治理政策，完善制度保障；二是将“敏捷治理”应用到对AIGC的监管全过程，打造多元协同治理体系；三是运用先进的技术手段，不断提高治理效能。

1、AIGC技术和应用重塑数据安全形势

区别于过往AI技术，AIGC可通过对数据的识别学习，以适当的泛化能力生成文本、图像、音频和视频等多模态内容，这种技术革新在展现出强大创造力、生产力的同时，也带来了诸多超越传统治理边界的新挑战，深刻改变了数据风险形势。

1.1 加剧了传统数据安全风险

一是AIGC升级造假手段，虚假信息更难识别。

AIGC表达方式贴近人类的对话风格与思维逻辑，内容呈现包含图文、音视频等多种模态，导致甄别信息真伪的难度较以往大大提高。这就造成，一方面网络舆情治理难度明显增加。AIGC使用门槛低、内容生成效率高，能够在短时间内编制大量虚假信息，导致官方辟谣等传统虚假信息治理措施难以发挥预期作用。例如此前被广泛转发的“杭州取消限行”新闻，就是使用ChatGPT编写的不实信息。另一方面网络诈骗防范难度显著提升。深度伪造（deepfake）等技术的恶意使用可生成极具欺骗性的视觉和音频内容，香港一起涉案金额高达2亿港元的多人AI换脸视频诈骗案就尤为典型。这不仅危害个人权益，也对监管带来极大威胁，银行视频身份验证、案件视频证据等的可靠性将面临巨大挑战。

二是AIGC增加隐私风险，隐私防护难度加大。

大模型已达千亿级参数，训练、应用和优化的全处理流程中涉及海量个人信息，为不当收集、隐私泄露等常见问题增添了新的风险敞口。一方面信息收集更“无感”。

用户与AIGC进行问答时有时会不自觉地透露个人信息、商业机密等隐私信息，而为了实现智能化和个性化交互，AIGC往往会对这些数据进行记录、存储、学习，给用户的隐私带来严重威胁。例如，英国国家网络安全中心就明确指出OpenAI等公司能够读取用户聊天中输入的查询内容。另一方面数据泄露更“隐蔽”。除安全攻击事件外，在进行前向推理时，AIGC模型存在将训练数据中包含的隐私数据变换、拼接后生成输出，暴露给无关用户的风险。已有三星、摩根大通等多家知名企业出于隐私防护的目的禁用ChatGPT工具。

三是AIGC促进信息跨境流动，数据出境风险凸显。

无论是用户使用境外部署的AIGC平台和服务，还是开发者调用境外算法模型来训练自己的定制化模型，都不可避免地涉及数据跨境传输，对数据治理带来极大挑战。一方面，AIGC数据体量大、增速快且涵盖敏感信息，在跨境过程中存在传输链长、参与主体多元、威胁成因复杂等多重挑战，潜藏个人、企业乃至国家信息泄露的安全隐患。另一方面，数据规制角力影响国家对全球数据的支配力、AIGC发展的竞争力，世界各国对此都高度重视、持续跟进，例如欧盟最新颁布的《人工智能法案》对AIGC数据使用有着严格的要求。各国跨境数据流动法规各异，如果在数据跨境传输中与当地法规冲突，可能引发跨国法律纠纷乃至更大冲突。

1.2 催生了各种新型的数据和算法风险

一是AIGC隐藏技术偏见，带来决策错误和歧视。

AIGC依赖于其训练数据中的统计规律自动生产内容，但这些模式可能并不代表真实的事实，而是简单地反映数据中的频率和共现关系，由于其自身技术局限，既无法抓取实时信息，也无法识别核实数据来源，使其作为技术不是技术中性的，导致算法偏见、霸凌、歧视等现象出现。例如在金融征信领域，如果算法基于个人身份信息被盗用而形成的滥用信用卡记录，得出低信用评分的结论，会导致个体的合法权益遭受算法的偶然性歧视。在刑罚预测领域，算法被用来预测犯罪嫌疑人的再犯可能性，以辅助法官做出判决。但如果训练数据中存在种族、性别等偏见，那么算法可能会对这些种族的犯罪嫌疑人给出更严厉的刑罚预测，影响司法决策的公正。

二是AIGC突破权责边界，数据所有者权利难以保障。

由于AIGC对于数据资源特有的处理方式，导致内容不可解释和难以追责。首先，按照传统的“明确告知+单独同意”的模式片面实现对外提供数据的风险控制成为过去式。在AIGC的运行模式之中，交互的数据之中有相当一部分属于非公开信息，甚至是敏感个人信息，很难准确统一的识别。其次，用户数据经过大模型训练拟合，形成合成数据后实现商业化所产生的利润，无法公平分配给数据所有者。在AIGC生成的部分数据混合着用户输入的数据一起作为预训练的基础数据，经训练后再作为其他人的系统数据提供服务，此时已经呈现犬牙交错的利益分布格局，难以进行合理的权益划分。最后，个人信息删除权等用户权益受到影响。我国《个人信息保护法》规定，个人发现其个人信息不准确或者不完整的，有权请求个人信息处理者更正、补充。但由于AIGC采用算法“黑箱”处理信息的运作机制，将数据参数化，导致撤回、修改、删除等个人信息权利如何行使面临严峻的考验。

三是AIGC滋生新攻击方式，产生危害性极强的数据事故。

以提示注入攻击为代表的新型对抗性攻击已成为大模型的头号新威胁，我国大数据协同安全技术国家工程研究中心的AI安全实验室对ChatGPT、BARD、Bing Chat等大模型产品进行的风险评估显示，主流厂商的相关服务全部存在提示注入攻击的安全风险。提示注入攻击通过注入恶意指令的提示，操纵模型的正常输出过程，使大模型产生有害的输出，甚至可能通过反向攻击提取到大模型中用户相关的敏感信息，导致数据泄露和未经授权的用户对提示的潜在滥用。诸如开发人员构建基于大语言模型的AIGC产品时设置的专有提示前缀（如特殊的生成格式等），以及用户对话记录中的一些隐私信息（如电子邮件地址、信用卡信息等）这类用户提示泄露，就可能被攻击者用于窃取专有信息或制作更有效的钓鱼电子邮件等，严重威胁数据安全。

2、治理策略建议

近年来，中共中央、国务院印发“数据二十条”、《数字中国建设整体布局规划》，成立国家数据局、重新组建科学技术部，发布《生成式人工智能服务管理暂行办法》，推出数据分级分类标准，发布《数据安全技术数据分类分级规则》……一系列密集的行动透露出我国将“AIGC的数据安全治理”的重要程度再度提升的信号。针对快速迭代的技术带来的更为复杂的新风险形势，建议在现有基础上持续完善规范体系，并不断提升AIGC治理的前瞻性、灵活性和有效性，为AIGC创新发展保驾护航。

2.1 制定更具针对性的治理政策，完善制度保障

一是把好数据“入口关”。制定数据合规标准，对于大规模训练数据的收集、存储、使用进行全生命周期规范；健全数据主体权益保护机制，明确数据主体在AIGC领域中的权益，包括知情权、选择权、更正权、删除权等；形成AIGC风险分级分类管理体系，对涉及人脸等敏感个人信息的高风险领域，定期开展数据安全能力评估；加强数据跨境流动管理，探索我国数据存储体系优化，构建数据被动出境的主动防御体系，建立跨境数据流动规则和白名单等机制。

二是把好算法“出口关”。健全算法透明体系与算法审查机制，强化偏见、歧视和侵权等风险的检查评估，确保算法的公正性、合理性；引导算法向善，采用“道德编码”和“道德学习”的机器设计思路；建立算法问责机制及产业自律规范，促使平台加强自我监管、履行风险告知义务。

2.2 将“敏捷治理”应用到对AIGC的监管全过程，打造多元协同治理体系

一方面，建立动态监管框架和AIGC风险的关口机制。持续迭代与优化治理政策，在特定领域或地区开展AIGC治理的创新试点项目，逐步完善和调整监管措施；采用主动风险管理策略，建立风险清单和应对预案，提前预见并及早解决AIGC潜在风险。另一方面，促进政府、企业和公众之间的持续对话和沟通。构建AIGC企业自我规范与政府监管的衔接互动机制，将AIGC的设计方和大模型的开发方深度纳入治理程序中，及时获取企业的研发动态和行业市场情报，设计前瞻性的治理框架；建立用户举报和反馈机制，促进社会监督与政府监管的协同联动。例如美国建立官方网站AI.gov，及时吸纳用户反馈和意见，了解一线的AIGC使用情况，并帮助用户更好地理解AIGC技术的潜在风险和监管方式。

2.3 运用先进的技术手段，提高治理效能

不能人家用飞机大炮，我们还用大刀长矛，要以技术对技术，以技术管技术，做到魔高一尺、道高一丈。一方面，探索以“以AI治理AI”的智能监管手段，如利用AIGC工具识别和验证deepfake视频图像、监测数据跨境流动状态及风险点位、自动化防御恶意AIGC攻击等，通过对抗与反对抗的博弈，持续促进AIGC开发利用与数据安全防护的平衡发展。另一方面，加强数据安全技术研究及应用，通过优化鲁棒训练算法应对数据投毒，采取截断混淆、差分隐私等手段使模型隐私信息模糊化，采取模型水印、模型指纹等溯源手段保障知识产权专有性，以多元技术手段护航数据安全。

【参考文献】

[1] 曹上. AIGC中涉用户个人信息使用的边界探究

[2] 谢梅,王世龙.ChatGPT出圈后人工智能生成内容的风险类型及其治理[J].新闻界,2023(08)

[3] 张凌寒,于琳. 从传统治理到敏捷治理:生成式人工智能的治理范式革新[ J/ OL] . 电子政务:1 - 12[2023- 08 - 13 ] .

[4] 邓胜利，汪璠. AIGC治理的研究进展与发展趋势[J]. 数字图书馆论坛，2023（11）：20-28.作者：亓明真 袁萍

单位：中国移动研究院战略与产业所

【我们尊重原创，也注重分享。版权原作者所有，如有侵犯您的权益请及时联系，我们将第一时间删除。分享内容不代表本网观点，仅供参考。】