近日，一段关于扎克伯格的恶搞视频在Instagram上流传。该视频中，扎克伯格的面部表情极其僵硬，声音与本人的相比差距很大。事实上，这是以色列一家科技公司利用人工智能（AI）换脸技术合成而来，这一技术也被称为“深度伪造”（deepfake）。更遭受争议的deepfake例子例如最近走红网络的一键生成裸照软件DeepNude，只要输入一张完整的女性图片就可自动生成相应的裸照，由于广泛传播而造成了预料之外的后果，开发者最终将APP下架。背后都用到了深度伪造技术，即一种利用AI程序和深度学习算法实现视、音频模拟和伪造的技术，投入深度学习的内容库越大，合成的视音频真实性越高，甚至可以达到以假乱真的程度。深度伪造技术不仅能实现换脸（face swap），更可以通过深度学习模拟真人声音、创造出现实不存在的人物肖像。利用该技术，可以以视频这一较为可信的方式让某人说不曾说过的话，做不曾做的事，达到混淆观众的目的。具备极高欺骗性的深度伪造也引发诸多争议，例如杨幂换脸，AI软件自动生成裸照，奥巴马、普京等政治人物的深度伪造视频等等，给个人和社会带来风险挑战。

2019年6月13日，美国众议院情报委员会召开关于人工智能深度伪造的听证会，公开谈论了深度伪造技术对国家、社会和个人的风险及防范和应对措施。这是美国众议院首次举办专门讨论深度伪造及其他类型的AI合成技术的听证会，会议邀请了四位来自不同领域的专家，分别是美国外交政策研究所研究员Clint Watts、马里兰大学法学教授Danielle Citron、布法罗大学人工智能研究所所长David Doermann和Open AI政策总监Jack Clark，以系统介绍深度伪造技术及解答议员的疑惑，共同探讨“深度伪造”的风险及应对之策。

一、深度伪造技术的喜与忧

互联网时代下，先进的AI技术和开放的数据流动给社会带来巨大的信息红利。信息流动载体从原始的文本、到语音、至视频、后进化至如今的虚拟现实，数据的巨大量和更高的开放程度允许越来越多消费者参与进来。而今随着AI、深度伪造技术的发展，信息更能以重塑现实的方式丰富用户的体验。与AI结合的深度学习算法用于科学研究上，能帮助改善医学图像分析，还能用于弥补听力缺陷，帮助有听力障碍的人“听懂”别人的话语等。一家公司甚至声称其通过利用这项技术能让因病失语者恢复说话能力。深度伪造技术用于制作、真实还原历史人物的肖像、相关音频和视频，或者让艺术作品中的静态的人物角色“活起来”，实现教育大众、丰富人们精神世界的目的。

然而经伪造的信息能使无中生有，与AI算法的结合更极大地提高了其可信度。进入数据高度开放流动的互联网领域，深度伪造信息的影响力在瞬间能被成千万倍放大，其具备的负面作用不得不引起重视。在此次听证会上，专家学者主要讨论了深度伪造技术所具备的几种潜在风险。

1.个体人身损害

制作虚假的色情视频是深度伪造技术常见的运用方式之一。利用该技术能实现将一些公众人物的脸移转到色情明星的身体上，伪造逼真的色情场景。这些虚假的色情视频一经传播，受害人的名誉将严重受损，个人隐私还随时有可能受到侵犯。Citron教授列举了印度作者Rana Ayyub的例子，即Rana Ayyub在4月份发表了一篇具有挑衅性的报道后，网络上开始流传着一段以其为主角的色情视频。这个视频正是被人利用深度伪造技术合成而来，在Facebook、Twitter和WhatsApp上得到成千上万人的传播。随后Ayyub的家庭地址等个人信息被曝光在网上，其因此也收到了大量的强奸威胁。Ayyub的生活和工作都受到了极大的影响，承受着极大的精神折磨，其不得不远离网络。Citron教授在其关于网络骚扰的研究中发现，这种现象发生在越来越多的弱势群体身上。深度伪造技术让污名化女性、“色情报复”成为可能。

2.企业信誉及经济的损失

深度伪造技术对企业首次募股（IPO）同样有不可估量的负面影响。“想象一下在IPO前一晚，一段经深度伪造合成的视频显示公司的CEO宣布公司破产……市场的反应速度往往比当事人澄清的速度更快，”Citron说。企业主要负责人的一言一行代表着该公司，其对社会的公开声明一般也代表着整个公司的意志。然而，深度伪造技术恰可以借用企业负责人的公开谈话视频，篡改表情及谈话内容，散播虚假信息，让社会公众发生错误认识，直接影响公司的信誉及经济利益。

3.国家安全、公共安全受到威胁

最近，美国众议院议长Nancy Pelosi的一段深度伪造的谈话视频出现在社交媒体上，这段视频经由特朗普总统分享，在Facebook上获得了超过250万次的浏览量。早些的时候，美国前总统奥巴马的脸被“借用”来攻击特朗普总统，该视频在网站上也获得480万的浏览量。特朗普总统本人也难逃一劫，西雅图电视网曾播放过一段深度伪造的特朗普演讲视频，视频中特朗普总统满脸通红，还不时做一些滑稽的表情。由于深度伪造技术可以运用在包括总统在内的任何官员身上，美国两党开始担心该技术将成为针对美国和其他西方国家发起虚假信息战争的最新武器。

听证会上，Watts则表示了其对国家安全的担忧：深度伪造技术可以让虚假的信息以高度可信的方式呈现给社会公众，从而操纵观众的情绪反应，引发社会广泛的不信任。它很可能被外国竞争对手利用，作为诋毁国内政党、煽动恐怖和暴力活动、挑拨西方内部矛盾的工具。同时，Watts指出深度伪造技术对美国2020大选的潜在威胁——若放任伪造视频扩散，则会对美国民主选举产生不良影响，挫伤选民的积极性；从短期看，深度伪造还可能会对公共安全产生一定影响，让虚假的信息打着真实的幌子煽动暴力冲突，成为不法者借以实施暴力的工具。例如在2018年，印度各地有20多人因为在WhatsApp上被谣传绑架小孩或涉及其他罪案而被暴力打死。

4.新闻媒体行业的社会信任衰退

听证会的专家们一致认为，深度伪造技术的影响不仅局限于政治领域，对新闻业亦如此。在一个社会公众对记者和媒体普遍不信任的时代，深度伪造技术的诞生更是加剧了这种不信任。深度伪造不仅骗取公众信任，其存在也表明了媒体报道并不可靠；Citron对此表示赞同，“难以证伪的报道会使记者质疑有关真相的证据的真实性，从而阻碍该证据的呈现和报道。”虚假信息最终会掩盖并代替真相，Citron将此称为“信任衰退效应”。Watts进一步指出，“长期接触虚假信息和深度伪造技术可能让公众在真真假假中迷失自我，从而做出比较极端的选择。如果长期无法分辨真伪，他们要么相信一切，要么不信任一切。”Watts还提到了俄罗斯政府与人民之间的关系，称克里姆林宫用“谎言之火”来控制公众舆论。

此外，众议院成员还关心深度伪造技术可能成为说谎者摆脱质疑的工具。在深度伪造普遍运用的环境下，人们经教育已不再轻易相信自己亲眼所见，这种多疑的心理正好可以被说谎者利用。对于一个不利于自己的信息，尽管其没有经过任何加工，任何人都可以宣称是伪造的，从而达到混淆公众视听的目的。Stewart议员提出假设：一名官员因贪污被抓，官员可以随时狡辩称作为证据的信息内容是经深度伪造合成的虚假内容，“而事实是，证据不仅为真，那位官员所作所为远比证据呈现出来的还要罪恶。”在互相矛盾的真假两派中，总有人愿意选择相信假的一方。

二、应对深度伪造风险的措施

面对美国众议院对深度伪造的种种担忧，参加听证会的议员和专家提出了不少可资参考的建议，以遏制深度伪造技术的负面影响，发挥其在生活、科技等方面的积极作用。

1.实施深度伪造的主体限制

为避免深度伪造技术对包括2020年竞选在内的民主政治活动造成影响，专家们认为应当对深度伪造的技术的实施主体进行限制。Watts认为，国会应当立法禁止官员和机构创作、传播合成的不真实信息，“美国政府必须是事实和真理的提供者”；此外，总统候选人和各自的竞选团队需要与社交媒体公司携手合作，共同为虚假信息制定统一标准。Citron对此表示赞同，提议竞选者做出不会在竞选活动期间传播或分享深度伪造的信息的承诺，并应与社交媒体公司建立良好合作关系，以便直接驳斥网上的任何虚假信息。

3.深度伪造的内容审核

Citron指出，并不是所有的深度伪造的虚假内容都要被禁止的，有的内容涉及到讽刺（satire）、或者戏仿（parody），如果深度伪造的内容具备生产性（productive），那么其存在对社会是有益的。因为这类深度伪造内容涉及到美国修正案中所要保护的言论自由，尽管不真实，但对于启发民智具有重要作用。因此对深度伪造的内容不能“一刀切”打死，不应禁止以娱乐、社交等目的的合成内容（synthetic media），对于此类内容不应给平台施加“标注为自动合成”等义务；对造成特定伤害（如影响政治、国家安全、公共安全等）的虚假信息才需要规制，需要审核。Watts认为网络平台应针对合成内容进行标记和分类，标记的事件和内容类别应跨平台达成行业共识。当然，标记和分类的前提是平台知道特定内容是合成内容，平台没有义务也没有能力对用户上传内容或第三方内容是否属于合成内容进行判断并加以标注。他还提出一些关于分类的建议：如果网络平台看到与道德有关的深度伪造内容在短时间内热度飙升，则应该对其进行标记并进入人工审查通道，降低其热度排名，阻止其进入其他媒体平台内传播；如果网络平台看到可能引发暴力事件、危害公共安全、或者与当选官员或机构相关的深度伪造内容，应当对其进行标记并强制下线审核。

议员们还提到了网络平台相关虚假违法内容过滤筛选过程中可能存在的偏见问题。因为创建过滤机制的人往往会带入主观偏见，因此网络平台可能会被某一党所控制，从而沦为党派竞争、操纵舆论的工具。Clark因此建议，这个过滤机制应避免政治势力干预，而应由学术界和企业平台协同开发，以专业人士意见为准，并以专业技术提供保障，从而更好保持中立性。

3.信息真实性的检测

在深度伪造技术日益成熟的今天，信息真实性检测的重要性不言而喻。Clark提出三点建议：其一，技术平台应大规模开发和共享检测工具，或者共同合作互换、共享技术信息；其二，增加对检测技术研发资金的投入，激发技术创新；其三，政府应发展伪造信息危害评估和测量业务，通过研究相关科学文献和发展知识储备库，决定对伪造信息的人应采取的行动。Watts建议政府应当与私人部门合作，开发电子认证签名工具，标注信息内容的日期和来源。Doermann也提议社交媒体平台可以使用一定的技术手段将伪造内容和可供验证的音频和视频链接在一起，从而决定是否将其从网站中下线，“就像我们处理恶意软件或者其他网络问题一样”。

对于信息真实性检测时间，Watts主张应及时反应、迅速行动。“鼓励行业合作打击极端主义、虚假信息……要迅速反应，以处理这些信息。任何在回应上的滞后都会助长阴谋的实现，你行动越快，公众了解的机会就会越小，主流媒体和其他官方人士就越方便提供帮助。”

3.网络平台的法律责任

对于深度伪造信息的受害者而言，寻求法律救济的途径较为局限。Citron指出，法律主要提供两种途径保障受害者权益。民事上，受害者可以诉请法院判处行为人构成诽谤、故意实施侵权行为造成精神伤害，但诉讼成本较为高昂且诉讼进程较为缓慢；刑事上，州、联邦提供两个层级的法律保护：州层面有一些关于诽谤和假冒行为的刑事立法，联邦也有相关假冒行为的官方立法。可见，受害者所能主张赔偿的对象只有信息捏造者和发布者，网络平台虽在信息传播过程中扮演着十分重要角色，但是却享有充分广泛的豁免权，这归因于美国的《通信规范法》(Communications Decency Act of 1996)中230条，其中规定，网络服务商绝不可能被看作是第三方提供的内容的出版商（publisher）。这意味着网络平台对第三方发布内容没有审核义务，因此受害者不能向网络平台主张权利。

Citron还说，1996年的法案并不是因为考虑到网络平台不能实施过滤行为而免除该义务，其旨在鼓励行业自律。但96年的“国会和联邦贸易委员会难以超越时代的局限，考虑到现在我们面临的处境”。她认为应该为网络平台的豁免权利设定一定的条件，比如可以对230条作一些灵活修改，将“任何在线服务平台都不应被视为第三方内容的代言人（speaker）和出版商”修改为“任何从事合理内容审核实践的在线服务平台都不应被视为第三方内容的代言人或出版商”，以更好地约束网络服务平台，保障受害者权利。议员Welch提问可否直接采纳1996年前的立法，直接将网络平台服务者视为出版商，从而对其苛以更高的审查要求。Clark回应，考虑到网络服务平台控制言论十分困难，且相关的文化习惯已经形成，所以不宜作此修改。

5.对外国人实施深度伪造行为的制裁

针对外国人利用深度伪造技术危害美国国家安全和人民利益的行为，Citron提出两点法律上的建议：一是考虑利用美国程序法中的长臂管辖原则。依据“最低限度接触标准”将损害美国国家利益的行为纳入美国司法机关管辖范围；二是对于身处域外的违法行为人，美国还可以依据与他国的引渡条款，请求相关国家移交本国进行审判或处罚。Watts以美国对俄罗斯GRU情报机构的制裁为例，在发现俄罗斯利用网络攻击干预美国大选后，美国采取了一系列强制措施，包括制裁俄罗斯情报机构GRU、驱逐多名在美情报人员、关闭俄罗斯在美办公场所等。对于身处引渡难度较大的国家的罪犯，Watts表示要建立威慑力，“要让那些网络黑客知道我们会以较为激进的方式作出回应”。

6.批判性思维的教育

从社会心理学角度看，我们接触到符合我们世界观的信息越多，我们越倾向认为该信息是正确的，Citron指出。一旦深度伪造的信息内容印证了大众的认证偏见，此虚假信息就很难被驳斥和证实。因此对公众的批判性思维的教育尤其重要。对于深度伪造的信息，要教育公众要持批判性眼光判断信息真伪，不要轻易相信“眼见为实”；要教育社会公众在进行信息检索时，主流舆论并不一定代表着正确，要多对其提出质疑；同时，也要告知公众深度伪造技术可能被骗子加以利用成为洗清嫌疑的借口，因此即使眼见“为虚”亦可能为实。Dormann也表示，不要轻易相信来源单一的信息，要充分利用检索工具，进行多方印证才可以获得较为真实可靠的信息内容。

三、深度伪造技术的未来

既然深度伪造技术可能给个人、社会和国家带来种种威胁，那这项技术是否应被国家严格管控而不应作为面向社会开放的资源？Doermann表示，当下我们总会接触到这个技术。目前深度伪造技术并不限于在AI实验室里运作，任何一个拥有一部性能较好电脑的高中生都可以在免费开放的互联网中接触到该技术、并能将其下载到自己电脑中运行。“该技术实际上与深度学习运用的技术一样，应该向社会开放。”这意味着在面对深度伪造带来的潜在风险时，不是“一刀切”地禁止深度伪造技术的应用，而是有效管控其风险，尤其是对可能造成特定伤害的深度伪造的虚假信息进行规制，同时不妨碍其在教育、艺术、社交、虚拟现实、个人发展、医疗等等领域的应用。

深度伪造技术是AI发展到一定阶段的产物，技术本是中立的。技术并不导致社会矛盾，只是技术的出现加剧了这种社会矛盾。所以我们不应该因此而禁止深度伪造技术。与此相比，更重要的是提高针对深度伪造的检测技术、完善相关认证机制。专家们承认，深度伪造技术正变得越来越复杂，在互联网上也越来越容易被大众接触，但与此同时也有越来越多人在学习、研发相关的检测技术，掌握判断真伪的技能。但是，随着深度伪造技术越来越成熟，相应的检测深度伪造的技术也会越来越先进——这将是一场永无休止的竞赛，Doermann将其比喻为“猫抓老鼠的游戏”。

听证会的主席Adam Schiff说：“我不知道我们能否为此做好充分准备，但是，我们还可以做更多的工作，确定敌人的计划和意图，尽早找出并揭露它，告知公众他们需要关注什么，应当做什么，而不仅仅忽略他们所看到的一切。”虽然没有一招制胜的方法，但阻止深度伪造负面影响蔓延的方法并不有限，Citron说，“法律、市场和社会恢复力（society resilience）的结合是解决问题的必要条件。”

整体而言，美国立法者当前对深度伪造的担忧主要集中于国家安全、公共安全、政治选举等方面，同时承认深度伪造等合成媒体内容在娱乐、艺术表达、社交等方面具有积极意义，所以不应对深度伪造内容“一刀切”禁止，一竿子打死。考虑到《通信规范法》和保护言论自由以及深度伪造检测识别技术的发展状况，美国立法者并没有要求平台对用户上传、发布的内容进行是否属于深度伪造内容的检索识别并予以标注。由于生成对抗网络（GAN）等深度学习技术的持续发展，深度伪造技术还在快速进化，其检测识别难度很大，当前的技术发展状况还无法对深度伪造内容进行准确识别，虽然检测技术也一直在发展。例如，瑞士科学家在一篇论文中就首次对人脸识别方法检测Deepfake的效果进行了较为全面的测评，尝试用最前沿的人脸识别系统去识别假视频，结果错误率高达95%。所以当前如果要求平台对深度伪造等合成媒体内容进行识别和标注，在技术上几乎是不可能实现的。

因此，正如Citron所言，对深度伪造的内容不能“一刀切”打死，很多深度伪造的合成媒体内容具有存在的正当性，而对影响国家安全、公共安全、民主政治的虚假信息才需要加强监管和规制。此外，涉及刑事犯罪和一般网络侵权的深度伪造适用不同的规制，监管应区别对待，美国相关立法目前主要从刑事犯罪角度对深度伪造予以规制。

–END–

作者|

曹建峰 腾讯研究院法律研究中心高级研究员

方龄曼 腾讯研究院法律研究中心助理研究员