你的上司给你发来视频会议，会议中还有多名财务人员在场。会议中，上司表示要进行机密交易，要求你向某个银行户口转账。会议中的高管面容、声音均与真人一致，你会心生疑虑吗？ 

这是今年年初某跨国公司香港分行职员真实经历的视频骗局。据已披露的信息显示，诈骗者通过公司的YouTube视频和从其他公开渠道获取的媒体资料，成功地仿造了英国公司高层管理人员的形象和声音，再利用Deepfake（深度伪造）技术制作伪冒视频，造成多人参与视频会议的效果，然而会议内只有参加的职员一人为“真人”。 

由于会议中诈骗者是以上司身份向被骗职员下达命令，职员也没有机会与会议参与者进行交流。该职员仅仅被要求做一次简短的自我介绍，随后诈骗者便结束会议，在即时通讯软件上继续下达命令。

受骗职员前后转账15次，合计共2亿港元到5个银行户口，其后向总部查询才得知受骗。因涉案金额巨大，该案也成为香港历史上损失最惨重的“变脸”案例。

随着生成式人工智能技术的发展，通过AI技术换脸换声的方式来模拟出另一个人的真实外观已不再困难。这一技术被称作“深度伪造”，即借助神经网络技术进行大样本学习，以机器学习模型将个人的声音、面部表情及身体动作拼接合成虚假内容的人工智能技术。

界面新闻记者从某些技术开源社区上以“GAN”等关键词检索，可轻易得到深度合成相关的技术开源项目。目前在国内主流电商平台已经对“AI换脸”关键词进行了屏蔽，但是在部分社交平台上，还是能通过关键词检索联系到相关工具的卖家。 

技术的发展与普及进一步模糊了真实与虚拟的边界，而这类无法分辨真伪的交界地带则成为了滋生犯罪行为的温床。据长期关注AI安全的瑞莱智慧的不完全统计，AI诈骗案件数量在近年来快速增长，仅2023年一年在全国已发生至少16起。

底层技术已成熟

追本溯源来看，深度伪造相关的技术已十分成熟。 

2014年，由蒙特利尔大学提出的生成对抗网络（GAN）提高了数据生成的逼真程度，但也大大降低了深度合成的门槛。近年来，除GAN之外，扩散性模型（Diffusion Model）等技术路线也证明了其提升数据生成逼真程度的价值。  

在论文预印本网站arXiv.org搜索“GAN”可得到10694篇相关论文；以“GAN”、“NeRf”、“TTS”等深度合成相关关键词在开源社区GitHub进行检索，可得到超12万个开源项目。 

开源的氛围加速了技术的交流与突破，但客观上也使得如AI换脸、拟声等技术不再神秘。 

界面新闻记者以“AI换脸”为关键词在某视频平台搜索，可以很轻易找到相关教程；同时，据在某社交平台上找到的换脸工具卖家介绍，该工具只需少数照片即可完成视频的一键换脸，而整套工具及教程只需20元。 

日渐降低的使用门槛使得深度伪造技术成为诸多违法犯罪行为的工具。2023年4月，百万网红博主“Caro赖赖_”曾发文称有不法分子利用换脸技术制作色情视频，并明码标价获取利润。在小红书等社交平台上，也有多位博主发文称自己曾被“换脸”至陌生人照片上。 

有业内人士告诉界面新闻，因为深度伪造制作的材料是个人音频、图片、视频，这些数据越多，训练出的视频就越逼真，所以社交媒体上相关数据较多的博主、明星容易成为深度伪造的目标。

《民法典》1019条规定，未经肖像权人同意，他人不得制作、使用、公开肖像权人的肖像。在《民法典》1020条中则补充规定，为个人学习、艺术欣赏、课堂教学或者科学研究；为实施新闻报道；国家机关为依法履行职责在必要范围内制作、使用、公开肖像权人的肖像等情况属于肖像合理实施。

天元律师事务所合伙人李昀锴律师解释称，《民法典》中关于肖像权合理实施所给出的空间是很窄的，如在网络上广为流传的使用他人肖像的鬼畜作品，实际上被鬼畜者享有追责的权利，只是在大多数实践中被鬼畜者并未追究。他进一步表示，换脸之后直播、发贴，都涉嫌侵犯肖像权，如果将生成内容用于色情暴力内容，则可能会涉及刑事犯罪。

因此，李昀锴律师建议，在发现侵权情形后，当事人可以通过如时间戳等第三方存证平台把涉嫌侵权内容通过手机录屏的方式进行保存，之后无论是向平台投诉或者通过法院起诉都可以作为有效证据使用；如果涉及刑事责任，则要尽快前往去属地派出所报案，并保留侵权链接供公安调查。

如何辨别真伪？

在瑞莱智慧联合创始人、算法科学家萧子豪的观察中，深度伪造的技术门槛在不断下降。“主要原因是这些技术被逐渐开源出来，而且变得越来越好用。一些低门槛的开源软件已经可以来做出质量比较好的视频。”他说。

此前在网络上也曾广泛流传的一些辨别真伪的技巧，如观察对方的牙齿、舌头、耳朵或者手指是否会随着人物移动而出现不自然的阴影。在部分场景中，这些技巧确实存在可行性。布局出海短剧的易点天下也在尝试使用AI换脸技术。易点天下KreadoAI负责人罗晓奇也指出，在手部遮挡脸部的时候，AI产出的内容往往会有很大的瑕疵。

但如果想要追求准确分辨真伪，这些细节仅能作为参考。以此前梅西澄清视频事件为例，有质疑指出原视频“面部反光不自然”、“未露出牙齿”等特征。但有业内人士告诉界面新闻，AI可以做到生成清晰的牙齿，这些特征不能作为证据。 

多年与深度伪造技术接触的萧子豪则直言，如果对方的技术方案相对精细，那么单纯用肉眼去分辨会有些挑战性。

由于深度合成内容越发逼真，采用技术手段进行鉴别的解决方案也随之出现。据业内人士介绍，常用的方法包括基于伪造内容数据集完成对模型检测器的训练、基于帧间不一致性实现对伪造内容的判别等。

据萧子豪介绍，从技术角度，其辨别思路大致可分为两种，一种是寻找图像编辑痕迹，另一类则是判断行为是否符合常识。

“一般来说这类换脸都会对原先的人脸进行编辑，做动画的过程中会有类似图片编辑的操作并且留下痕迹，这类痕迹和真正拍摄时的痕迹时不一样的，”萧子豪解释说。另一类则是检测视频中是否会展现出不符合常识的行为，如长时间不眨眼等等。

但由于新型伪造方法层出不穷，反深伪检测技术也需要持续更新与迭代优化。

技术监管尤为重要

正如一枚硬币的两面，AI换脸技术一方面可能触及隐私和伦理的敏感边界，另一方面却也为视频制作、心理疗愈等领域带来了新的可能性。 

在爆火的短剧领域，使用AI换脸技术可以快速将国内短剧中的华人面孔转变成外国演员的模样。布局出海短剧的易点天下已经开始尝试使用AI换脸技术。易点天下社媒营销经理李佩玉在采访时表示，如果对质量没有过高要求，那使用AI进行简单替换在时间和资金上至少可以降低20%的成本。

同时，业内也出现了“AI疗愈”的尝试，即利用AI换脸技术将客户逝去亲人的外貌附加在专业心理咨询师脸上，随后与客户进行视频聊天，以此提升心理疗愈的效果。

如何界定应用技术的边界是多方关注的焦点，其中服务提供方所扮演的角色尤为重要。

业务涉及“AI疗愈”的超级头脑创始人张泽伟告诉界面新闻，团队会事前明确委托人的诉求、与“克隆人”的关系，接单前也会与客户签署合同避免产品被用于任何违法违规的途径。

这一做法与目前主流的AIGC产品不谋而合。小冰公司曾于去年5月于海外发布“GPT克隆人计划”，称最短只要采集三分钟数据，即可创造源于本人性格、技能、声音、外貌的AI克隆人。 

据小冰CEO李笛所说，在使用“GPT克隆人计划”服务前，使用者需提供本人权属证明，如是企业用户申请则需提供营业执照。同时他强调，该服务并未开放任何API接口，仅可在该平台内使用，不会存在转接至社交平台上的情况，公司内部也会配置技术手段以防范自身服务被用作他处。 

伴随ChatGPT在国内迅速掀起生成式人工智能浪潮，国内针对AIGC产品的相关监管也快速跟进。

《生成式人工智能服务管理暂行办法》中规定生成式人工智能服务提供者涉及个人信息的，应当取得个人同意或者符合法律、行政法规规定的其他情形；发现使用者利用生成式人工智能服务从事违法活动的，应当依法依约采取警示、限制功能、暂停或者终止向其提供服务等处置措施，保存有关记录，并向有关主管部门报告。

李昀锴律师也指出，当前通过互联网提供AI服务的应当属于电子商务范畴，需要按照《电子商务法》、《网络安全法》履行相应的监管义务。“至少平台要做到使用主体真实性的核验，也要做到法律责任的提示；如果发现侵权内容平台应该及时采取删除、下架、屏蔽等相应措施；如果是涉及到刑事犯罪，平台要主动去进行证据保存，并主动向属地公安机关报案。”

来源：界面新闻 作者：于浩