随着深度合成技术的不断成熟，AI换脸的效果将更加真实。 （@视觉中国）

警惕人工智能诈骗。 （@视觉中国）

在科技飞速发展的今天，一些不法分子开始利用各种AI深度合成技术来进行违法活动。 日前，广东一女子声称自己的声音是由AI软件合成的。 随后，有人用她的声音给她的朋友发语音借钱。 不久前，福州一男子被通过视频AI变脸的“朋友”骗走430万元……目前，这些利用AI技术深度合成的骗局还有哪些类型？ 公众应如何预防？ 记者对此进行了调查，并采访了一些人工智能领域的专家。

文/广州日报全媒体记者 吴伟

AI换脸、AI变声、AI假新闻……深度合成欺骗引关注

近日，法律界密切关注这起10分钟430万元诈骗案，福州郭先生遭遇“高端”骗局，对方利用AI换脸技术冒充“他的朋友对其进行诈骗。该诈骗案是新型信息网络犯罪案件。随着AI深度合成技术的不断成熟，类似的诈骗手段可能会再次出现，需要公众引起足够的重视。” 广东盛伦律师事务所刘振东律师介绍。

刘振东介绍了发生在广东的另一起案件：一名男性犯罪嫌疑人利用合成软件将自己的声音变成了一名年轻女子的声音。 一份有价值的礼物。 最终，该男子也因涉嫌诈骗罪受到处罚。

琶洲实验室智慧城市关键技术研究与应用团队负责人徐勇教授告诉记者，除了语音、人脸​​合成之外，另一种深度合成技术的滥用也值得警惕，那就是信息操纵。 “人工智能可以用来生成假新闻、虚假信息，然后用来操纵社交媒体上的舆论。”

记者发现，AI假新闻现象时有发生：今年2月中旬，一则“某市政府3月1日取消机动车限行”的消息在网上流传。互联网。 警方调查后发现，这其实是当地某社区业主利用AI大语言模型生成的假新闻； 5月16日凌晨，在某市一家鸡排店门前，杨某、刘某、耿某与邻桌李某发生口角。 瓶子、塑料啤酒盒等受轻伤。 该视频在网络上流传后，迅速引起关注，但一男子陈先生看到后，利用AI语言模型生成并发布了“鸡排店发生血腥谋杀案，男子用砖头将女子打死”。 经侦查，公安机关认定陈某恶意夸大、捏造信息获取流量，已依法对其采取刑事强制措施。

人工智能专家：警惕面部和低分辨率视频的不自然变化

近日，两位人工智能专家向记者介绍了深度合成技术的原理。

徐勇说：“首先依靠人脸检测算法提取人脸区域，然后利用人脸关键点定位技术确定五官等关键部位的位置，提取人脸特征、表情和动作信息等关键信息，最后提取特征迁移并融合到目标位置就可以实现我们今天看到的AI换脸了。”

暨南大学信息科学与技术学院硕士生导师林淑媛表示：“早期移植脸部局部特征的换脸方法有明显的拼接痕迹，但近年来，随着生成对抗网络和扩散模型的发展，合成的人脸效果几乎到了以假乱真的程度，目前市面上的大部分AI换脸软件都是基于深度学习模型/开源框架和大型-规模训练数据集，提供真实可信的换脸效果，当然也有一些软件直接调用第一批第三方公司开放的API接口来实现换脸，从最近的诈骗案例可以看出目前的AI换脸技术足以产生逼真的假象来欺骗受害者。”

林淑媛表示，虽然未来区分AI换脸和真人的区别会变得越来越困难，但通过分析和观察还是可以发现两者之间的一些差异。 “我们需要观察眼睛、嘴巴、耳朵等区域的细微特征（比如光线、纹理等）。那些不自然的变化可能是AI产生的；如果出现失真，可能是AI人脸的结果另外，如果人脸的动作、表情、声音不匹配或者不自然，也可能是AI生成的。”

徐勇认为：“AI换脸后，人的表情不会那么自然。我们可以观察‘脸部部分’是否比‘身体部分’更模糊或更清晰；我们还可以观察是否比‘身体部分’更模糊或更清晰。”脸部边缘是否有瑕疵，例如观察角色的嘴唇动作是否与声音同步、某些区域是否出现异常闪烁、变形等。此外，还要保持额外的警惕低分辨率视频。由于低分辨率视频缺乏细节，更容易混淆真实的视频。此外，我们可以多关注权威机构和专家的建议。”

律师：AI深度合成需要当事人“另行同意”

刘振东律师告诉记者，无论是AI换脸还是AI变声诈骗，当事人报案时都会有一个重要的难点，那就是要证明不是他让朋友做的到时候汇款。 对此，收集和固定证据将会更加困难。 “当事人必须向司法部门证明自己的生物信息被他人窃取，同时证明这些生物信息是他人通过人工智能深度合成的，实施了捏造事实、隐瞒真相的诈骗行为。”依法追究刑事责任，造成财产损失。 ”。

刘振东认为，应进一步加强对信息网络平台运营者的监管。 “一些平台在个人生物信息的录入方面过于宽松，很容易窃取生物信息；此外，目前对相关深度合成技术的监控和管理也比较宽松。”

刘振东介绍，使用AI换脸软件可能违反法律法规。 “民法典第1019条明确规定，任何组织和个人不得利用信息技术手段以诽谤、污损、伪造等方式侵犯他人肖像权；去年12月，国家网信办、工信部信息化部、公安部联合发布的《互联网信息服务深度合成管理规定》明确规定，提供人脸、声音等生物识别信息编辑功能的深度合成服务提供者和技术支持者应当提醒深度合成服务的使用者并依法告知被编辑个人，并单独取得其同意。”

今年4月定位软件都是骗，国家网信办起草了《生成式人工智能服务管理办法（征求意见稿）》，向社会公开征求意见。 刘振东认为，意见稿最终版发布后，深度合成技术将得到进一步规范。

如何应对AI欺诈？

企业研发先进对策技术 市民应提高警惕

最新软件

作为普通人，我们应该如何应对深度合成骗局？

徐勇建议，有关部门可以加强对群众的宣传教育，让群众了解深度合成技术的原理，从而提高对换脸诈骗的认识和警惕。 “此外，还可以建立有效的监督举报机制，设计起来也更加便捷。对举报信息及时进行调查处理，保护举报人权益，鼓励公众积极举报。”参与AI换脸诈骗举报定位软件都是骗，应对深度合成的假新闻，需要提高公众对信息真伪的判断能力，还需要开发自动检测和过滤假新闻的算法和工具”。

林淑媛也认为技术防御是可行的：“我们应该与各大科技公司合作，开发更先进的人工智能技术，包括面部识别、图像反欺骗等技术工具来反击这些欺骗；同时，我们应该并建立多重验证机制，确保用户信息不被窃取、泄露。 他表示，加强公众教育同样重要，科普宣传要不断更新以适应变化。 “我们不仅要不断总结过去的成功经验，还要不断学习新的反欺诈技术，总结新的欺诈套路，并推广到社区、学校、线上线下等各个领域。”

对于个人而言定位软件都是骗，林淑媛认为，提高防范意识是减少上当受骗的关键。

一是重视个人隐私保护。 “公民应谨慎处理个人敏感信息，不要在网络上留下个人信息，特别是人脸数据；还要学会识别虚假新闻和图片，不要轻信未经证实的信息。如果发现或盗用虚假信息，应及时处理。”及时报告、处理，避免造成更大损失。”

二是要提高警惕。 “在网络时代，即使是我们非常熟悉的人，也可能会被盗用或冒充身份。因此，一旦出现任何可疑情况或令人不安的通讯内容，我们应该高度警惕，多筛查、多核实，包括打电话给第三方、面对面沟通等方式核实对方身份。”

三是强化网络安全意识。 “我们要加强自身的网络安全意识，确保各类账户的安全，不得随意泄露个人信息、身份证号、银行卡信息、验证码等。同时，避免在不可信的地方下载来历不明的应用程序。”网络平台不要打开来历不明的邮件附件，以免被恶意软件感染等。

刘振东律师还提醒公民，如果公民不小心被这种AI合成技术欺骗，或者遇到一些可疑情况且不确定的情况，一定要注意利用录屏、录音等方式固定证据，并及时拨打110。