人脸深度伪造主动防御技术综述

深度生成模型的飞速发展推动了人脸深度伪造技术的进步,以Deepfake为代表的深度伪造模型也得到了十分广泛的应用。深度伪造技术可以对人脸图像或视频进行有目的的操纵,一方面,这种技术广泛应用于电影特效、娱乐场景中,丰富了人们的娱乐生活,促进了互联网多媒体的传播;另一方面,深度伪造也应用于一些可能造成不良影响的场景,给公民的名誉权、肖像权造成了危害,同时也给国家安全和社会稳定带来了极大的威胁,因此对深度伪造防御技术的研究日益迫切。现有的防御技术主要分为被动检测和主动防御,而被动检测的方式无法消除伪造人脸在广泛传播中造成的影响,难以做到“事前防御”,因此主动防御的思想得到了研究人员的广泛关注。然而,目前学术界有关深度伪造防御的综述主要关注基于检测的被动式防御方法,几乎没有以深度伪造主动防御技术为重点的综述。基于此,本文对当前学术界提出的人脸深度伪造主动防御技术进行梳理、总结和讨论。首先阐述了深度伪造主动防御的提出背景和主要思想,并对现有的人脸深度伪造主动防御算法进行汇总和归类,然后对各类主动防御算法的技术原理、性能、优缺点等进行了系统性的总结,同时介绍了研究常用的数据集和评估方法,最后对深度...     

多模态深度伪造及检测技术综述

随着各种深度学习生成模型在各领域的应用,生成的多媒体文件的真伪越来越难以辨别,深度伪造技术也因此得以诞生和发展.深度伪造技术通过深度学习相关技术能够篡改视频或者图片中的人脸身份信息、表情和肢体动作,以及生成特定人物的虚假语音.自2018年Deepfakes技术在社交网络上掀起换脸热潮开始,大量的深度伪造方法被提出,并展现了其在教育、娱乐等领域的潜在应用.但同时深度伪造技术在社会舆论、司法刑侦等方面产生的负面影响也不容忽视.因此有越来越多的对抗手段被提出用于防止深度伪造被不法分子所应用,如深度伪造的检测和水印.首先,针对不同模态类型的深度伪造技术以及相应的检测技术进行了回顾和总结,并根据研究目的和研究方法对现有的研究进行了分析和归类;其次,总结了近年研究中广泛使用的视频和音频数据集;最后,探讨了该领域未来发展面临的机遇和挑战.     

一种基于双流网络的Deepfakes检测技术

随着深度学习技术的飞速发展,以Deepfakes为代表的深度伪造技术开始充斥在互联网上的各个角落。Deepfakes借助于生成对抗网络和自动编码器技术,能够轻松替换人脸以及篡改人的表情信息。此类Deepfakes假视频可以制作虚假色情影片、谣言,传播假新闻,甚至影响政治选举,带来的社会影响极其恶劣。然而,针对此类伪造视频的检测技术还远远落后于生成技术,已有的工作都存在一定的局限性,并不能较好地对Deepfakes视频进行检测。本文首先对现有生成和检测工作进行综述,并分析了现有工作的缺陷,然后提出了基于EfficientNet的双流网络检测框架。通过在大规模开源数据集FaceForensics++测试,我们的检测技术可以在检测Deepfakes类假视频上平均准确率达到99%以上,并一定程度提高模型对抗压缩的能力。     

深度伪造应用实践、应用风险及规制研究

深度伪造通过对个人声音、面部等信息进行基于生成对抗网络等模型的深度学习,从而生成高度逼真且较难检测的音频、图像及视频等内容,主要见于AI换脸、人脸合成、语音生成等,可用于色情传播、虚假信息、实施诈骗、引导舆论等方面,导致个人合法权益受到侵害,危害网络空间安全,造成社会信任危机,甚至威胁国家安全等,因此规制深度伪造迫在眉睫。本文通过梳理分析我国相关法律法规,针对存在的不足从详细说明显著标识以及更加明确服务提供者、传播平台责任等方面作出完善。     

视觉深度伪造检测技术综述

随着生成式深度学习算法的发展,深度伪造技术发展并应用于各个领域。深度伪造技术的滥用使人们逐渐意识到其带来的威胁,伪造检测技术随之而生。本文基于视觉深度伪造技术研究进行综述。1）简要介绍了视觉深度伪造技术的发展历程及技术原理,包括生成对抗网络在深度伪造制品中的应用;2）对现有的视觉深度伪造数据集进行汇总并归类;3）对目前的视觉深度伪造检测技术进行了分类,将现有的检测方法归纳为基于具体伪影的、基于数据驱动的、基于信息不一致和其他类型视觉深度伪造检测等4种分类。其中,基于伪影的检测方法着重于寻找伪造制品与真实图像之间的像素级差异,通过机器学习识别深度伪造制品中的人工伪影痕迹,基于信息不一致的方法则着重于寻找伪造制品与真实图像或视频之间的信息级差异,这两种方法都具有识别效率高、训练便捷等优点;基于数据驱动的方法通过大量的数据集和机器学习训练,直接使用神经网络本身对深度伪造制品进行训练,并通过改善网络架构增进模型以提高训练效率,因为其模型的多变和高精确率成为目前深度伪造检测的热门方向。同时,本文分析了4种方法的具体优缺点,并进一步给出了未来视觉深度伪造检测研究的重点和难点。     

深度伪造生成与检测研究综述

目前用于建立和操作多媒体信息技术已经发展到了可确保高度真实感的程度。深度伪造作为一种生成式深度学习算法,可实现音频、图像、视频的伪造生成,近些年也取得了相当巨大的进步,与之对抗的深度伪造检测技术也在不断的发展中。梳理常见深度伪造生成的技术以及相关的数据集,总结其中的原理以及最新方法成果;并对深度伪造检测相关技术和数据集进行分析总结。对深度伪造生成和检测的未来研究方向进行了总结和展望。     

新媒体环境下公益广告传播诉求策略

以微博、微信为代表的新媒体带来了传播观念和传播方式的深刻变革,建构着新的传播环境和传播格局,同时也在影响着人们的思想观念和行为方式,与社会发展深度融合。新媒体为主流媒体的公益广告传播提供了新途径、新平台,主流媒体公益广告传播与新媒体融合,能够让受众在互动中接受公益广告的人文观念,能够发挥主流媒体的权威性和公信力,能够带来优秀创意的不断突破。     

深度伪造与检测技术综述

深度学习在计算机视觉领域取得了重大成功,超越了众多传统的方法.然而,近年来深度学习技术被滥用在假视频的制作上,使得以Deepfakes为代表的伪造视频在网络上泛滥成灾.这种深度伪造技术通过篡改或替换原始视频的人脸信息,并合成虚假的语音,来制作色情电影、虚假新闻、政治谣言等.为了消除此类伪造技术带来的负面影响,众多学者对假视频的鉴别进行了深入的研究,并提出一系列的检测方法帮助机构或社区来识别此类伪造视频.尽管如此,目前的检测技术仍然存在依赖特定分布数据、特定压缩率等众多的局限性,远远落后于假视频的生成技术.并且,不同的学者解决问题的角度不同,使用的数据集和评价指标均不统一.迄今为止,学术界对深度伪造与检测技术仍缺乏统一的认识,深度伪造和检测技术研究的体系架构尚不明确.在本综述中,我们回顾了深度伪造与检测技术的发展,并对现有研究工作进行了系统的总结和科学的归类.最后,我们讨论了深度伪造技术蔓延带来的社会风险,分析了检测技术的诸多局限性,并探讨了检测技术面临的挑战和潜在研究方向,旨在为后续学者进一步推动深度伪造检测技术的发展和部署提供指导.     

基于多尺度Transformer融合多域信息的伪造人脸检测

当前,基于Deepfakes等深度伪造技术生成的“换脸”类伪造视频泛滥,给公民个人隐私和国家政治安全带来巨大威胁,为此,研究视频中深度伪造人脸检测技术具有重要意义。针对已有伪造人脸检测方法存在的面部特征提取不充分、泛化能力弱等不足,提出一种基于多尺度Transformer对多域信息进行融合的伪造人脸检测方法。基于多域特征融合的思路,同时从视频帧的频域与RGB域进行特征提取,提高模型的泛化性;联合EfficientNet和多尺度Transformer,设计多层级的特征提取网络以提取更精细的伪造特征。在开源数据集上的测试结果表明,相比已有方法,所提方法具有更好的检测效果;同时在跨数据集上的实验结果证明了所提模型具有较好的泛化性能。     

视听觉深度伪造检测技术研究综述

深度学习被广泛应用于自然语言处理、计算机视觉和无人驾驶等领域,引领了新一轮的人工智能浪潮。然而,深度学习也被用于构建对国家安全、社会稳定和个人隐私等造成潜在威胁的技术,如近期在世界范围内引起广泛关注的深度伪造技术能够生成逼真的虚假图像及音视频内容。本文介绍了深度伪造的背景及深度伪造内容生成原理,概述和分析了针对不同类型伪造内容（图像、视频、音频等）的检测方法和数据集,最后展望了深度伪造检测和防御未来的研究方向和面临的挑战。     

基于数字水印技术的生成式人工智能标识研究

在过去的一年里,以ChatGPT为代表的深度预训练大模型展现出了异常强大的内容生成能力,引领着生成式人工智能技术的持续火热,生成式人工智能技术已经在科学和社会领域产生了广泛的影响。一方面,越来越多的高质量人工智能生成作品被源源不断地“创造”出来,给人们的生活带来了极大的便利,也为社会生产带来了更高的效率;另一方面,人工智能生成内容也带来了一些真实性、来源和版权等安全隐患,这些问题迅速凸显出来,并开始对教育、媒体、设计、客服等一系列行业产生冲击。     

基于自动编码器的深度伪造图像检测方法

基于深度学习的图像伪造方法生成的图像肉眼难辨,一旦该技术被滥用于制作虚假图像和视频,可能会对国家政治、经济、文化造成严重的负面影响,也可能会对社会生活和个人隐私构成威胁。针对上述问题,提出了一种基于自动编码器的深度伪造Deepfake图像检测方法。首先,借助高斯滤波对图像进行预处理,提取高频信息作为模型输入;然后,利用自动编码器对图像进行特征提取,并在编码器中添加注意力机制模块以获取更好的分类效果;最后,通过消融实验证明,采用所提的预处理方法和添加注意力机制模块有助于伪造图像检测。实验结果表明,与ResNet50、Xception以及InceptionV3相比,所提方法在数据集样本量较小且包含的场景丰富时,可以有效检测多种生成方法所伪造的图像,其平均准确率可达97.10%,明显优于对比方法,且其泛化性能也明显优于对比方法。     

针对深度伪造的对抗攻击算法动态APGD设计

为了防范利用深度伪造模型伪造图片，提出了一种改进的对抗样本生成算法即动态APGD（dynamic APGD，DAPGD），通过制作对抗样本替代原始图片，使深伪模型的输出产生明显失真，从而无法有效地生成伪造图片。DAPGD使用自适应衰减学习率的思路，能加快算法收敛速度，提升收敛时对抗样本的质量；同时针对APGD容易错过最佳衰减学习率时机的问题，动态地设置用于衰减学习率的检查点，能更彻底地发挥学习率衰减的作用。由于深伪模型使用随机参数导致损失函数不稳定，取消了APGD的局部早停机制，提升算法的效果与速度。针对三个主流深度伪造模型进行DAPGD攻击实验，并与原算法及其他算法进行对比，结果表明，DAPGD生成的对抗样本在输出失真大小、攻击成功比例两个指标上均能取得更好的效果，能更有效地干扰深伪模型伪造图片。     

内容安全治理问题现状及发展建议

随着网络直播、微博、微信公众号、自媒体等新技术新形态的出现,丰富了网民生活的同时,也出现了传播暴力恐怖、虚假谣言、淫秽色情等危害国家安全、公共安全、社会秩序的信息,既违背了社会主义核心价值观,也给青少年身心健康带来不良影响。特别是随着“深度伪造”等新技术新应用在网络音视频领域的运用,这些风险被进一步集聚、放大,对社会稳定造成不良影响。     

深度伪造及其取证技术综述

深度学习作为机器学习的一个具有前景的重要分支,在计算机视觉方面取得了重大突破。深度伪造(Deepfake)通常指的是使用深度学习(deep learning)进行涉及人脸和人声的多媒体伪造技术,如果被恶意滥用会给社会带来灾难。深度伪造不仅限于面部的替换,还有修改面部特征、修改表情、唇形同步、姿势变换、完整脸生成、篡改音频到视频以及文本到视频等方式。人类面部在社会、政治、经济等方面的敏感性,使得深度伪造技术威胁着社会和个人的安全。对深度伪造产物进行检测也成为数字取证领域的一个重要研究课题。为了提供对Deepfake检测研究工作的最新概述,本文描述了各种针对解决Deepfake相关问题的处理方法。本文主要参考了谷歌学术检索2018—2022共5年的深度伪造论文,分为不同类别进行分析比较,并且详细介绍了深度伪造数据集的特点以及伪造方法,简述了深度伪造技术及其基本原理,介绍了检测器在深度伪造技术数据集上的性能效果,分别从输入维度、浅层特征和深层特针对深度伪造检测技术进行分类,并对未来发展前景进行展望。     

基于自注意力胶囊网络的伪造人脸检测方法

当前以换脸为代表的伪造视频泛滥,给国家、社会和个人带来潜在威胁,有效检测该类视频对保护个人隐私和维护国家安全具有重要意义。为提高视频伪造人脸检测效果,基于可解释性好的胶囊网络,以Capsule-Forensics检测算法为基础,提出一种结合自注意力胶囊网络的伪造人脸检测方法。使用部分Xception网络作为特征提取部分,降低模型的参数量,在主体部分引入带注意力机制的胶囊结构,使模型聚焦人脸区域,将综合多维度的Focal Loss作为损失函数,提高模型对难分样例的检测效果。实验结果表明,与Capsule-Forensics算法相比,该方法能够减少模型参数量和计算量,在多种伪造类型数据集上均具有较高的准确率。     

人脸伪造检测泛化性方法综述

深度学习技术的快速发展为深度伪造的研究提供了强有力的工具,人眼越来越难区分伪造视频图像的真假.伪造的视频图像会对社会生活造成巨大的负面影响,如:金融欺诈、假新闻传播、人身欺凌等.目前,基于深度学习的假脸检测技术在多个基准数据库(如FaceForensics++)上已经达到了较高的准确率,但在跨数据库上的检测精度远低于源...     

视觉身份隐私保护：人脸匿名化研究方法

随着深度学习的广泛应用，身份伪造技术的发展越来越迅猛.各种伪造的图像和视频在社交媒体平台上的传播直接影响了公共隐私安全，人脸身份隐私保护已成为当前研究热点.本文从基于图像和视频两个方面的匿名化方法阐述和归纳了人脸隐私保护研究现状，并将人脸图像匿名化方法从图像语义修改、图像语义保持、视觉可恢复以及深度学习过程中的人脸隐私保护四个方面进行分类，将人脸视频匿名化方法从聚焦面部区域隐私的视频匿名化方法和面向生物特征隐私的视频匿名化方法两个方面进行分类.在此基础上，本文进一步介绍目前广泛使用的数据集及匿名算法评价标准，分析现有人脸匿名技术生成人脸图像的可靠性和实用性，并对此领域的未来研究进行了展望.     

基于改进CycleGAN的人脸性别伪造图像生成模型

深度伪造可以将人的声音、面部及身体动作拼接,从而合成虚假内容,用于转换性别、改变年龄等.基于生成对抗式图像翻译网络的人脸性别伪造图像存在容易改变无关图像域、人脸细节不够丰富等问题.针对这些问题,文中提出基于改进Cy-cleGAN的人脸性别伪造图像生成模型.首先,优化生成器结构,利用注意力机制与自适应残差块提取更丰富的人...     

多级特征全局一致性的伪造人脸检测

目的 随着深度伪造技术的快速发展,人脸伪造图像越来越难以鉴别,对人们的日常生活和社会稳定造成了潜在的安全威胁。尽管当前很多方法在域内测试中取得了令人满意的性能表现,但在检测未知伪造类型时效果不佳。鉴于伪造人脸图像的伪造区域和非伪造区域具有不一致的源域特征,提出一种基于多级特征全局一致性的人脸深度伪造检测方法。方法 使用人脸结构破除模块加强模型对局部细节和轻微异常信息的关注。采用多级特征融合模块使主干网络不同层级的特征进行交互学习,充分挖掘每个层级特征蕴含的伪造信息。使用全局一致性模块引导模型更好地提取伪造区域的特征表示,最终实现对人脸图像的精确分类。结果 在两个数据集上进行实验。在域内实验中,本文方法的各项指标均优于目前先进的检测方法,在高质量和低质量FaceForensics++数据集上,AUC(area under the curve)分别达到99.02%和90.06%。在泛化实验中,本文的多项评价指标相比目前主流的伪造检测方法均占优。此外,消融实验进一步验证了模型的每个模块的有效性。结论 本文方法可以较准确地对深度伪造人脸进行检测,具有优越的泛化性能,能够作为应对当前人脸伪造威胁的一种有效检测手段。