基于块间光照不一致性的深度伪造检测算法

深度伪造技术的迅速发展和广泛传播引起了社会的广泛关注,但深度伪造技术的恶意应用也给社会带来了潜在威胁。因此,如何检测出此类深度伪造内容成为热门研究课题。以往的多数深度伪造检测算法着重于捕捉像素级别的细微伪造痕迹。目前的深度伪造算法大多忽略了伪造前后的光照信息,导致原始人脸与伪造人脸之间存在一定的光照不一致性,这为使用光照不一致性来检测深度伪造提供了可能。从引入光照不一致性信息和为特定任务设计网络结构模块两个角度设计了对应的算法。针对光照的引入,通过设计对应的通道融合算法,将更多的光照不一致信息提供给网络特征提取层,从而衍生出新的网络结构。为了保证该网络结构的可移植性,将特征通道融合的过程置于网络提取信息之前,从而使所提算法能够完整移植至常见的深度伪造检测网络。针对网络结构的设计,从网络结构和损失函数设计两个角度出发,提出了基于块间相似性的光照不一致性深度伪造检测算法。对于网络结构,基于伪造图像篡改区域和背景区域不一致的特性,在网络特征层中对提取特征进行分块,通过对比块间余弦相似度得到特征层相似矩阵,使网络拟合重心更偏向于光照不一致性。在此基础上,基于特征层相似性对比方案,通过将输入图像与该图像的未篡改图像进行块间真伪性对比,为这一任务设计了独立的真实数据参考及损失函数。实验结果表明,与基线算法相比,所提算法对于深度伪造检测的准确性有明显提升。     

深度伪造视频检测技术综述

深度伪造的滥用,给国家、社会和个人带来了潜在威胁。首先,介绍了深度伪造的概念和当前发展趋势,分析了基于生成对抗网络的深度伪造视频的生成原理和模型,并介绍了视频数据处理算法及主流的深度伪造数据集;其次,综述了基于视频帧内篡改特征的检测方法,针对深度伪造视频帧内的视觉伪影、面部噪声特征的检测问题,介绍了相关机器学习、深度学习等分类算法、模型;然后,针对深度伪造视频在帧间时空状态不一致的情形,阐述了相关时间序列算法和检测方法;接着,介绍了作为检测补充手段的基于区块链溯源的防篡改公共机制和数字水印、视频指纹等信息安全方法;最后,总结了深度伪造视频检测技术的未来研究方向。     

人脸视频深度伪造检测方法综述

深度伪造（deepfake）技术的非法应用会对社会稳定、个人名誉甚至国家安全造成恶劣影响,因此针对人脸视频的深度伪造检测成为计算机视觉领域中的难点与研究热点。目前该领域的研究建立在传统人脸识别与图像分类技术基础上,通过搭建深度学习网络判别真伪,但存在数据集质量不一、多模态特征如何有效结合、模型泛化能力较差等问题。为进一步促进深度伪造检测技术的发展,对当前各类人脸视频深度伪造算法进行了全面总结,并对已有算法进行了归类、分析、比较。首先,主要介绍人脸视频深度伪造检测数据集;其次,对近三年主要的伪造视频检测方法进行总结,以特征选择为切入点,从空间特征、时空融合特征、生物特征的角度对各项检测技术进行分类整理,并对基于水印与区块链等非主流检测方法进行介绍;然后,从特征选择、迁移学习、模型设计与训练思路等方面介绍了各类检测方法所呈现出的主流趋势;最后,对全文进行总结并对未来技术发展进行展望。     

视听觉深度伪造检测技术研究综述

深度学习被广泛应用于自然语言处理、计算机视觉和无人驾驶等领域,引领了新一轮的人工智能浪潮。然而,深度学习也被用于构建对国家安全、社会稳定和个人隐私等造成潜在威胁的技术,如近期在世界范围内引起广泛关注的深度伪造技术能够生成逼真的虚假图像及音视频内容。本文介绍了深度伪造的背景及深度伪造内容生成原理,概述和分析了针对不同类型伪造内容（图像、视频、音频等）的检测方法和数据集,最后展望了深度伪造检测和防御未来的研究方向和面临的挑战。     

深度伪造生成与检测研究综述

目前用于建立和操作多媒体信息技术已经发展到了可确保高度真实感的程度。深度伪造作为一种生成式深度学习算法,可实现音频、图像、视频的伪造生成,近些年也取得了相当巨大的进步,与之对抗的深度伪造检测技术也在不断的发展中。梳理常见深度伪造生成的技术以及相关的数据集,总结其中的原理以及最新方法成果;并对深度伪造检测相关技术和数据集进行分析总结。对深度伪造生成和检测的未来研究方向进行了总结和展望。     

多级特征全局一致性的伪造人脸检测

目的 随着深度伪造技术的快速发展,人脸伪造图像越来越难以鉴别,对人们的日常生活和社会稳定造成了潜在的安全威胁。尽管当前很多方法在域内测试中取得了令人满意的性能表现,但在检测未知伪造类型时效果不佳。鉴于伪造人脸图像的伪造区域和非伪造区域具有不一致的源域特征,提出一种基于多级特征全局一致性的人脸深度伪造检测方法。方法 使用人脸结构破除模块加强模型对局部细节和轻微异常信息的关注。采用多级特征融合模块使主干网络不同层级的特征进行交互学习,充分挖掘每个层级特征蕴含的伪造信息。使用全局一致性模块引导模型更好地提取伪造区域的特征表示,最终实现对人脸图像的精确分类。结果 在两个数据集上进行实验。在域内实验中,本文方法的各项指标均优于目前先进的检测方法,在高质量和低质量FaceForensics++数据集上,AUC(area under the curve)分别达到99.02%和90.06%。在泛化实验中,本文的多项评价指标相比目前主流的伪造检测方法均占优。此外,消融实验进一步验证了模型的每个模块的有效性。结论 本文方法可以较准确地对深度伪造人脸进行检测,具有优越的泛化性能,能够作为应对当前人脸伪造威胁...     

基于改进三元组损失的伪造人脸视频检测方法

当前大部分伪造人脸检测技术使用深度学习来鉴别真实视频与伪造视频之间的特征差异,此类方法在未压缩视频上取得了不错的效果,但在检测经过压缩处理的视频时检测效果就会严重下降.针对此类问题,提出了基于改进三元组损失的伪造人脸视频检测方法.首先,使用伪影图生成器生成一幅伪影图来加深伪造人脸与真实人脸之间的特征差异;其次,使用改进的三元组损失来解决难例样本难以被正确检测的问题;最后,选用更适合人脸鉴伪的深度学习网络提取卷积特征.在FaceForensics++数据集上与目前领先的人脸鉴伪方法的对比表明,该方法检测准确率优于对比方法.     

基于增量学习的深度人脸伪造检测

【目的】随着计算机视觉、计算机图形学以及深度学习技术的发展,深度人脸伪造（DeepFake）技术取得了以假乱真的效果,若被非法利用,将给个人、社会和国家带来严重的安全隐患。已有的人脸伪造检测方法大多通过一次训练来推断或预测伪造人脸存在的某种特定“指纹”进行真伪检测,当面对新的伪造类型时,这些方法使用全部数据重新训练网络以保持其检测能力,否则检测效果将急剧下降。然而,重新训练网络需要相对大的代价,并且阻碍了模型实时学习新知识的能力。鉴于此,本文提出一种检测伪造人脸的增量学习方法。【方法】引入动态可扩展的增量学习框架,以保证模型在吸收新知识的同时能保留对旧知识的记忆;使用多分类指导二分类的方式来提高模型的分类能力,最终实现对人脸图像的精确分类。【结果】在两个公开数据集上进行实验。在实验定义的FF++扩充集和ForgeryNet扩充集上,本文方法能同时保持在新旧任务上的人脸伪造检测性能;在实验定义的ForgeryNet扩充集上,现有的人脸伪造检测方法达到了近98.33%的平均ACC(accuracy),本文方法达到了96.16%的平均ACC,但前者使用了超出后者接近3倍的存储和计算资源;将实...     

深度伪造及其取证技术综述

深度学习作为机器学习的一个具有前景的重要分支,在计算机视觉方面取得了重大突破。深度伪造(Deepfake)通常指的是使用深度学习(deep learning)进行涉及人脸和人声的多媒体伪造技术,如果被恶意滥用会给社会带来灾难。深度伪造不仅限于面部的替换,还有修改面部特征、修改表情、唇形同步、姿势变换、完整脸生成、篡改音频到视频以及文本到视频等方式。人类面部在社会、政治、经济等方面的敏感性,使得深度伪造技术威胁着社会和个人的安全。对深度伪造产物进行检测也成为数字取证领域的一个重要研究课题。为了提供对Deepfake检测研究工作的最新概述,本文描述了各种针对解决Deepfake相关问题的处理方法。本文主要参考了谷歌学术检索2018—2022共5年的深度伪造论文,分为不同类别进行分析比较,并且详细介绍了深度伪造数据集的特点以及伪造方法,简述了深度伪造技术及其基本原理,介绍了检测器在深度伪造技术数据集上的性能效果,分别从输入维度、浅层特征和深层特针对深度伪造检测技术进行分类,并对未来发展前景进行展望。     

面向轻量级深度伪造检测的无数据模型压缩

目的 尽管现有的深度伪造检测方法已在各大公开数据集上展现出了极佳的真伪鉴别性能,但考虑到运行过程中耗费的巨大内存占用和计算成本,如何实现此类模型的在线部署仍是一个具有挑战性的任务。对此,本文尝试利用无数据量化的方法开发轻量级的深度伪造检测器。方法 在保证准确率损失较少的前提下,对提前训练好的高精度深度伪造检测模型进行压缩处理,不再使用32 bit浮点数表示模型的权重参数与激活值,而是将其全部转化为低位宽的整型数值。此外,由于人脸数据涉及隐私保护问题,本文中所有的量化操作都是基于无数据场景完成的,即利用合成数据作为校准集来获取正确的激活值范围。这些数据经过不断优化迭代,完美匹配了存储在预训练模型各批归一化层中的统计信息,与原始训练数据具备非常相似的分布特征。结果 在两个经典的人脸伪造数据集FaceForensics++和Celeb-DF v2上,4种预先训练好的深度伪造检测模型ResNet50、Xception、EfficientNet-b3和MobileNetV2经过所提方法的量化压缩处理后,均能保持甚至超越原有的性能指标。即使当模型的权重和激活值被压缩为6 bit时,所得轻量级模型的最低检测准确率也能达到81%。结论 通过充分利用蕴含在深度伪造检测预训练模型中的有价值信息,本文提出了一种基于无数据模型压缩的轻量级人脸伪造检测器,该检测器能够准确高效地识别出可疑人脸样本的真实性,与此同时,检测所需的资源和时间成本大幅降低。     

深度伪造与检测技术综述

深度学习在计算机视觉领域取得了重大成功,超越了众多传统的方法.然而近年来,深度学习技术被滥用在假视频的制作上,使得以Deepfakes为代表的伪造视频在网络上泛滥成灾.这种深度伪造技术通过篡改或替换原始视频的人脸信息,并合成虚假的语音来制作色情电影、虚假新闻、政治谣言等.为了消除此类伪造技术带来的负面影响,众多学者对假...     

面向GAN生成图像的被动取证及反取证技术综述

生成对抗网络（generative adversarial network,GAN）快速发展,并在图像生成和图像编辑技术等多个方面取得成功应用。然而,若将上述技术用于伪造身份或制作虚假新闻,则会造成严重的安全隐患。多媒体取证领域的研究者面向GAN生成图像已提出了多种被动取证与反取证方法,但现阶段缺乏相关系统性综述。针对上述问题,本文首先阐述本领域的研究背景和研究意义,然后分析自然图像采集与GAN图像生成过程的区别。根据上述理论基础,详细介绍了现有GAN生成图像的被动取证技术,包括：GAN生成图像检测算法,GAN模型溯源算法和其他相关取证问题。此外,针对不同应用场景介绍基于GAN的反取证技术。最后,通过实验分析当前GAN生成图像被动取证技术所面临的挑战。本文根据对现有技术从理论和实验两方面的分析得到以下结论：现阶段,GAN生成图像的被动取证技术已在空间域和频率域形成了不同技术路线,较好地解决了简单场景下的相关取证问题。针对常见取证痕迹,基于GAN的反取证技术已能够进行有效隐藏。然而,该领域研究仍存在诸多局限：1）取证与反取证技术的可解释性不足;2）取证技术鲁棒性和泛化性较弱;3）反取证技术缺乏多特征域协同的抗分析能力等。上述问题和挑战还需要研究人员继续深入探索。     

人脸年龄合成的生成对抗网络方法综述

年龄信息作为人类生物特征识别的重要组成部分,在社会保障和数字娱乐等领域具有广泛的应用前景。人脸年龄合成技术由于其广泛的应用价值,受到了越来越多学者的重视,已经成为计算机视觉领域的重要研究方向之一。随着深度学习的快速发展,基于生成对抗网络的人脸年龄合成技术已成为研究热点。尽管基于生成对抗网络的人脸年龄合成方法取得了不错的成果,但生成的人脸年龄图像仍存在图像质量较差、真实感较低、年龄转换效果和多样性不足等问题。主要因为当前人脸年龄合成研究仍存在以下困难： 1）现有人脸年龄合成数据集的限制; 2）引入人脸年龄合成的先验知识不足; 3）人脸年龄图像的细粒度性被忽视; 4）高分辨率下的人脸年龄合成问题;5）目前人脸年龄合成方法的评价标准不规范。本文对目前人脸年龄合成技术进行全面综述,以人脸年龄合成方法为研究对象,阐述其研究现状。通过调研文献,对人脸年龄合成方法进行分类,重点介绍了基于生成对抗网络的人脸年龄合成方法。此外,本文还讨论了常用的人脸年龄合成数据集及评价指标,分析了各种人脸年龄合成方法的基本思想、特点及其局限性,对比了部分代表方法的性能,指出了该领域目前存在的挑战并提供了一些具有潜力的研究方向,为研究者们解决存在的问题提供便利。     

一种基于双流网络的Deepfakes检测技术

随着深度学习技术的飞速发展,以Deepfakes为代表的深度伪造技术开始充斥在互联网上的各个角落。Deepfakes借助于生成对抗网络和自动编码器技术,能够轻松替换人脸以及篡改人的表情信息。此类Deepfakes假视频可以制作虚假色情影片、谣言,传播假新闻,甚至影响政治选举,带来的社会影响极其恶劣。然而,针对此类伪造视频的检测技术还远远落后于生成技术,已有的工作都存在一定的局限性,并不能较好地对Deepfakes视频进行检测。本文首先对现有生成和检测工作进行综述,并分析了现有工作的缺陷,然后提出了基于EfficientNet的双流网络检测框架。通过在大规模开源数据集FaceForensics++测试,我们的检测技术可以在检测Deepfakes类假视频上平均准确率达到99%以上,并一定程度提高模型对抗压缩的能力。     

基于域对抗学习的可泛化虚假人脸检测方法研究

随着生成式对抗网络(generative adversarial networks, GAN)的快速发展,虚假人脸生成技术取得了显著进展.为了降低以假乱真的人脸生成技术给社会带来的危害,虚假人脸鉴别成为一个非常重要的课题,吸引了国内外研究者的广泛关注.然而,目前虚假人脸鉴别的研究工作相对较少,仍然有许多问题需要被解决.其中如何提升鉴别模型的迁移泛化能力是至关重要的问题,也是虚假人脸检测任务能否实际投入使用的关键所在.如何提升虚假人脸鉴别方法的泛化能力,即做到在没有见过的生成方法产生的数据上仍然准确有效非常重要.对此,提出了基于域对抗学习的可泛化虚假人脸检测模型,通过引入领域对抗分支,弱化特征提取器对于特定生成模型非鲁棒性特征的提取,模型能够抽取鲁棒性更强、泛化能力更高的特征,从而在没有见过的生成方法产生的虚假人脸图片上具有更好的鉴别表现.实验结果表明：所提出的方法能够提升鉴别模型的泛化能力,显著提升虚假人脸鉴别模型在未知生成模型产生的虚假图像上的性能.     

深度对抗视觉生成综述

深度视觉生成是计算机视觉领域的热门方向,旨在使计算机能够根据输入数据自动生成预期的视觉内容。深度视觉生成使用人工智能技术赋能相关产业,推动产业自动化、智能化改革与转型。生成对抗网络（generative adversarial networks,GANs）是深度视觉生成的有效工具,近年来受到极大关注,成为快速发展的研究方向。GANs能够接收多种模态的输入数据,包括噪声、图像、文本和视频,以对抗博弈的模式进行图像生成和视频生成,已成功应用于多项视觉生成任务。利用GANs实现真实的、多样化和可控的视觉生成具有重要的研究意义。本文对近年来深度对抗视觉生成的相关工作进行综述。首先介绍深度视觉生成背景及典型生成模型,然后根据深度对抗视觉生成的主流任务概述相关算法,总结深度对抗视觉生成目前面临的痛点问题,在此基础上分析深度对抗视觉生成的未来发展趋势。     

基于频域水印的人脸图像窜改检测认证方法

以DeepFake为代表的AI换脸技术为人们的生活带来诸多负面影响,现有的人脸窜改检测算法鲁棒性较弱,缺乏可解释性。针对这一问题提出一种离散小波变换（DWT）、离散余弦变换（DCT）、奇异值分解（SVD）相结合的人脸频域水印算法（face frequency-domain watermarking,Face-FW）,通过提取图像人脸特征并压缩加密生成二值水印嵌入图像频域以达到检测人脸窜改、认证原人脸归属人的目的,同时提出动态特征融合算法以降低Face-FW适用范围。选取人脸图像标准数据集CASIA-FaceV5和IMDB-WIKI部分图像嵌入水印并窜改人脸生成测试集CASIA-DF和IMDB-DF。实验结果表明,Face-FW在两个测试集上分别有97.6%和96.9%的检测窜改成功率,优于对比方法,并且算法能够根据非特征融合水印提供人脸认证,具有较强的鲁棒性和可解释性。     

基于自注意力胶囊网络的伪造人脸检测方法

当前以换脸为代表的伪造视频泛滥,给国家、社会和个人带来潜在威胁,有效检测该类视频对保护个人隐私和维护国家安全具有重要意义。为提高视频伪造人脸检测效果,基于可解释性好的胶囊网络,以Capsule-Forensics检测算法为基础,提出一种结合自注意力胶囊网络的伪造人脸检测方法。使用部分Xception网络作为特征提取部分,降低模型的参数量,在主体部分引入带注意力机制的胶囊结构,使模型聚焦人脸区域,将综合多维度的Focal Loss作为损失函数,提高模型对难分样例的检测效果。实验结果表明,与Capsule-Forensics算法相比,该方法能够减少模型参数量和计算量,在多种伪造类型数据集上均具有较高的准确率。