融合全局时序和局部空间特征的伪造人脸视频检测方法

近年来,深度学习在人工智能领域表现出优异的性能。基于深度学习的人脸生成和操纵技术已经能够合成逼真的伪造人脸视频,也被称作深度伪造,让人眼难辨真假。然而,这些伪造人脸视频可能会给社会带来巨大的潜在威胁,比如被用来制作政治虚假新闻,从而引发政治暴力或干扰正常选举等。因此,亟需研发对应的检测方法来主动发现伪造人脸视频。现有的方法在制作伪造人脸视频时,容易在空间上和时序上留下一些细微的伪造痕迹,比如纹理和颜色上的扭曲或脸部的闪烁等。主流的检测方法同样采用深度学习,可以被划分为两类,即基于视频帧的方法和基于视频片段的方法。前者采用卷积神经网络（Convolutional Neural Network,CNN）发现单个视频帧中的空间伪造痕迹,后者则结合循环神经网络（Recurrent Neural Network,RNN）捕捉视频帧之间的时序伪造痕迹。这些方法都是基于图像的全局信息进行决策,然而伪造痕迹一般存在于五官的局部区域。因而本文提出了一个统一的伪造人脸视频检测框架,利用全局时序特征和局部空间特征发现伪造人脸视频。该框架由图像特征提取模块、全局时序特征分类模块和局部空间特征分类模块组成。在FaceForensics++数据集上的实验结果表明,本文所提出的方法比之前的方法具有更好的检测效果。     

视觉身份隐私保护：人脸匿名化研究方法

随着深度学习的广泛应用，身份伪造技术的发展越来越迅猛.各种伪造的图像和视频在社交媒体平台上的传播直接影响了公共隐私安全，人脸身份隐私保护已成为当前研究热点.本文从基于图像和视频两个方面的匿名化方法阐述和归纳了人脸隐私保护研究现状，并将人脸图像匿名化方法从图像语义修改、图像语义保持、视觉可恢复以及深度学习过程中的人脸隐私保护四个方面进行分类，将人脸视频匿名化方法从聚焦面部区域隐私的视频匿名化方法和面向生物特征隐私的视频匿名化方法两个方面进行分类.在此基础上，本文进一步介绍目前广泛使用的数据集及匿名算法评价标准，分析现有人脸匿名技术生成人脸图像的可靠性和实用性，并对此领域的未来研究进行了展望.     

基于多尺度Transformer融合多域信息的伪造人脸检测

当前,基于Deepfakes等深度伪造技术生成的“换脸”类伪造视频泛滥,给公民个人隐私和国家政治安全带来巨大威胁,为此,研究视频中深度伪造人脸检测技术具有重要意义。针对已有伪造人脸检测方法存在的面部特征提取不充分、泛化能力弱等不足,提出一种基于多尺度Transformer对多域信息进行融合的伪造人脸检测方法。基于多域特征融合的思路,同时从视频帧的频域与RGB域进行特征提取,提高模型的泛化性;联合EfficientNet和多尺度Transformer,设计多层级的特征提取网络以提取更精细的伪造特征。在开源数据集上的测试结果表明,相比已有方法,所提方法具有更好的检测效果;同时在跨数据集上的实验结果证明了所提模型具有较好的泛化性能。     

人脸深度伪造主动防御技术综述

深度生成模型的飞速发展推动了人脸深度伪造技术的进步,以Deepfake为代表的深度伪造模型也得到了十分广泛的应用。深度伪造技术可以对人脸图像或视频进行有目的的操纵,一方面,这种技术广泛应用于电影特效、娱乐场景中,丰富了人们的娱乐生活,促进了互联网多媒体的传播;另一方面,深度伪造也应用于一些可能造成不良影响的场景,给公民的名誉权、肖像权造成了危害,同时也给国家安全和社会稳定带来了极大的威胁,因此对深度伪造防御技术的研究日益迫切。现有的防御技术主要分为被动检测和主动防御,而被动检测的方式无法消除伪造人脸在广泛传播中造成的影响,难以做到“事前防御”,因此主动防御的思想得到了研究人员的广泛关注。然而,目前学术界有关深度伪造防御的综述主要关注基于检测的被动式防御方法,几乎没有以深度伪造主动防御技术为重点的综述。基于此,本文对当前学术界提出的人脸深度伪造主动防御技术进行梳理、总结和讨论。首先阐述了深度伪造主动防御的提出背景和主要思想,并对现有的人脸深度伪造主动防御算法进行汇总和归类,然后对各类主动防御算法的技术原理、性能、优缺点等进行了系统性的总结,同时介绍了研究常用的数据集和评估方法,最后对深度...     

基于有监督注意力网络的伪造人脸视频检测

在伪造人脸视频检测中,大多数方法都以单一的卷积神经网络作为特征提取模块,提取的特征可能与人类的视觉机制不符。针对此类问题,提出基于有监督注意力网络的伪造人脸视频检测方法。基于胶囊网络检测伪造人脸视频,使用注意力分支提高对伪造人脸图像细节特征的提取能力,使用焦点损失提高模型对难检测样本的检测能力。在数据集FaceForensics++上的实验结果表明,提出方案有更优越的性能。     

针对低质量视频的双支流人脸伪造检测方法

随着人脸伪造技术不断的发展,如今经过伪造后的视频和图片的人脸伪造质量大幅度提升,这对人身安全、财产安全乃至公共安全存在一定的危害性。因此,迫切需要一种有效的检测方法来区分真假人脸。然而,现有的检测方法面对低质量的虚假人脸视频时存在一定的局限性,即面对压缩过后的低质量视频检测性能较差,此外,泛化性能较差,检测准确率有所下降。为了提升检测网络的准确性和泛化性,将语义信息和噪声信息相结合,提出一个双支流网络,在关注图像语义信息的同时通过高频噪声信息展示出伪造区域和真实区域的不一致性。利用高频噪声信息暴露出的不一致性,重点关注图像语义信息中的伪造痕迹。交互模块增进语义信息和高频信息之间的交互性与融合性。在FaceForensics++数据集进行了训练和测试,并在Celeb-DF数据集上评估该模型的跨数据集泛化性能。从实验结果中可以证明该模型的有效性和可靠性。     

一种基于双流网络的Deepfakes检测技术

随着深度学习技术的飞速发展,以Deepfakes为代表的深度伪造技术开始充斥在互联网上的各个角落。Deepfakes借助于生成对抗网络和自动编码器技术,能够轻松替换人脸以及篡改人的表情信息。此类Deepfakes假视频可以制作虚假色情影片、谣言,传播假新闻,甚至影响政治选举,带来的社会影响极其恶劣。然而,针对此类伪造视频的检测技术还远远落后于生成技术,已有的工作都存在一定的局限性,并不能较好地对Deepfakes视频进行检测。本文首先对现有生成和检测工作进行综述,并分析了现有工作的缺陷,然后提出了基于EfficientNet的双流网络检测框架。通过在大规模开源数据集FaceForensics++测试,我们的检测技术可以在检测Deepfakes类假视频上平均准确率达到99%以上,并一定程度提高模型对抗压缩的能力。     

基于多级时空域3D卷积的换脸视频检测方法

近年来,视频换脸技术发展迅速。该技术可被用于伪造视频来影响政治行动和获得不当利益,从而给社会带来严重危害,目前已经引起了各国政府和舆论的广泛关注。本文通过分析现有的主流视频换脸生成技术和检测技术,指出当前主流的生成方法在时域和空域中均具有伪造痕迹和生成损失。而当前基于神经网络检测合成人脸视频的算法大部分方法只考虑了空域的单幅图像特征,并且在实际检测中有明显的过拟合问题。针对目前检测方法的不足,本文提出一种高效的基于时空域结合的检测算法。该方法同时对视频换脸生成结果在空域与时域中的伪造痕迹进行捕捉,其中,针对单帧的空域特征设计了全卷积网络模块,该模块采用3D卷积结构,能够精确地提取视频帧阵列中每帧的伪造痕迹;针对帧阵列的时域特征设计了卷积长短时记忆网络模块,该模块能够检测伪造视频帧之间的时序伪造痕迹;最后,根据特征分类设计特征网络金字塔网络结构,该结构能够融合不同尺寸的时空域特征,通过多尺度融合来提高分类效果,并减少过拟合现象。与现有方法相比,该方法在训练中的收敛效果和分类效果方面有明显优势。除此之外,我们在保证检测准确率的前提下采用较少的参数,相比现有结构而言训练效率更高。     

多模态深度伪造及检测技术综述

随着各种深度学习生成模型在各领域的应用,生成的多媒体文件的真伪越来越难以辨别,深度伪造技术也因此得以诞生和发展.深度伪造技术通过深度学习相关技术能够篡改视频或者图片中的人脸身份信息、表情和肢体动作,以及生成特定人物的虚假语音.自2018年Deepfakes技术在社交网络上掀起换脸热潮开始,大量的深度伪造方法被提出,并展现了其在教育、娱乐等领域的潜在应用.但同时深度伪造技术在社会舆论、司法刑侦等方面产生的负面影响也不容忽视.因此有越来越多的对抗手段被提出用于防止深度伪造被不法分子所应用,如深度伪造的检测和水印.首先,针对不同模态类型的深度伪造技术以及相应的检测技术进行了回顾和总结,并根据研究目的和研究方法对现有的研究进行了分析和归类;其次,总结了近年研究中广泛使用的视频和音频数据集;最后,探讨了该领域未来发展面临的机遇和挑战.     

基于重构误差的无监督人脸伪造视频检测

目前有监督的人脸伪造视频检测方法需要大量标注数据。为解决视频伪造方法迭代快、种类多等现实问题，将时序异常检测中的无监督思想引入人脸伪造视频检测，将伪造视频检测任务转为无监督的视频异常检测任务，提出一种基于重构误差的无监督人脸伪造视频检测模型。首先，抽取待检测视频中连续帧的人脸特征点序列；其次，基于偏移特征、局部特征、时序特征等多粒度信息对待检测视频中人脸特征点序列进行重构；然后，计算原始序列与重构序列之间的重构误差；最后，根据重构误差的波峰频率计算得分对伪造视频进行自动检测。实验结果表明，在FaceShifter、FaceSwap等人脸视频伪造方法上，与LRNet(Landmark Recurrent Network)、Xception-c23等检测方法相比，所提方法的检测性能的曲线下方面积（AUC）最多增加了27.6%，移植性能的AUC最多增加了30.4%。     

数字媒体取证技术综述

面对每天有数以百万计通过网络传播的多媒体数据,到底哪些内容是真实可信的,虚假内容的背后又经历了哪些篡改？数字取证技术将给出答案。该技术不预先嵌入水印,而是直接分析多媒体数据的内容,达到辨别真实性的目的。任何篡改和伪造都会在一定程度上破坏原始多媒体数据本身固有特征的完整性,由于其具有一致性和独特性,可作为自身的“固有指纹”,用于鉴别篡改文件。随着篡改媒体的数量与日俱增,社会稳定甚至国家安全受到了严重威胁。特别地,随着深度学习技术的快速发展,虚假媒体与真实媒体之间的感官差距越来越小,这对媒体取证研究提出了巨大挑战,并使得多媒体取证成为信息安全领域一个重要的研究方向。因此,目前迫切需要能够检测虚假多媒体内容和避免危险虚假信息传播的技术和工具。本文旨在对过去多媒体取证领域所提出的优秀检测取证算法进行总结。除了回顾传统的媒体取证方法,还将介绍基于深度学习的方法。本文针对当今主流的多媒体篡改对象：图像、视频和语音分别进行总结,并针对每种媒体形式,分别介绍传统篡改方法和基于AI（artificial intelligence）生成的篡改方法,并介绍了已公开的大规模数据集以及相关应用的情况,同时探讨了多媒体取证领域未来可能的发展方向。     

基于频域水印的人脸图像窜改检测认证方法

以DeepFake为代表的AI换脸技术为人们的生活带来诸多负面影响,现有的人脸窜改检测算法鲁棒性较弱,缺乏可解释性。针对这一问题提出一种离散小波变换（DWT）、离散余弦变换（DCT）、奇异值分解（SVD）相结合的人脸频域水印算法（face frequency-domain watermarking,Face-FW）,通过提取图像人脸特征并压缩加密生成二值水印嵌入图像频域以达到检测人脸窜改、认证原人脸归属人的目的,同时提出动态特征融合算法以降低Face-FW适用范围。选取人脸图像标准数据集CASIA-FaceV5和IMDB-WIKI部分图像嵌入水印并窜改人脸生成测试集CASIA-DF和IMDB-DF。实验结果表明,Face-FW在两个测试集上分别有97.6%和96.9%的检测窜改成功率,优于对比方法,并且算法能够根据非特征融合水印提供人脸认证,具有较强的鲁棒性和可解释性。     

基于自注意力胶囊网络的伪造人脸检测方法

当前以换脸为代表的伪造视频泛滥,给国家、社会和个人带来潜在威胁,有效检测该类视频对保护个人隐私和维护国家安全具有重要意义。为提高视频伪造人脸检测效果,基于可解释性好的胶囊网络,以Capsule-Forensics检测算法为基础,提出一种结合自注意力胶囊网络的伪造人脸检测方法。使用部分Xception网络作为特征提取部分,降低模型的参数量,在主体部分引入带注意力机制的胶囊结构,使模型聚焦人脸区域,将综合多维度的Focal Loss作为损失函数,提高模型对难分样例的检测效果。实验结果表明,与Capsule-Forensics算法相比,该方法能够减少模型参数量和计算量,在多种伪造类型数据集上均具有较高的准确率。     

基于近红外与可见光双目视觉的活体人脸检测方法

针对人脸识别系统易受伪造攻击的问题,提出了一种基于近红外与可见光双目视觉的活体人脸检测方法。首先,采用近红外与可见光双目装置同步获取人脸图像,提取两图像的人脸特征点,利用双目关系实现特征点的匹配并获取其深度信息,再利用深度信息进行三维点云重建;然后,将全部人脸特征点划分为四个区域,计算各区域内人脸特征点在深度方向的平均方差;接着,选取人脸关键特征点,以鼻尖点为参照点,计算鼻尖点到人脸关键特征点之间的空间距离;最后,利用人脸特征点的深度值方差和空间距离来构造特征向量,使用支持向量机（SVM）实现活体人脸判断。实验结果表明,所提方法能够准确检测活体人脸以及有效抵御伪造人脸的攻击,在实验测试中达到99.0%的识别率,在准确性和鲁棒性上优于利用人脸特征点深度信息进行检测的同类算法。     

多级特征全局一致性的伪造人脸检测

目的 随着深度伪造技术的快速发展,人脸伪造图像越来越难以鉴别,对人们的日常生活和社会稳定造成了潜在的安全威胁。尽管当前很多方法在域内测试中取得了令人满意的性能表现,但在检测未知伪造类型时效果不佳。鉴于伪造人脸图像的伪造区域和非伪造区域具有不一致的源域特征,提出一种基于多级特征全局一致性的人脸深度伪造检测方法。方法 使用人脸结构破除模块加强模型对局部细节和轻微异常信息的关注。采用多级特征融合模块使主干网络不同层级的特征进行交互学习,充分挖掘每个层级特征蕴含的伪造信息。使用全局一致性模块引导模型更好地提取伪造区域的特征表示,最终实现对人脸图像的精确分类。结果 在两个数据集上进行实验。在域内实验中,本文方法的各项指标均优于目前先进的检测方法,在高质量和低质量FaceForensics++数据集上,AUC(area under the curve)分别达到99.02%和90.06%。在泛化实验中,本文的多项评价指标相比目前主流的伪造检测方法均占优。此外,消融实验进一步验证了模型的每个模块的有效性。结论 本文方法可以较准确地对深度伪造人脸进行检测,具有优越的泛化性能,能够作为应对当前人脸伪造威胁的一种有效检测手段。     

结合图像块比较与残差图估计的人脸伪造检测

目的 由于不同伪造类型样本的数据分布差距较大,现有人脸伪造检测方法的准确度不够高,而且泛化性能差。为此,本文引入“图像块归属纯净性”和“残差图估计可靠性”的概念,提出了基于图像块比较和残差图估计的人脸伪造检测方法。方法 除了骨干网络,本文的人脸伪造检测神经网络主要由纯净图像块比较模块和可靠残差图估计模块两部分组成。为了避免在同时包含人脸和背景像素的图像块上提取的混杂特征对于图像块比较的干扰,纯净图像块比较模块中选择只包含人脸像素的纯净人脸图像块和只包含背景像素的纯净背景图像块,通过比较两种图像块纯净特征之间的差异来检测伪造图像,图像块的纯净性保障了特征提取的纯净性,从而提高了特征比较的鲁棒性。考虑到靠近伪造边缘的像素比远离伪造边缘的像素具有较高的残差估计准确度,本文在可靠残差图估计模块中根据像素到伪造边缘的距离设计了一个距离场加权的残差损失来引导网络的训练过程,使网络重点关注输入图像与对应真实图像在伪造边缘附近的差异,对于可靠信息的关注进一步增强了伪造检测的鲁棒性。结果 在FF++(FaceForensics++)数据集上的测试结果显示:与对比算法中性能最好的F2Trans-B相比,本文方法的准确率和AUC(area under the ROC curve)指标分别提高了2.49%和3.31%,在FS(FaceSwap)与F2F(Face2Face)两种伪造数据上的准确率指标分别提高了6.01%和3.99%。在泛化性能方面,与11种已有方法在交叉数据集上的测试结果显示:本文方法与其中性能最好的方法相比,在CDF(Celeb-DF)数据集上的视频AUC指标和图像AUC指标分别提高了1.85%和1.03%。结论 与对比方法相比,由于提高了特征信息的纯净性和可靠性,本文提出的人脸图像伪造检测模型的泛化能力和准确率优于对比方法。     

语音伪造与鉴伪的发展与挑战

本文对语音伪造与鉴伪的发展进行了梳理与阐释。针对语音伪造的适用场景与关键技术点,分别对身份风格伪造、音色与韵律伪造、语音模拟三大核心语音伪造技术的基本概念、发展历程、优势与不足进行梳理与分析。针对语音伪造的应对技术语音鉴伪技术,首先介绍整理了针对性较强、面向参数式语音伪造、拼接式语音伪造与语音模拟技术框架的应对技术,在此基础上介绍了具有普适性更强的基于深度鉴别网络语音鉴伪研究进展。在此基础上,本文针对语音伪造技术所面临口语化、低资源的挑战,对未来多风格、低成本、鲁棒性发展趋势进行分析。对于语音鉴伪,本文从语料库、特征挖掘、异常检测三个角度对未来的研究重点进行诠释。     

利用Harris特征点和环形均值描述的图像区域复制篡改的被动取证

提出一种利用Harris特征点和环形均值描述的图像区域复制篡改检测算法。首先对图像进行自适应维纳滤波,并利用Harris算子提取图像的特征点,然后通过对每个特征点的环形邻域进行均值描述生成特征向量矩阵,并采用字典排序和阈值化处理进行相似性匹配,从而确定候选匹配点,最后利用RANSAC算法剔除错误的匹配点,实现复制和篡改区域的标识定位。实验结果表明,算法对于复制区域的旋转和翻转变换具有较强的鲁棒性,并且可以有效抵抗常见的后处理攻击,包括高斯模糊、加性高斯白噪声、JPEG压缩以及它们的混合操作,尤其能够抵抗非显著视觉结构的平坦区域和小区域的复制、粘贴、篡改操作。     

数字彩色图像拷贝－变换－移动篡改检测

针对拷贝-变换-移动篡改技术,提出基于尺度不变特征变换（SIFT）特征点的检测算法。该算法利用快速匹配方法得到互相匹配的SIFT特征点作为种子点,根据SIFT特征点的尺度和方向信息制定合适的生长策略逐步生长出被篡改区域。实验结果证明,该算法对常用的润色操作和JPEG压缩有较好的稳健性。     

下采样对数字图像伪造检测的影响分析

在数字图像伪造检测中,取证过程容易导致伪造痕迹丢失,造成图像内容鉴别困难。为此,研究数字图像伪造检测方法的可靠性。给出图像复制-移动伪造检测流程,分析下采样处理对图像伪造检测的影响。理论分析与实验结果表明,在一定情况下,下采样处理会移除数字图像的伪造痕迹,影响检测结果。