融合全局时序和局部空间特征的伪造人脸视频检测方法

近年来,深度学习在人工智能领域表现出优异的性能。基于深度学习的人脸生成和操纵技术已经能够合成逼真的伪造人脸视频,也被称作深度伪造,让人眼难辨真假。然而,这些伪造人脸视频可能会给社会带来巨大的潜在威胁,比如被用来制作政治虚假新闻,从而引发政治暴力或干扰正常选举等。因此,亟需研发对应的检测方法来主动发现伪造人脸视频。现有的方法在制作伪造人脸视频时,容易在空间上和时序上留下一些细微的伪造痕迹,比如纹理和颜色上的扭曲或脸部的闪烁等。主流的检测方法同样采用深度学习,可以被划分为两类,即基于视频帧的方法和基于视频片段的方法。前者采用卷积神经网络（Convolutional Neural Network,CNN）发现单个视频帧中的空间伪造痕迹,后者则结合循环神经网络（Recurrent Neural Network,RNN）捕捉视频帧之间的时序伪造痕迹。这些方法都是基于图像的全局信息进行决策,然而伪造痕迹一般存在于五官的局部区域。因而本文提出了一个统一的伪造人脸视频检测框架,利用全局时序特征和局部空间特征发现伪造人脸视频。该框架由图像特征提取模块、全局时序特征分类模块和局部空间特征分类模块组成。在FaceForensics++数据集上的实验结果表明,本文所提出的方法比之前的方法具有更好的检测效果。     

人脸伪造及检测技术综述

人脸伪造技术的恶意使用,不仅损害公民的肖像权和名誉权,而且会危害国家政治和经济安全。因此,针对伪造人脸图像和视频的检测技术研究具有重要的现实意义和实践价值。本文在总结人脸伪造和伪造人脸检测的关键技术与研究进展的基础上,分析现有伪造和检测技术的局限。在人脸伪造方面,主要包括利用生成对抗技术的全新人脸生成技术和基于现有人脸的人脸编辑技术,介绍生成对抗网络在人脸图像生成的发展进程,重点介绍人脸编辑技术中的人脸交换技术和人脸重现技术,从网络结构、通用性和生成效果真实性等角度对现有的研究进展进行深入阐述。在伪造人脸检测方面,根据媒体载体的差异,分为伪造人脸图像检测和伪造人脸视频检测,首先介绍利用统计分布差异、拼接残留痕迹和局部瑕疵等特征的伪造人脸图像检测技术,然后根据提取伪造特征的差异,将伪造人脸视频检测技术分为基于帧间信息、帧内信息和生理信号的伪造视频检测技术,并从特征提取方式、网络结构设计特点和使用场景类型等方面进行详细阐述。最后,分析了当前人脸伪造技术和伪造人脸检测技术的不足,提出可行的改进意见,并对未来发展方向进行展望。     

一种层次级联融合的视频目标分割方法

文章主要研究半监督视频目标分割任务,输入一个完整视频及首帧的像素级标注(掩膜),使用端到端的深度神经网络模型来预测后续帧的掩膜.该模型使用残差卷积网络进行深度特征提取,通过层次级联模块实现各层次不同分辨率特征的交互融合,以此捕捉不同尺寸的目标,并通过尺度融合模块处理视频帧的细节和语义信息,生成像素级分类标注.在主流视频...     

用于视频流人体姿态估计的时空信息感知网络

针对现有二维人体姿态估计方法应用于视频序列时由于图像质量不稳定而导致的估计精度下降和时域不连续的问题,提出一种时空信息感知网络STNet.首先利用卷积模块提取出每帧视频中人体关节点的二维空间热力图,接着利用循环卷积模块对连续帧热力图之间的时间信息进行编码.时空信息的解耦学习策略提升了姿态估计结果的时域连贯性和空间准确性...     

局部与全局相融合的孪生低照度视频增强网络

在低照度环境下拍摄到的视频往往有对比度低、噪点多、细节不清晰等问题, 严重影响后续的目标检测、分割等计算机视觉任务. 现有的低照度视频增强方法大都是基于卷积神经网络构建的, 由于卷积无法充分利用像素之间的长程依赖关系, 生成的视频往往会有部分区域细节丢失、颜色失真的问题. 针对上述问题, 提出了一种局部与全局相融合的孪生低照度视频增强网络模型, 通过基于可变形卷积的局部特征提取模块来获取视频帧的局部特征, 并且设计了一个轻量级自注意力模块来捕获视频帧的全局特征, 最后通过特征融合模块对提取到的局部特征和全局特征进行融合, 指导模型能生成颜色更真实、更具细节的增强视频. 实验结果表明, 本方法能有效提高低照度视频的亮度, 生成颜色和细节都更丰富的视频, 并且在峰值信噪比和结构相似性等评价指标中也都优于近几年提出的方法.     

基于时空域深度神经网络的野火视频烟雾检测

针对目前的烟雾检测算法主要基于单一特征或烟雾的多个动静态特征的融合导致检测精度低的问题,提出一种使用卷积神经网络和循环神经网络组合的视频烟雾检测框架来捕获烟雾在空间域和时间域中的特征信息。利用空间流网络部分对运动区域自动提取特征后进行初步的空域的判别;在将空域判断为有烟的基础上进一步通过时间流网络和循环神经网络部分累积一组连续帧之间的运动信息以区分烟雾和非烟雾区域。与现有的使用深度卷积神经网络模型进行对比实验,实验结果表明,该方法具有较高的分类检测准确率。在多个视频场景中进行测试,验证了该算法的有效性。     

多模态深度伪造及检测技术综述

随着各种深度学习生成模型在各领域的应用,生成的多媒体文件的真伪越来越难以辨别,深度伪造技术也因此得以诞生和发展.深度伪造技术通过深度学习相关技术能够篡改视频或者图片中的人脸身份信息、表情和肢体动作,以及生成特定人物的虚假语音.自2018年Deepfakes技术在社交网络上掀起换脸热潮开始,大量的深度伪造方法被提出,并展现了其在教育、娱乐等领域的潜在应用.但同时深度伪造技术在社会舆论、司法刑侦等方面产生的负面影响也不容忽视.因此有越来越多的对抗手段被提出用于防止深度伪造被不法分子所应用,如深度伪造的检测和水印.首先,针对不同模态类型的深度伪造技术以及相应的检测技术进行了回顾和总结,并根据研究目的和研究方法对现有的研究进行了分析和归类;其次,总结了近年研究中广泛使用的视频和音频数据集;最后,探讨了该领域未来发展面临的机遇和挑战.     

基于有监督注意力网络的伪造人脸视频检测

在伪造人脸视频检测中,大多数方法都以单一的卷积神经网络作为特征提取模块,提取的特征可能与人类的视觉机制不符。针对此类问题,提出基于有监督注意力网络的伪造人脸视频检测方法。基于胶囊网络检测伪造人脸视频,使用注意力分支提高对伪造人脸图像细节特征的提取能力,使用焦点损失提高模型对难检测样本的检测能力。在数据集FaceForensics++上的实验结果表明,提出方案有更优越的性能。     

融合非局部神经网络的行为检测模型

针对在视频行为检测中卷积神经网络(CNN)对时域信息理解能力不足的问题,提出了一种融合非局部神经网络的行为检测模型.模型采用一种双分支的CNN结构,分别提取视频的空间特征和运动特征.将视频单帧和视频连续帧序列作为网络输入,空间网络对视频当前帧进行2D CNN特征提取,时空网络采用融合非局部模块的3D CNN来捕获视频帧...     

基于多尺度Transformer融合多域信息的伪造人脸检测

当前,基于Deepfakes等深度伪造技术生成的“换脸”类伪造视频泛滥,给公民个人隐私和国家政治安全带来巨大威胁,为此,研究视频中深度伪造人脸检测技术具有重要意义。针对已有伪造人脸检测方法存在的面部特征提取不充分、泛化能力弱等不足,提出一种基于多尺度Transformer对多域信息进行融合的伪造人脸检测方法。基于多域特征融合的思路,同时从视频帧的频域与RGB域进行特征提取,提高模型的泛化性;联合EfficientNet和多尺度Transformer,设计多层级的特征提取网络以提取更精细的伪造特征。在开源数据集上的测试结果表明,相比已有方法,所提方法具有更好的检测效果;同时在跨数据集上的实验结果证明了所提模型具有较好的泛化性能。     

基于篡改伪影的深度伪造检测方法

随着深度伪造（Deepfake）技术的不断发展,犯罪分子可以利用造假图片伪造不在场证明,从而误导侦查方向以逃避法律责任。现有多数检测方法依赖于数据驱动,在跨压缩率、跨分辨率方面鲁棒性不强。研究Deepfake视频在脸部区域所遗留的伪影,建立一种基于Xception的双流网络检测模型,以实现对Deepfake图片的自动检测。利用Xception网络提取图片的全局空域特征,对脸部区域进行有效遮挡,凸显出脸部伪影并提取伪影特征。在此基础上,将空域特征与伪造特征2个支流的预测结果进行融合判别。在Deepfakes数据集上的实验结果表明,该模型的测试精度高达0.986 4。     

基于改进三元组损失的伪造人脸视频检测方法

当前大部分伪造人脸检测技术使用深度学习来鉴别真实视频与伪造视频之间的特征差异,此类方法在未压缩视频上取得了不错的效果,但在检测经过压缩处理的视频时检测效果就会严重下降.针对此类问题,提出了基于改进三元组损失的伪造人脸视频检测方法.首先,使用伪影图生成器生成一幅伪影图来加深伪造人脸与真实人脸之间的特征差异;其次,使用改进的三元组损失来解决难例样本难以被正确检测的问题;最后,选用更适合人脸鉴伪的深度学习网络提取卷积特征.在FaceForensics++数据集上与目前领先的人脸鉴伪方法的对比表明,该方法检测准确率优于对比方法.     

光流与纹理特征融合的人脸活体检测算法

针对照片与视频重放这一常见人脸识别欺诈手段,利用人脸攻击图像的语义信息提出一种基于光流与纹理特征融合的人脸活体检测算法:采集连续两帧待检测人脸图像,通过光流法及人脸检测方法生成人脸区域光流场变化图,将其与原始RGB图像输入至2通道卷积神经网络提取并融合得到人脸动-静态特征,基于融合特征实现真实人脸与欺诈人脸分类.此外,...     

多级特征全局一致性的伪造人脸检测

目的 随着深度伪造技术的快速发展,人脸伪造图像越来越难以鉴别,对人们的日常生活和社会稳定造成了潜在的安全威胁。尽管当前很多方法在域内测试中取得了令人满意的性能表现,但在检测未知伪造类型时效果不佳。鉴于伪造人脸图像的伪造区域和非伪造区域具有不一致的源域特征,提出一种基于多级特征全局一致性的人脸深度伪造检测方法。方法 使用人脸结构破除模块加强模型对局部细节和轻微异常信息的关注。采用多级特征融合模块使主干网络不同层级的特征进行交互学习,充分挖掘每个层级特征蕴含的伪造信息。使用全局一致性模块引导模型更好地提取伪造区域的特征表示,最终实现对人脸图像的精确分类。结果 在两个数据集上进行实验。在域内实验中,本文方法的各项指标均优于目前先进的检测方法,在高质量和低质量FaceForensics++数据集上,AUC(area under the curve)分别达到99.02%和90.06%。在泛化实验中,本文的多项评价指标相比目前主流的伪造检测方法均占优。此外,消融实验进一步验证了模型的每个模块的有效性。结论 本文方法可以较准确地对深度伪造人脸进行检测,具有优越的泛化性能,能够作为应对当前人脸伪造威胁...     

基于自动编码器的深度伪造图像检测方法

基于深度学习的图像伪造方法生成的图像肉眼难辨,一旦该技术被滥用于制作虚假图像和视频,可能会对国家政治、经济、文化造成严重的负面影响,也可能会对社会生活和个人隐私构成威胁。针对上述问题,提出了一种基于自动编码器的深度伪造Deepfake图像检测方法。首先,借助高斯滤波对图像进行预处理,提取高频信息作为模型输入;然后,利用自动编码器对图像进行特征提取,并在编码器中添加注意力机制模块以获取更好的分类效果;最后,通过消融实验证明,采用所提的预处理方法和添加注意力机制模块有助于伪造图像检测。实验结果表明,与ResNet50、Xception以及InceptionV3相比,所提方法在数据集样本量较小且包含的场景丰富时,可以有效检测多种生成方法所伪造的图像,其平均准确率可达97.10%,明显优于对比方法,且其泛化性能也明显优于对比方法。     

时空双路3D残差卷积网络的视频烟雾检测

现有的视频烟雾检测方法大多通过运动检测提取疑似烟区,并依据经验手工设计提取烟雾特征,在复杂场景中检测准确率不高。针对以上问题,提出了一种基于时空双路3D残差卷积网络的视频烟雾检测方法,基于混合高斯背景模型与原始视频帧的小波低频分量差进行疑似烟区提取,其次构造时空双路3D残差卷积神经网络,并引入注意力机制加权融合烟雾时空域特征,实现端对端的烟雾识别。实验结果表明,该方法可以得到更为完整的疑似烟区,尤其对于过于稀薄和浓厚的烟雾分割效果较好,且相比于传统的烟雾检测方法和2D的烟雾检测卷积网络,在烟雾检测准确率上得到了提高。     

空域频域相结合的唇型篡改检测方法

近年来,社交网络中的“换脸”视频层出不穷,对说话者进行唇型篡改是其中的视频代表之一,这给大众生活增添娱乐的同时,对于网络空间中的个人隐私、财产安全也带来了不小隐患。大多数唇型篡改检测方法在无损条件下取得了较好的表现,但广泛存在于社交媒体平台、人脸识别等场景中的压缩操作,在节约像素和时间冗余的同时,会对视频质量造成影响,破坏空域上像素与像素、帧与帧之间的连贯完整性,导致其检测性能的下降,从而引发对真实视频的错判情况。当空域信息无法提供足够有效的特征时,能够抵抗压缩干扰的频域信息就自然而然地成为重点研究对象。针对这一问题,通过分析频率信息在图像结构和梯度反馈上的优势,提出了空域频域相结合的唇型篡改检测方法,有效利用空域、频域信息的各自特点。对于空域上的唇型特征,设计了自适应提取网络和轻量级的注意力模块;对于频域上的频率特征,设计了不同分量的分离提取与融合模块。随后,通过对空域上的唇型特征和频域上的频率特征进行有侧重的融合,保留更多关键纹理信息。此外,在训练中设计细粒度约束,分开真假唇型特征类间距离的同时,拉近类内距离。实验结果表明,得益于频率信息,所提方法能有效改善压缩情况下的检测准确性,...     

基于注意力机制的3D DenseNet人体动作识别方法

传统人体动作识别算法无法充分利用视频中人体动作的时空信息,且识别准确率较低。提出一种新的三维密集卷积网络人体动作识别方法。将双流网络作为基本框架,在空间网络中运用添加注意力机制的三维密集网络提取视频中动作的表观信息特征,结合时间网络对连续视频序列运动光流的运动信息进行特征提取,经过时空特征和分类层的融合后得到最终的动作识别结果。同时为更准确地提取特征并对时空网络之间的相互作用进行建模,在双流网络之间加入跨流连接对时空网络进行卷积层的特征融合。在UCF101和HMDB51数据集上的实验结果表明,该模型识别准确率分别为94.52%和69.64%,能够充分利用视频中的时空信息,并提取运动的关键信息。     

基于手势特征融合的操作动作识别

针对动态复杂场景下的操作动作识别,提出一种基于手势特征融合的动作识别框架,该框架主要包含RGB视频特征提取模块、手势特征提取模块与动作分类模块。其中RGB视频特征提取模块主要使用I3D网络提取RGB视频的时间和空间特征;手势特征提取模块利用Mask R-CNN网络提取操作者手势特征;动作分类模块融合上述特征,并输入到分类器中进行分类。在EPIC-Kitchens数据集上,提出的方法识别抓取手势的准确性高达89.63%,识别综合动作的准确度达到了74.67%。