基于自注意力胶囊网络的伪造人脸检测方法

当前以换脸为代表的伪造视频泛滥,给国家、社会和个人带来潜在威胁,有效检测该类视频对保护个人隐私和维护国家安全具有重要意义。为提高视频伪造人脸检测效果,基于可解释性好的胶囊网络,以Capsule-Forensics检测算法为基础,提出一种结合自注意力胶囊网络的伪造人脸检测方法。使用部分Xception网络作为特征提取部分,降低模型的参数量,在主体部分引入带注意力机制的胶囊结构,使模型聚焦人脸区域,将综合多维度的Focal Loss作为损失函数,提高模型对难分样例的检测效果。实验结果表明,与Capsule-Forensics算法相比,该方法能够减少模型参数量和计算量,在多种伪造类型数据集上均具有较高的准确率。     

人脸伪造及检测技术综述

人脸伪造技术的恶意使用,不仅损害公民的肖像权和名誉权,而且会危害国家政治和经济安全。因此,针对伪造人脸图像和视频的检测技术研究具有重要的现实意义和实践价值。本文在总结人脸伪造和伪造人脸检测的关键技术与研究进展的基础上,分析现有伪造和检测技术的局限。在人脸伪造方面,主要包括利用生成对抗技术的全新人脸生成技术和基于现有人脸的人脸编辑技术,介绍生成对抗网络在人脸图像生成的发展进程,重点介绍人脸编辑技术中的人脸交换技术和人脸重现技术,从网络结构、通用性和生成效果真实性等角度对现有的研究进展进行深入阐述。在伪造人脸检测方面,根据媒体载体的差异,分为伪造人脸图像检测和伪造人脸视频检测,首先介绍利用统计分布差异、拼接残留痕迹和局部瑕疵等特征的伪造人脸图像检测技术,然后根据提取伪造特征的差异,将伪造人脸视频检测技术分为基于帧间信息、帧内信息和生理信号的伪造视频检测技术,并从特征提取方式、网络结构设计特点和使用场景类型等方面进行详细阐述。最后,分析了当前人脸伪造技术和伪造人脸检测技术的不足,提出可行的改进意见,并对未来发展方向进行展望。     

基于改进三元组损失的伪造人脸视频检测方法

当前大部分伪造人脸检测技术使用深度学习来鉴别真实视频与伪造视频之间的特征差异,此类方法在未压缩视频上取得了不错的效果,但在检测经过压缩处理的视频时检测效果就会严重下降.针对此类问题,提出了基于改进三元组损失的伪造人脸视频检测方法.首先,使用伪影图生成器生成一幅伪影图来加深伪造人脸与真实人脸之间的特征差异;其次,使用改进的三元组损失来解决难例样本难以被正确检测的问题;最后,选用更适合人脸鉴伪的深度学习网络提取卷积特征.在FaceForensics++数据集上与目前领先的人脸鉴伪方法的对比表明,该方法检测准确率优于对比方法.     

基于非关键掩码和注意力机制的深度伪造人脸篡改视频检测方法

自深度伪造技术(Deepfake)被提出以来,其非法应用对个人、社会、国家安全造成了恶劣影响,存在巨大隐患,因此针对人脸视频的深度伪造检测是计算机视觉领域中的热点及难点问题。针对上述问题,提出了一种基于非关键掩码和CA＿S3D模型的深度伪造视频检测方法。该方法首先将人脸图像划分为关键区域和非关键区域,通过对非关键区域掩码的处理,提高了深度神经网络对人脸图像关键区域的关注程度,减少了无关信息对深度神经网络的影响和干扰;接着在S3D网络中引入上下文注意力模块,增强了对样本数据信息长程依赖的捕获能力,提高了对关键通道和特征的关注程度。实验结果表明,该方法在DFDC数据集上得到了明显的性能提升,准确率从83.85%提升到了90.10%,AUC值从0.931提升到了0.979;同时与现有的深度伪造视频检测方法进行了对比,所提方法的表现优于现有方法,验证了该方法的有效性。     

基于双重注意力和光流估计的人脸替换方法

视频人脸替换中的关键问题是如何更好地重建人脸图像、融合图像和保证视频的连续性，为了提升重建图像和人脸掩模质量，解决视频播放不自然问题，提出一种基于双重注意力机制和光流估计的自动人脸替换方法。人脸重建网络以生成对抗网络为主体，为了提升网络的特征提取能力，在人脸重建网络中引入双重注意力模块，并使用深度可分离卷积替代模块中部分卷积，降低引入模块增加的网络计算量。针对人脸重建后前后帧时间域关系丢失的现象，添加一种基于光流估计的视频帧处理模块和平滑视频帧方法。实验结果表明，该方法相比FaceSwap、DeepFakes和FaceShifter替换方法能够更好地保持目标视频人脸的颜色、姿态和表情，使视频具有更好的连续性，提升人脸替换视频质量。     

多关键帧特征交互的人脸篡改视频检测

目的 深度伪造是新兴的一种使用深度学习手段对图像和视频进行篡改的技术,其中针对人脸视频进行的篡改对社会和个人有着巨大的威胁。目前,利用时序或多帧信息的检测方法仍处于初级研究阶段,同时现有工作往往忽视了从视频中提取帧的方式对检测的意义和效率的问题。针对人脸交换篡改视频提出了一个在多个关键帧中进行帧上特征提取与帧间交互的高效检测框架。方法 从视频流直接提取一定数量的关键帧,避免了帧间解码的过程;使用卷积神经网络将样本中单帧人脸图像映射到统一的特征空间;利用多层基于自注意力机制的编码单元与线性和非线性的变换,使得每帧特征能够聚合其他帧的信息进行学习与更新,并提取篡改帧图像在特征空间中的异常信息;使用额外的指示器聚合全局信息,作出最终的检测判决。结果 所提框架在FaceForensics++的3个人脸交换数据集上的检测准确率均达到96.79%以上;在Celeb-DF数据集的识别准确率达到了99.61%。在检测耗时上的对比实验也证实了使用关键帧作为样本对检测效率的提升以及本文所提检测框架的高效性。结论 本文所提出的针对人脸交换篡改视频的检测框架通过提取关键帧减少视频级检测中的计算成本和时间消耗,使用卷积神经网络将每帧的人脸图像映射到特征空间,并利用基于自注意力的帧间交互学习机制,使得每帧特征之间可以相互关注,学习到有判别性的信息,使得检测结果更加准确,整体检测过程更高效。     

基于多尺度Transformer融合多域信息的伪造人脸检测

当前,基于Deepfakes等深度伪造技术生成的“换脸”类伪造视频泛滥,给公民个人隐私和国家政治安全带来巨大威胁,为此,研究视频中深度伪造人脸检测技术具有重要意义。针对已有伪造人脸检测方法存在的面部特征提取不充分、泛化能力弱等不足,提出一种基于多尺度Transformer对多域信息进行融合的伪造人脸检测方法。基于多域特征融合的思路,同时从视频帧的频域与RGB域进行特征提取,提高模型的泛化性;联合EfficientNet和多尺度Transformer,设计多层级的特征提取网络以提取更精细的伪造特征。在开源数据集上的测试结果表明,相比已有方法,所提方法具有更好的检测效果;同时在跨数据集上的实验结果证明了所提模型具有较好的泛化性能。     

基于时间注意力机制和EfficientNet的视频暴力行为检测

针对一般的暴力行为检测方法模型参数量大、计算复杂度高、准确率较低等问题,提出一种基于时间注意力机制和EfficientNet的视频暴力行为检测方法。首先将通过对数据集进行预处理计算得到的前景图输入到网络模型中提取视频特征,同时利用轻量化EfficientNet提取前景图中的帧级空间暴力特征,并利用卷积长短时记忆网络（ConvLSTM）进一步提取视频序列的全局时空特征;接着,结合时间注意力机制,计算得到视频级特征表示;最后将视频级特征表示映射到分类空间,并利用Softmax分类器进行视频暴力行为分类并输出检测结果,实现视频的暴力行为检测。实验结果表明,该方法能够减少模型参数量,降低计算复杂度,在有限的资源下提高暴力行为检测准确率,提升模型的综合性能。     

基于深度残差网络和注意力机制的人脸检测算法

人脸检测技术作为一种人员身份识别的主流技术被广泛应用于人们的日常生活中。然而在特定应用场景中,当人脸被遮挡或人脸目标非常密集时,人脸识别的检测性能急剧下降。提出一种基于深度残差网络和注意力机制的高精度人脸检测算法。使用残差网络ResNet-50并结合IoU损失函数提高人脸检测精度,并利用注意力机制优化突出脸部区域特征,在此基础上采用非极大值抑制方法增强算法鲁棒性。在公开FDDB数据集上的实验结果表明,该算法的准确率达到96.1%相比传统卷积网络VGG-16算法提高1.6个百分点。     

矿山人员行为视觉语义方法研究

煤矿井下人员行为检测是感知矿山建设关注的重点,而现有的基于电磁波、基于可穿戴设备、基于计算机视觉等人员行为检测方法无法综合时间、地点、行为、环境等多方面因素评判矿山人员行为是否安全。提出了一种矿山人员行为视觉语义方法,通过特征提取、语义检测、特征重构、解码等生成描述视频中人员行为的语句。分别采用InceptionV4网络、I3D网络提取视频图像静态、动态特征,在InceptionV4网络中引入基于空间位置注意力模型和通道注意力模型的并行双重注意力机制,提高了网络的特征提取能力。针对视频内容与视觉语义易出现不一致的问题,引入语义检测网络对视频特征添加高级语义标签生成嵌入特征,将其与视频特征、语义特征共同输入解码器,并在解码过程中引入特征重构模块,通过获取解码器隐藏层状态重建视频特征,增强了视频特征与描述语句之间的关联关系,提高了视觉语义生成的准确性。采用MSVD,MSR-VTT公共数据集及自制矿山视频数据集进行实验,结果表明该方法具有较好的语义一致性,能准确获取视频中关键语义,更好地反映视频真实含义。     

基于多级时空域3D卷积的换脸视频检测方法

近年来,视频换脸技术发展迅速。该技术可被用于伪造视频来影响政治行动和获得不当利益,从而给社会带来严重危害,目前已经引起了各国政府和舆论的广泛关注。本文通过分析现有的主流视频换脸生成技术和检测技术,指出当前主流的生成方法在时域和空域中均具有伪造痕迹和生成损失。而当前基于神经网络检测合成人脸视频的算法大部分方法只考虑了空域的单幅图像特征,并且在实际检测中有明显的过拟合问题。针对目前检测方法的不足,本文提出一种高效的基于时空域结合的检测算法。该方法同时对视频换脸生成结果在空域与时域中的伪造痕迹进行捕捉,其中,针对单帧的空域特征设计了全卷积网络模块,该模块采用3D卷积结构,能够精确地提取视频帧阵列中每帧的伪造痕迹;针对帧阵列的时域特征设计了卷积长短时记忆网络模块,该模块能够检测伪造视频帧之间的时序伪造痕迹;最后,根据特征分类设计特征网络金字塔网络结构,该结构能够融合不同尺寸的时空域特征,通过多尺度融合来提高分类效果,并减少过拟合现象。与现有方法相比,该方法在训练中的收敛效果和分类效果方面有明显优势。除此之外,我们在保证检测准确率的前提下采用较少的参数,相比现有结构而言训练效率更高。     

基于人脸超分的网络视频人脸检测

针对网络视频质量低导致人脸检测准确率低的问题,提出一种基于人脸超分辨率重建的SR Face Detection模型.使用去掉自监督分支且以Resnet50为基础网络的RetinaFace进行帧图片人脸的粗提取;在人脸检测器后增加一个人脸超分辨率重建网络,剔除粗提取人脸中的非人脸.该超分网络的生成网络使用残差密集块进行特征提取,加入注意力损失和热图,更好地还原面部细节;根据实际需求设计一个多判别功能的判别网络.实验结果表明,SR Face Detection模型在WID-ER FACE数据集上取得了令人信服的结果,提高了人脸检测准确率,且人脸检测场景越复杂,效果提升越明显.     

基于重构误差的无监督人脸伪造视频检测

目前有监督的人脸伪造视频检测方法需要大量标注数据。为解决视频伪造方法迭代快、种类多等现实问题，将时序异常检测中的无监督思想引入人脸伪造视频检测，将伪造视频检测任务转为无监督的视频异常检测任务，提出一种基于重构误差的无监督人脸伪造视频检测模型。首先，抽取待检测视频中连续帧的人脸特征点序列；其次，基于偏移特征、局部特征、时序特征等多粒度信息对待检测视频中人脸特征点序列进行重构；然后，计算原始序列与重构序列之间的重构误差；最后，根据重构误差的波峰频率计算得分对伪造视频进行自动检测。实验结果表明，在FaceShifter、FaceSwap等人脸视频伪造方法上，与LRNet(Landmark Recurrent Network)、Xception-c23等检测方法相比，所提方法的检测性能的曲线下方面积（AUC）最多增加了27.6%，移植性能的AUC最多增加了30.4%。     

人脸局部特征增强的亲属关系验证方法

亲属关系验证是人脸识别的一个重要分支,可以用于寻找失散亲人、搜寻走失儿童、构建家庭图谱、社交媒体分析等重要场景。父母和孩子的人脸图像之间往往存在较大的差异,如何从人脸中提取到有鉴别力的特征是提高亲属关系验证准确率的关键。因此,提出了一种基于深度学习和人脸局部特征增强的亲属关系验证方法,构建了人脸局部特征增强验证网络（Local Facial Feature Enhancement Verification Net,LFFEV Net）,获取用于亲属关系验证的具有强鉴别力的人脸特征表示。LFFEV Net由局部特征注意力网络和残差验证网络两部分组成。局部特征注意力网络提取人脸局部关键特征,将获取的局部关键特征和对应的原始图像一同输入到残差验证网络中获取更具鉴别力的人脸特征,将特征经过融合并结合Family ID信息进行亲属关系验证。算法在公开的亲属关系数据集KinFaceW-I和KinFaceW-II上进行测试,实验结果表明,所设计的方法在亲属关系验证任务中有较高的识别率。     

基于汇聚CNN和注意力增强网络的遮挡人脸检测方法

针对现实场景中遮挡人脸检测精度低的问题,提出了一种基于汇聚CNN和注意力增强网络的遮挡人脸检测方法.首先,在主网络的多层原始特征图上,通过有监督学习的方法增强原始特征图中人脸可见部分的响应值.然后,将多个增强特征图组合成附加增强网络与主网络汇聚设置,以加快对多尺度遮挡人脸的检测速度.最后,将有监督信息分散到各个尺寸的特...     

多级特征全局一致性的伪造人脸检测

目的 随着深度伪造技术的快速发展,人脸伪造图像越来越难以鉴别,对人们的日常生活和社会稳定造成了潜在的安全威胁。尽管当前很多方法在域内测试中取得了令人满意的性能表现,但在检测未知伪造类型时效果不佳。鉴于伪造人脸图像的伪造区域和非伪造区域具有不一致的源域特征,提出一种基于多级特征全局一致性的人脸深度伪造检测方法。方法 使用人脸结构破除模块加强模型对局部细节和轻微异常信息的关注。采用多级特征融合模块使主干网络不同层级的特征进行交互学习,充分挖掘每个层级特征蕴含的伪造信息。使用全局一致性模块引导模型更好地提取伪造区域的特征表示,最终实现对人脸图像的精确分类。结果 在两个数据集上进行实验。在域内实验中,本文方法的各项指标均优于目前先进的检测方法,在高质量和低质量FaceForensics++数据集上,AUC(area under the curve)分别达到99.02%和90.06%。在泛化实验中,本文的多项评价指标相比目前主流的伪造检测方法均占优。此外,消融实验进一步验证了模型的每个模块的有效性。结论 本文方法可以较准确地对深度伪造人脸进行检测,具有优越的泛化性能,能够作为应对当前人脸伪造威胁的一种有效检测手段。     

基于注意力残差网络的人脸超分辨率重建

为解决通道内部特征信息交互性不足、特征利用和表示不够充分导致的人脸面部细节信息恢复不理想的问题,提出一种基于编码器-解码器的注意力残差网络,并设计基于注意力的残差模块,其主要由基准残差模块、沙漏模块与内部特征拆分注意力模块组成,通过内部特征拆分注意力模块加强通道内部之间的交互性,使网络能够提取到更详细的特征信息,恢复出更多人脸面部细节,同时在残差模块中利用一个预激活模块,解决批量归一化层在超分辨率网络中存在的伪影问题。在特征提取单元末端运用多阶特征融合模块充分融合多个阶段的特征,缓解特征在网络传输过程中的丢失现象,提高特征利用率。实验结果表明,该方法可以恢复出更多人脸面部细节,在Helen人脸数据集上,重建人脸图像的PSNR值为27.74 dB,相比SISN和DICNet方法,分别提高了1.47 dB、1.12 dB。在CelebA人脸数据集上,重建人脸图像的PSNR值为27.40 dB,相比SISN和DICNet方法,分别提高了1.26 dB、0.39 dB。     

基于深度对齐网络的生成对抗网络伪造人脸检测

针对现有的生成对抗网络（GAN）伪造人脸图像检测方法在有角度及遮挡情况下存在的真实人脸误判问题,提出了一种基于深度对齐网络（DAN）的GAN伪造人脸图像检测方法。首先,基于DAN设计面部关键点提取网络,以提取真伪人脸关键点位置;然后,采用主成分分析（PCA）方法将每一组关键点映射到三维空间,从而减少冗余信息以及降低特征维度;最后,利用支持向量机（SVM）五折交叉验证对特征进行分类,并计算准确率。实验结果表明,该方法通过提高面部关键点定位准确度改善了由于定位误差引起的面部不协调问题,进而降低了真实人脸误判率。与VGG19、XceptionNet和Dlib-SVM方法相比,正脸情况下,该方法的ROC下面积（AUC）值提高了4.48到32.96个百分点,平均精度（AP）提高了4.26到33.12个百分点;有角度及遮挡人脸情况下,该方法的AUC值提高了10.56到30.75个百分点,AP提高了7.42到42.45个百分点。     

基于i_ResNet34模型和数据增强的深度伪造视频检测方法

针对深度伪造视频检测存在的面部特征提取不充分的问题,提出了改进的ResNet(i_ResNet34)模型和3种基于信息删除的数据增强方式.首先,优化ResNet网络,使用分组卷积代替普通卷积,在不增加模型参数的前提下提取更丰富的人脸面部特征;接着改进模型虚线残差结构的shortcut分支,通过最大池化层完成下采样操作,减少视频帧中人脸面部特征信息的损失,然后在卷积层后引入通道注意力层,增加提取关键特征通道的权重,提升特征图的通道相关性.最后,利用i_ResNet34模型对原数据集及3种基于信息删除的数据增强方式扩充后的数据集进行训练,其在FaceForensics++的两类数据集Face-Swap和Deepfakes上的检测准确率分别达到了99.33％和98.67％,优于现有的主流算法,从而验证了所提方法的有效性.     

基于轻量级网络的人脸检测及嵌入式实现

尽管基于卷积神经网络(CNN)的人脸检测器在精度上已经有了很大提升,但所需的计算量和模型复杂度越来越高,如何在计算能力有限的嵌入式设备上应用人脸检测模型是一个很大的挑战.针对320×240分辨率输入图像的人脸检测在嵌入式系统上的应用问题,提出了一种基于轻量级网络的低分辨率人脸检测算法.该算法使用注意力机制、结合了Dis...