基于有监督注意力网络的伪造人脸视频检测

在伪造人脸视频检测中,大多数方法都以单一的卷积神经网络作为特征提取模块,提取的特征可能与人类的视觉机制不符。针对此类问题,提出基于有监督注意力网络的伪造人脸视频检测方法。基于胶囊网络检测伪造人脸视频,使用注意力分支提高对伪造人脸图像细节特征的提取能力,使用焦点损失提高模型对难检测样本的检测能力。在数据集FaceForensics++上的实验结果表明,提出方案有更优越的性能。     

基于深度残差网络和注意力机制的人脸检测算法

人脸检测技术作为一种人员身份识别的主流技术被广泛应用于人们的日常生活中。然而在特定应用场景中,当人脸被遮挡或人脸目标非常密集时,人脸识别的检测性能急剧下降。提出一种基于深度残差网络和注意力机制的高精度人脸检测算法。使用残差网络ResNet-50并结合IoU损失函数提高人脸检测精度,并利用注意力机制优化突出脸部区域特征,在此基础上采用非极大值抑制方法增强算法鲁棒性。在公开FDDB数据集上的实验结果表明,该算法的准确率达到96.1%相比传统卷积网络VGG-16算法提高1.6个百分点。     

基于非关键掩码和注意力机制的深度伪造人脸篡改视频检测方法

自深度伪造技术(Deepfake)被提出以来,其非法应用对个人、社会、国家安全造成了恶劣影响,存在巨大隐患,因此针对人脸视频的深度伪造检测是计算机视觉领域中的热点及难点问题。针对上述问题,提出了一种基于非关键掩码和CA＿S3D模型的深度伪造视频检测方法。该方法首先将人脸图像划分为关键区域和非关键区域,通过对非关键区域掩码的处理,提高了深度神经网络对人脸图像关键区域的关注程度,减少了无关信息对深度神经网络的影响和干扰;接着在S3D网络中引入上下文注意力模块,增强了对样本数据信息长程依赖的捕获能力,提高了对关键通道和特征的关注程度。实验结果表明,该方法在DFDC数据集上得到了明显的性能提升,准确率从83.85%提升到了90.10%,AUC值从0.931提升到了0.979;同时与现有的深度伪造视频检测方法进行了对比,所提方法的表现优于现有方法,验证了该方法的有效性。     

人脸伪造及检测技术综述

人脸伪造技术的恶意使用,不仅损害公民的肖像权和名誉权,而且会危害国家政治和经济安全。因此,针对伪造人脸图像和视频的检测技术研究具有重要的现实意义和实践价值。本文在总结人脸伪造和伪造人脸检测的关键技术与研究进展的基础上,分析现有伪造和检测技术的局限。在人脸伪造方面,主要包括利用生成对抗技术的全新人脸生成技术和基于现有人脸的人脸编辑技术,介绍生成对抗网络在人脸图像生成的发展进程,重点介绍人脸编辑技术中的人脸交换技术和人脸重现技术,从网络结构、通用性和生成效果真实性等角度对现有的研究进展进行深入阐述。在伪造人脸检测方面,根据媒体载体的差异,分为伪造人脸图像检测和伪造人脸视频检测,首先介绍利用统计分布差异、拼接残留痕迹和局部瑕疵等特征的伪造人脸图像检测技术,然后根据提取伪造特征的差异,将伪造人脸视频检测技术分为基于帧间信息、帧内信息和生理信号的伪造视频检测技术,并从特征提取方式、网络结构设计特点和使用场景类型等方面进行详细阐述。最后,分析了当前人脸伪造技术和伪造人脸检测技术的不足,提出可行的改进意见,并对未来发展方向进行展望。     

基于噪声注意力的伪造人脸检测方法

随着人工智能和深度神经网络的不断发展,图像生成与编辑变得越来越容易,恶意运用图像生成工具进行篡改伪造的现象层出不穷,这对多媒体安全以及社会稳定造成了极大威胁,因此研究伪造人脸的检测方法至关重要。人脸篡改伪造的方式和工具多种多样,在篡改的过程中可能留下不同程度的篡改痕迹,而这在图像噪声中都有一定程度上的反映。从图像噪声的角度出发,通过噪声去除的方式挖掘反映伪造人脸篡改痕迹的噪声成分,进一步生成噪声注意力,指导主干网络进行伪造人脸检测。使用SRM滤波监督噪声去除模块的训练,并将噪声去除模块所得到的噪声再次加入真实人脸图像中,形成一对有监督的训练样本,通过自监督的方式对噪声去除模块进行加强指导,实验结果说明噪声去除模块得到的噪声特征具有较好的区分度。在多个公开数据集上进行了实验,所提方法在Celeb-DF数据集上达到98.32%的准确率,在FaceForensics++数据集上达到94%以上的准确率,在DFDC数据集上达到92.61%的准确率,证明了所提方法的有效性。     

基于层级注意力增进网络的多尺寸遮挡人脸检测

在SSD(Single shot multibox detector)单阶段人脸检测模型的基础上,针对复杂局部遮挡下人脸检测精确性差的问题,提出了一种基于层级注意力增进网络的多尺寸遮挡人脸检测方法.首先,在SSD基础网络的多层初始特征图上,通过引入注意力增进机制提升人脸可见区域的响应值.然后为不同增强特征层设计不同尺寸...     

基于轻量级网络的人脸检测及嵌入式实现

尽管基于卷积神经网络(CNN)的人脸检测器在精度上已经有了很大提升,但所需的计算量和模型复杂度越来越高,如何在计算能力有限的嵌入式设备上应用人脸检测模型是一个很大的挑战.针对320×240分辨率输入图像的人脸检测在嵌入式系统上的应用问题,提出了一种基于轻量级网络的低分辨率人脸检测算法.该算法使用注意力机制、结合了Dis...     

多级特征全局一致性的伪造人脸检测

目的 随着深度伪造技术的快速发展,人脸伪造图像越来越难以鉴别,对人们的日常生活和社会稳定造成了潜在的安全威胁。尽管当前很多方法在域内测试中取得了令人满意的性能表现,但在检测未知伪造类型时效果不佳。鉴于伪造人脸图像的伪造区域和非伪造区域具有不一致的源域特征,提出一种基于多级特征全局一致性的人脸深度伪造检测方法。方法 使用人脸结构破除模块加强模型对局部细节和轻微异常信息的关注。采用多级特征融合模块使主干网络不同层级的特征进行交互学习,充分挖掘每个层级特征蕴含的伪造信息。使用全局一致性模块引导模型更好地提取伪造区域的特征表示,最终实现对人脸图像的精确分类。结果 在两个数据集上进行实验。在域内实验中,本文方法的各项指标均优于目前先进的检测方法,在高质量和低质量FaceForensics++数据集上,AUC(area under the curve)分别达到99.02%和90.06%。在泛化实验中,本文的多项评价指标相比目前主流的伪造检测方法均占优。此外,消融实验进一步验证了模型的每个模块的有效性。结论 本文方法可以较准确地对深度伪造人脸进行检测,具有优越的泛化性能,能够作为应对当前人脸伪造威胁...     

一种基于自注意力机制的自动人脸替换方法

针对DeepFakes人脸替换方法生成人脸图像分辨率低、质量差等问题,提出一种基于自注意力机制的生成对抗网络的自动人脸替换方法,生成对抗网络主体采用类似U型自编码对称结构减少特征信息的损失,引进自注意力机制能够更好地学习图像的纹理特征,提高生成图像的重建质量,应用卡尔曼滤波器平滑处理每一帧上的边界框位置,降低人脸抖动。在FaceForensics++数据集上与DeepFakes替换方法进行对比实验,定性和定量的实验结果证明了该方法能够较好地提升生成图像质量,减少脸部抖动。     

融合全局时序和局部空间特征的伪造人脸视频检测方法

近年来,深度学习在人工智能领域表现出优异的性能。基于深度学习的人脸生成和操纵技术已经能够合成逼真的伪造人脸视频,也被称作深度伪造,让人眼难辨真假。然而,这些伪造人脸视频可能会给社会带来巨大的潜在威胁,比如被用来制作政治虚假新闻,从而引发政治暴力或干扰正常选举等。因此,亟需研发对应的检测方法来主动发现伪造人脸视频。现有的方法在制作伪造人脸视频时,容易在空间上和时序上留下一些细微的伪造痕迹,比如纹理和颜色上的扭曲或脸部的闪烁等。主流的检测方法同样采用深度学习,可以被划分为两类,即基于视频帧的方法和基于视频片段的方法。前者采用卷积神经网络（Convolutional Neural Network,CNN）发现单个视频帧中的空间伪造痕迹,后者则结合循环神经网络（Recurrent Neural Network,RNN）捕捉视频帧之间的时序伪造痕迹。这些方法都是基于图像的全局信息进行决策,然而伪造痕迹一般存在于五官的局部区域。因而本文提出了一个统一的伪造人脸视频检测框架,利用全局时序特征和局部空间特征发现伪造人脸视频。该框架由图像特征提取模块、全局时序特征分类模块和局部空间特征分类模块组成。在FaceForensics++数据集上的实验结果表明,本文所提出的方法比之前的方法具有更好的检测效果。     

基于可形变自相关网络的图像篡改检测方法

基于深度学习的图像复制-粘贴篡改检测方法在特征提取过程中未考虑特征的空间排列,在小区域篡改样本下检测性能不佳。基于可形变自相关网络提出一种图像篡改检测方法。通过引入可形变卷积和多尺度空间金字塔,自适应地学习篡改目标的空间形变,同时通过构造自相关金字塔式特征层次结构,融合全局特征和局部特征以提升图像篡改检测性能。实验结果表明,该方法在公开的图像篡改检测基准上各项评测指标均优于对比方法,其精确率、召回率、F₁值较BusterNet 2019分别提高14.85、15.04、12.81个百分点,在小区域篡改样本下性能优势更为明显。     

基于DeepLab v3+的多任务图像拼接篡改检测算法

在图像拼接篡改检测任务中,受篡改区域尺度多样性及模糊操作的影响,传统分类算法难以提取图像篡改特征。提出一种基于DeepLab v3+的图像拼接篡改检测算法,使用浅层图像特征预测图像的篡改区域边界,提高模型对篡改边界的敏感性。在此基础上,通过多尺度融合特征对图像篡改区域进行分割,并在原空洞空间金字塔模块中融合空间和通道注意力机制,从而提高模型对多尺度篡改区域的适应性。实验结果表明,所提算法能有效检测图像的篡改区域,在CASIA v1.0和Columbia数据集中的分割精度分别为0.754 6和0.727 8,优于DCT、BAPPY、MFCN等算法。     

基于改进YOLO-v4的室内人脸快速检测方法

针对室内安防工程应用中检测人脸角度不同、光照变化、部分遮挡、模糊等复杂工况,提出一种基于改进YOLO-v4的室内人脸快速检测方法。基于深度可分离残差网络结构改进YOLO-v4主干网络,提升模型检测效率;在构建特征金字塔过程中引入注意力机制,自适应调整通道特征与空间特征权重,提升模型特征提取能力。实验结果表明,该方法对室内人脸图像的检测精度与速度分别为92.53%与35?frame/s,相比原YOLO-v4算法及其他主流人脸检测算法,具有更好的检测精度与效率,因此可应用于移动机器人的室内人脸实时检测。     

基于多通道注意力机制的人脸替换鉴别

基于深度学习的人脸替换技术取得快速发展,但由DeepFake自动生成的人脸替换图片有可能危害人们的隐私安全。针对DeepFake图片鉴别问题,建立一种基于多通道注意力机制的深度学习鉴别网络模型。将Xception网络作为基础特征提取器,在多通道注意力模块中通过矩阵相乘的思想融合全局和局部的注意力表示,以减少重要信息损失。设计损失函数时添加中心损失,从而提高特征区分度。在训练过程中利用注意力图来引导训练图像的裁剪和去除,以达到数据增强的目的。实验结果表明,相比Xception、B4Att方法,在FaceForensics++数据集上该网络模型对DeepFake的检测精度分别提高0.77和0.45个百分点,在Celeb-DF数据集上分别提高5.30和4.68个百分点。     

基于域对抗学习的可泛化虚假人脸检测方法研究

随着生成式对抗网络(generative adversarial networks, GAN)的快速发展,虚假人脸生成技术取得了显著进展.为了降低以假乱真的人脸生成技术给社会带来的危害,虚假人脸鉴别成为一个非常重要的课题,吸引了国内外研究者的广泛关注.然而,目前虚假人脸鉴别的研究工作相对较少,仍然有许多问题需要被解决.其中如何提升鉴别模型的迁移泛化能力是至关重要的问题,也是虚假人脸检测任务能否实际投入使用的关键所在.如何提升虚假人脸鉴别方法的泛化能力,即做到在没有见过的生成方法产生的数据上仍然准确有效非常重要.对此,提出了基于域对抗学习的可泛化虚假人脸检测模型,通过引入领域对抗分支,弱化特征提取器对于特定生成模型非鲁棒性特征的提取,模型能够抽取鲁棒性更强、泛化能力更高的特征,从而在没有见过的生成方法产生的虚假人脸图片上具有更好的鉴别表现.实验结果表明：所提出的方法能够提升鉴别模型的泛化能力,显著提升虚假人脸鉴别模型在未知生成模型产生的虚假图像上的性能.     

改进的基于YOLOv3的人脸检测算法

针对因背景与人脸高度相似和人脸目标尺度过小而导致的人脸检测精度较低的问题,提出了一种改进的基于YOLOv3的人脸检测算法。首先使用遗传算法改进原算法中随机初始化的影响,生成更符合目标大小的预测框,其次用轻量级网络改进原特征提取网络,提高人脸检测速度,最后使用边框回归损失代替YOLOv3坐标损失函数并改进置信度损失函数以提升训练收敛速度和结果精度。所设计的算法模型在Wider Face数据集上的检测精度和速度得到了提升。     

基于卷积神经网络的人脸图像超分辨率重建方法

为了恢复极低分辨率人脸图像的轮廓及更多细节,论文提出一种结合基于特征的反投影方法以及人脸语义分割的方法.该方法有四部分,包括初步重建网络、精细编码网络、人脸信息先验估计网络以及精细解码网络.首先通过初步重建网络,将图像进行4倍上采样.其次使用DBPN的反投影网络进行精细重建,对初步重建网络的结果进行两倍上采样.与此同时...     

基于汇聚CNN和注意力增强网络的遮挡人脸检测方法

针对现实场景中遮挡人脸检测精度低的问题,提出了一种基于汇聚CNN和注意力增强网络的遮挡人脸检测方法.首先,在主网络的多层原始特征图上,通过有监督学习的方法增强原始特征图中人脸可见部分的响应值.然后,将多个增强特征图组合成附加增强网络与主网络汇聚设置,以加快对多尺度遮挡人脸的检测速度.最后,将有监督信息分散到各个尺寸的特...