基于有监督注意力网络的伪造人脸视频检测

在伪造人脸视频检测中,大多数方法都以单一的卷积神经网络作为特征提取模块,提取的特征可能与人类的视觉机制不符。针对此类问题,提出基于有监督注意力网络的伪造人脸视频检测方法。基于胶囊网络检测伪造人脸视频,使用注意力分支提高对伪造人脸图像细节特征的提取能力,使用焦点损失提高模型对难检测样本的检测能力。在数据集FaceForensics++上的实验结果表明,提出方案有更优越的性能。     

基于多尺度Transformer融合多域信息的伪造人脸检测

当前,基于Deepfakes等深度伪造技术生成的“换脸”类伪造视频泛滥,给公民个人隐私和国家政治安全带来巨大威胁,为此,研究视频中深度伪造人脸检测技术具有重要意义。针对已有伪造人脸检测方法存在的面部特征提取不充分、泛化能力弱等不足,提出一种基于多尺度Transformer对多域信息进行融合的伪造人脸检测方法。基于多域特征融合的思路,同时从视频帧的频域与RGB域进行特征提取,提高模型的泛化性;联合EfficientNet和多尺度Transformer,设计多层级的特征提取网络以提取更精细的伪造特征。在开源数据集上的测试结果表明,相比已有方法,所提方法具有更好的检测效果;同时在跨数据集上的实验结果证明了所提模型具有较好的泛化性能。     

复杂场景下基于R-FCN的小人脸检测研究

在复杂场景中准确检测出小的、模糊的和部分遮挡的人脸,仍是人脸检测算法存在的问题。为此,提出基于区域的全卷积网络R-FCN的人脸检测算法,来解决其中的小人脸检测问题。采用完全卷积残差网络ResNet作为主干网络,融合多种新技术,主要包括Squeeze-and-Excitation模块、残差注意力机制等,以提高最终的输出精度。在最具挑战性的人脸检测基准Widerface数据集上测试,结果表明该算法在复杂场景下具有出色的人脸检测效果,对部分遮挡,模糊、人脸姿态变化也具有一定鲁棒性。     

人脸伪造及检测技术综述

人脸伪造技术的恶意使用,不仅损害公民的肖像权和名誉权,而且会危害国家政治和经济安全。因此,针对伪造人脸图像和视频的检测技术研究具有重要的现实意义和实践价值。本文在总结人脸伪造和伪造人脸检测的关键技术与研究进展的基础上,分析现有伪造和检测技术的局限。在人脸伪造方面,主要包括利用生成对抗技术的全新人脸生成技术和基于现有人脸的人脸编辑技术,介绍生成对抗网络在人脸图像生成的发展进程,重点介绍人脸编辑技术中的人脸交换技术和人脸重现技术,从网络结构、通用性和生成效果真实性等角度对现有的研究进展进行深入阐述。在伪造人脸检测方面,根据媒体载体的差异,分为伪造人脸图像检测和伪造人脸视频检测,首先介绍利用统计分布差异、拼接残留痕迹和局部瑕疵等特征的伪造人脸图像检测技术,然后根据提取伪造特征的差异,将伪造人脸视频检测技术分为基于帧间信息、帧内信息和生理信号的伪造视频检测技术,并从特征提取方式、网络结构设计特点和使用场景类型等方面进行详细阐述。最后,分析了当前人脸伪造技术和伪造人脸检测技术的不足,提出可行的改进意见,并对未来发展方向进行展望。     

人脸视频深度伪造检测方法综述

深度伪造（deepfake）技术的非法应用会对社会稳定、个人名誉甚至国家安全造成恶劣影响,因此针对人脸视频的深度伪造检测成为计算机视觉领域中的难点与研究热点。目前该领域的研究建立在传统人脸识别与图像分类技术基础上,通过搭建深度学习网络判别真伪,但存在数据集质量不一、多模态特征如何有效结合、模型泛化能力较差等问题。为进一步促进深度伪造检测技术的发展,对当前各类人脸视频深度伪造算法进行了全面总结,并对已有算法进行了归类、分析、比较。首先,主要介绍人脸视频深度伪造检测数据集;其次,对近三年主要的伪造视频检测方法进行总结,以特征选择为切入点,从空间特征、时空融合特征、生物特征的角度对各项检测技术进行分类整理,并对基于水印与区块链等非主流检测方法进行介绍;然后,从特征选择、迁移学习、模型设计与训练思路等方面介绍了各类检测方法所呈现出的主流趋势;最后,对全文进行总结并对未来技术发展进行展望。     

基于非关键掩码和注意力机制的深度伪造人脸篡改视频检测方法

自深度伪造技术(Deepfake)被提出以来,其非法应用对个人、社会、国家安全造成了恶劣影响,存在巨大隐患,因此针对人脸视频的深度伪造检测是计算机视觉领域中的热点及难点问题。针对上述问题,提出了一种基于非关键掩码和CA＿S3D模型的深度伪造视频检测方法。该方法首先将人脸图像划分为关键区域和非关键区域,通过对非关键区域掩码的处理,提高了深度神经网络对人脸图像关键区域的关注程度,减少了无关信息对深度神经网络的影响和干扰;接着在S3D网络中引入上下文注意力模块,增强了对样本数据信息长程依赖的捕获能力,提高了对关键通道和特征的关注程度。实验结果表明,该方法在DFDC数据集上得到了明显的性能提升,准确率从83.85%提升到了90.10%,AUC值从0.931提升到了0.979;同时与现有的深度伪造视频检测方法进行了对比,所提方法的表现优于现有方法,验证了该方法的有效性。     

基于改进三元组损失的伪造人脸视频检测方法

当前大部分伪造人脸检测技术使用深度学习来鉴别真实视频与伪造视频之间的特征差异,此类方法在未压缩视频上取得了不错的效果,但在检测经过压缩处理的视频时检测效果就会严重下降.针对此类问题,提出了基于改进三元组损失的伪造人脸视频检测方法.首先,使用伪影图生成器生成一幅伪影图来加深伪造人脸与真实人脸之间的特征差异;其次,使用改进的三元组损失来解决难例样本难以被正确检测的问题;最后,选用更适合人脸鉴伪的深度学习网络提取卷积特征.在FaceForensics++数据集上与目前领先的人脸鉴伪方法的对比表明,该方法检测准确率优于对比方法.     

基于重构误差的无监督人脸伪造视频检测

目前有监督的人脸伪造视频检测方法需要大量标注数据。为解决视频伪造方法迭代快、种类多等现实问题，将时序异常检测中的无监督思想引入人脸伪造视频检测，将伪造视频检测任务转为无监督的视频异常检测任务，提出一种基于重构误差的无监督人脸伪造视频检测模型。首先，抽取待检测视频中连续帧的人脸特征点序列；其次，基于偏移特征、局部特征、时序特征等多粒度信息对待检测视频中人脸特征点序列进行重构；然后，计算原始序列与重构序列之间的重构误差；最后，根据重构误差的波峰频率计算得分对伪造视频进行自动检测。实验结果表明，在FaceShifter、FaceSwap等人脸视频伪造方法上，与LRNet(Landmark Recurrent Network)、Xception-c23等检测方法相比，所提方法的检测性能的曲线下方面积（AUC）最多增加了27.6%，移植性能的AUC最多增加了30.4%。     

基于多对抗性鉴别网络的人脸活体检测

人脸活体检测是人脸识别系统安全性保证的关键，其中，解纠缠学习方法可以有效解决人脸活体检测中泛化数据集的问题，但是现有的解纠缠学习方法往往将整幅人脸图像作为输入，解析出伪造痕迹元素，会忽略伪造痕迹的局部细节问题。针对这一问题，改进现有的伪造痕迹解纠缠网络，提出多对抗性鉴别网络模型，在鉴别器中设计主鉴别器和区域鉴别器，引入人脸遮罩模块，生成人脸皮肤、五官遮罩蒙版，整合人脸局部信息，使生成器拟合的图像更接近数据集中人脸图像的分布，同时解离出加强版的伪造痕迹。提出的多对抗性鉴别网络有效地增强了伪造人脸图像的伪造痕迹信息并提高了人脸活体检测的准确率。具体来说，该网络模型在OULU-NPU数据集的2个实验中的检测错误率仅为0.8%和1.4%,相比STDN错误率显著降低，同时在Idiap Replay-Attack数据集上也达到了较好的检测效果。为了验证该网络模型的可迁移性，在NUAA数据集和Idiap Replay-Attack数据集上进行跨域实验，达到了不错的效果。     

基于胶囊网络的动态路由研究与改进

胶囊网络具有弥补卷积神经网络空间信息丢失和旋转不变性差的优点,已被广泛应用于图像分类、目标检测以及文本检测等多个领域,但胶囊网络仍存在参数量大且分类精确度低的问题。提出基于点乘注意力图卷积路由的胶囊网络分类模型。在同级胶囊之间构建连通图,通过注意力机制获取胶囊间的依赖关系,利用影响因素大的预测胶囊进行特征聚类,改变使用迭代更新高低胶囊层间耦合系数的动态路由方式,降低参数量并提升模型的分类准确率。此外,在特征提取部分加入残差网络提取更高维的特征以优化胶囊质量,在提升模型特征表达能力的同时可抑制模型过大。实验结果表明,在参数量小于多个胶囊网络变体的情况下,该模型在MNIST、FashionMNIST、CIFAR10和SVHN数据集上的精度分别达到99.74%、95.02%、91.78%和95.65%,均高于MS-CapsNet、TextCaps、AR CapsNet、FSc-CapsNet、DA-CapsNet等对比模型。     

基于多级时空域3D卷积的换脸视频检测方法

近年来,视频换脸技术发展迅速。该技术可被用于伪造视频来影响政治行动和获得不当利益,从而给社会带来严重危害,目前已经引起了各国政府和舆论的广泛关注。本文通过分析现有的主流视频换脸生成技术和检测技术,指出当前主流的生成方法在时域和空域中均具有伪造痕迹和生成损失。而当前基于神经网络检测合成人脸视频的算法大部分方法只考虑了空域的单幅图像特征,并且在实际检测中有明显的过拟合问题。针对目前检测方法的不足,本文提出一种高效的基于时空域结合的检测算法。该方法同时对视频换脸生成结果在空域与时域中的伪造痕迹进行捕捉,其中,针对单帧的空域特征设计了全卷积网络模块,该模块采用3D卷积结构,能够精确地提取视频帧阵列中每帧的伪造痕迹;针对帧阵列的时域特征设计了卷积长短时记忆网络模块,该模块能够检测伪造视频帧之间的时序伪造痕迹;最后,根据特征分类设计特征网络金字塔网络结构,该结构能够融合不同尺寸的时空域特征,通过多尺度融合来提高分类效果,并减少过拟合现象。与现有方法相比,该方法在训练中的收敛效果和分类效果方面有明显优势。除此之外,我们在保证检测准确率的前提下采用较少的参数,相比现有结构而言训练效率更高。     

基于双层注意力的Deepfake换脸检测

针对现有Deepfake检测算法中普遍存在的准确率低、可解释性差等问题，提出融合双层注意力的神经网络模型，该模型利用通道注意力捕获假脸的异常特征，并结合空间注意力聚焦异常特征的位置，充分学习假脸异常部分的上下文语义信息，从而提升换脸检测的有效性和准确性。并以热力图的形式有效地展示了真假脸的决策区域，使换脸检测模型具备一定程度的解释性。在 FaceForensics++开源数据集上的实验表明，所提方法的检测精度优于MesoInception、Capsule-Forensics和XceptionNet检测方法。     

视觉深度伪造检测技术综述

随着生成式深度学习算法的发展,深度伪造技术发展并应用于各个领域。深度伪造技术的滥用使人们逐渐意识到其带来的威胁,伪造检测技术随之而生。本文基于视觉深度伪造技术研究进行综述。1）简要介绍了视觉深度伪造技术的发展历程及技术原理,包括生成对抗网络在深度伪造制品中的应用;2）对现有的视觉深度伪造数据集进行汇总并归类;3）对目前的视觉深度伪造检测技术进行了分类,将现有的检测方法归纳为基于具体伪影的、基于数据驱动的、基于信息不一致和其他类型视觉深度伪造检测等4种分类。其中,基于伪影的检测方法着重于寻找伪造制品与真实图像之间的像素级差异,通过机器学习识别深度伪造制品中的人工伪影痕迹,基于信息不一致的方法则着重于寻找伪造制品与真实图像或视频之间的信息级差异,这两种方法都具有识别效率高、训练便捷等优点;基于数据驱动的方法通过大量的数据集和机器学习训练,直接使用神经网络本身对深度伪造制品进行训练,并通过改善网络架构增进模型以提高训练效率,因为其模型的多变和高精确率成为目前深度伪造检测的热门方向。同时,本文分析了4种方法的具体优缺点,并进一步给出了未来视觉深度伪造检测研究的重点和难点。     

一种基于双流网络的Deepfakes检测技术

随着深度学习技术的飞速发展,以Deepfakes为代表的深度伪造技术开始充斥在互联网上的各个角落。Deepfakes借助于生成对抗网络和自动编码器技术,能够轻松替换人脸以及篡改人的表情信息。此类Deepfakes假视频可以制作虚假色情影片、谣言,传播假新闻,甚至影响政治选举,带来的社会影响极其恶劣。然而,针对此类伪造视频的检测技术还远远落后于生成技术,已有的工作都存在一定的局限性,并不能较好地对Deepfakes视频进行检测。本文首先对现有生成和检测工作进行综述,并分析了现有工作的缺陷,然后提出了基于EfficientNet的双流网络检测框架。通过在大规模开源数据集FaceForensics++测试,我们的检测技术可以在检测Deepfakes类假视频上平均准确率达到99%以上,并一定程度提高模型对抗压缩的能力。     

深度伪造与检测技术综述

深度学习在计算机视觉领域取得了重大成功,超越了众多传统的方法.然而,近年来深度学习技术被滥用在假视频的制作上,使得以Deepfakes为代表的伪造视频在网络上泛滥成灾.这种深度伪造技术通过篡改或替换原始视频的人脸信息,并合成虚假的语音,来制作色情电影、虚假新闻、政治谣言等.为了消除此类伪造技术带来的负面影响,众多学者对假视频的鉴别进行了深入的研究,并提出一系列的检测方法帮助机构或社区来识别此类伪造视频.尽管如此,目前的检测技术仍然存在依赖特定分布数据、特定压缩率等众多的局限性,远远落后于假视频的生成技术.并且,不同的学者解决问题的角度不同,使用的数据集和评价指标均不统一.迄今为止,学术界对深度伪造与检测技术仍缺乏统一的认识,深度伪造和检测技术研究的体系架构尚不明确.在本综述中,我们回顾了深度伪造与检测技术的发展,并对现有研究工作进行了系统的总结和科学的归类.最后,我们讨论了深度伪造技术蔓延带来的社会风险,分析了检测技术的诸多局限性,并探讨了检测技术面临的挑战和潜在研究方向,旨在为后续学者进一步推动深度伪造检测技术的发展和部署提供指导.     

光流与纹理特征融合的人脸活体检测算法

针对照片与视频重放这一常见人脸识别欺诈手段,利用人脸攻击图像的语义信息提出一种基于光流与纹理特征融合的人脸活体检测算法:采集连续两帧待检测人脸图像,通过光流法及人脸检测方法生成人脸区域光流场变化图,将其与原始RGB图像输入至2通道卷积神经网络提取并融合得到人脸动-静态特征,基于融合特征实现真实人脸与欺诈人脸分类.此外,...     

Malicious inter-frame video tampering detection in MPEG videos using time and spatial domain analysis of quantization effects

In this paper, a new algorithm is proposed for forgery detection in MPEG videos using spatial and time domain analysis of quantization effect on DCT coefficients of I and residual errors of P frames. The proposed algorithm consists of three modules, including double compression detection, malicious tampering detection and decision fusion. Double compression detection module employs spatial domain analysis using first significant digit distribution of DCT coefficients in I frames to detect single and double compressed videos using an SVM classifier. Double compression does not necessarily imply the existence of malignant tampering in the video. Therefore, malicious tampering detection module utilizes time domain analysis of quantization effect on residual errors of P frames to identify malicious inter-frame forgery comprising frame insertion or deletion. Finally, decision fusion module is used to classify input videos into three categories, including single compressed videos, double compressed videos without malicious tampering and double compressed videos with malicious tampering. The experimental results and the comparison of the results of the proposed method with those of other methods show the efficiency of the proposed algorithm.     

基于篡改伪影的深度伪造检测方法

随着深度伪造（Deepfake）技术的不断发展,犯罪分子可以利用造假图片伪造不在场证明,从而误导侦查方向以逃避法律责任。现有多数检测方法依赖于数据驱动,在跨压缩率、跨分辨率方面鲁棒性不强。研究Deepfake视频在脸部区域所遗留的伪影,建立一种基于Xception的双流网络检测模型,以实现对Deepfake图片的自动检测。利用Xception网络提取图片的全局空域特征,对脸部区域进行有效遮挡,凸显出脸部伪影并提取伪影特征。在此基础上,将空域特征与伪造特征2个支流的预测结果进行融合判别。在Deepfakes数据集上的实验结果表明,该模型的测试精度高达0.986 4。     

基于轻量级卷积神经网络的人脸检测算法

针对人脸检测在移动端应用时面临的移动设备计算能力及存储资源受限等问题,设计一种基于轻量级卷积神经网络的改进人脸检测算法Lightweight-SSH。基于单点无头人脸检测器（SSH）人脸检测算法,采用基于MobileNet的轻量级卷积神经网络对样本数据进行特征提取,减少模型的参数量和计算量,通过在SSH网络的检测模块中引入可变形卷积层,提升卷积神经网络对人脸形变的建模能力。在Wider Face数据集上的实验结果表明,与常用人脸检测算法相比,Lightweight-SSH算法在保证检测精度的前提下,明显降低模型复杂度,并提高了模型检测速度。