面向商用活体检测平台的鲁棒性评估

活体检测技术已经成为日常生活中的重要应用,手机刷脸解锁、刷脸支付、远程身份验证等场景都会用到这一技术。但如果攻击者利用虚假视频生成技术生成逼真的换脸视频来攻击上述场景的活体检测系统,将会对这些场景的安全性产生巨大的威胁。针对这个问题使用4种先进的Deepfake技术生成大量的换脸图片和视频作为测试样本,用这些样本来对百度、腾讯等商用活体检测平台的在线API接口进行测试。测试实验结果显示常用的各大商用活体检测平台对 Deepfake 图像的检测成功率普遍很低,并且对图像的质量较为敏感,对真实图像的误检率也很高。其主要原因可能是这些平台设计时针对的是打印照片攻击、屏幕二次翻拍攻击、硅胶面具攻击等传统的活体检测攻击方法,并未将先进的换脸检测技术集成到他们的活体检测算法中,这些平台因此不能够有效应对Deepfake攻击。因此,提出了一种集成活体检测方法Integranet,该方法由4种针对不同图像特征的检测算法集成所得,既能够有效检测出打印照片、屏幕二次翻拍等传统的攻击手段,也能够有效应对先进的Deepfake攻击。在测试数据集上验证Integranet的检测效果,结果显示Integranet检测方法相比较各大商用活体检测平台,对Deepfake图像的检测成功率至少提高35%以上。     

基于自动编码器的深度伪造图像检测方法

基于深度学习的图像伪造方法生成的图像肉眼难辨,一旦该技术被滥用于制作虚假图像和视频,可能会对国家政治、经济、文化造成严重的负面影响,也可能会对社会生活和个人隐私构成威胁。针对上述问题,提出了一种基于自动编码器的深度伪造Deepfake图像检测方法。首先,借助高斯滤波对图像进行预处理,提取高频信息作为模型输入;然后,利用自动编码器对图像进行特征提取,并在编码器中添加注意力机制模块以获取更好的分类效果;最后,通过消融实验证明,采用所提的预处理方法和添加注意力机制模块有助于伪造图像检测。实验结果表明,与ResNet50、Xception以及InceptionV3相比,所提方法在数据集样本量较小且包含的场景丰富时,可以有效检测多种生成方法所伪造的图像,其平均准确率可达97.10%,明显优于对比方法,且其泛化性能也明显优于对比方法。     

基于双层注意力的Deepfake换脸检测

针对现有Deepfake检测算法中普遍存在的准确率低、可解释性差等问题，提出融合双层注意力的神经网络模型，该模型利用通道注意力捕获假脸的异常特征，并结合空间注意力聚焦异常特征的位置，充分学习假脸异常部分的上下文语义信息，从而提升换脸检测的有效性和准确性。并以热力图的形式有效地展示了真假脸的决策区域，使换脸检测模型具备一定程度的解释性。在 FaceForensics++开源数据集上的实验表明，所提方法的检测精度优于MesoInception、Capsule-Forensics和XceptionNet检测方法。     

基于篡改伪影的深度伪造检测方法

随着深度伪造（Deepfake）技术的不断发展,犯罪分子可以利用造假图片伪造不在场证明,从而误导侦查方向以逃避法律责任。现有多数检测方法依赖于数据驱动,在跨压缩率、跨分辨率方面鲁棒性不强。研究Deepfake视频在脸部区域所遗留的伪影,建立一种基于Xception的双流网络检测模型,以实现对Deepfake图片的自动检测。利用Xception网络提取图片的全局空域特征,对脸部区域进行有效遮挡,凸显出脸部伪影并提取伪影特征。在此基础上,将空域特征与伪造特征2个支流的预测结果进行融合判别。在Deepfakes数据集上的实验结果表明,该模型的测试精度高达0.986 4。     

基于改进CycleGAN的人脸性别伪造图像生成模型

深度伪造可以将人的声音、面部及身体动作拼接,从而合成虚假内容,用于转换性别、改变年龄等。基于生成对抗式图像翻译网络的人脸性别伪造图像存在容易改变无关图像域、人脸细节不够丰富等问题。针对这些问题,文中提出基于改进CycleGAN的人脸性别伪造图像生成模型。首先,优化生成器结构,利用注意力机制与自适应残差块提取更丰富的人脸特征;然后,借鉴相对损失的思想对损失函数进行改进,提高判别器的判别能力。最后,提出基于年龄约束的模型训练策略,减小了年龄变化对生成图像的影响。在CelebA和IMDB-WIKI数据集上进行实验,实验结果表明,与原始CycleGAN方法和UGATIT方法相比,所提方法能够生成更加真实的人脸性别伪造图像,伪造男性和伪造女性的平均内容准确率分别为82.65%和78.83%,FID平均得分分别为32.14和34.50。     

多关键帧特征交互的人脸篡改视频检测

目的 深度伪造是新兴的一种使用深度学习手段对图像和视频进行篡改的技术,其中针对人脸视频进行的篡改对社会和个人有着巨大的威胁。目前,利用时序或多帧信息的检测方法仍处于初级研究阶段,同时现有工作往往忽视了从视频中提取帧的方式对检测的意义和效率的问题。针对人脸交换篡改视频提出了一个在多个关键帧中进行帧上特征提取与帧间交互的高效检测框架。方法 从视频流直接提取一定数量的关键帧,避免了帧间解码的过程;使用卷积神经网络将样本中单帧人脸图像映射到统一的特征空间;利用多层基于自注意力机制的编码单元与线性和非线性的变换,使得每帧特征能够聚合其他帧的信息进行学习与更新,并提取篡改帧图像在特征空间中的异常信息;使用额外的指示器聚合全局信息,作出最终的检测判决。结果 所提框架在FaceForensics++的3个人脸交换数据集上的检测准确率均达到96.79%以上;在Celeb-DF数据集的识别准确率达到了99.61%。在检测耗时上的对比实验也证实了使用关键帧作为样本对检测效率的提升以及本文所提检测框架的高效性。结论 本文所提出的针对人脸交换篡改视频的检测框架通过提取关键帧减少视频级检测中的计算成本和时间消耗,使用卷积神经网络将每帧的人脸图像映射到特征空间,并利用基于自注意力的帧间交互学习机制,使得每帧特征之间可以相互关注,学习到有判别性的信息,使得检测结果更加准确,整体检测过程更高效。     

人脸深度伪造主动防御技术综述

深度生成模型的飞速发展推动了人脸深度伪造技术的进步,以Deepfake为代表的深度伪造模型也得到了十分广泛的应用。深度伪造技术可以对人脸图像或视频进行有目的的操纵,一方面,这种技术广泛应用于电影特效、娱乐场景中,丰富了人们的娱乐生活,促进了互联网多媒体的传播;另一方面,深度伪造也应用于一些可能造成不良影响的场景,给公民的名誉权、肖像权造成了危害,同时也给国家安全和社会稳定带来了极大的威胁,因此对深度伪造防御技术的研究日益迫切。现有的防御技术主要分为被动检测和主动防御,而被动检测的方式无法消除伪造人脸在广泛传播中造成的影响,难以做到“事前防御”,因此主动防御的思想得到了研究人员的广泛关注。然而,目前学术界有关深度伪造防御的综述主要关注基于检测的被动式防御方法,几乎没有以深度伪造主动防御技术为重点的综述。基于此,本文对当前学术界提出的人脸深度伪造主动防御技术进行梳理、总结和讨论。首先阐述了深度伪造主动防御的提出背景和主要思想,并对现有的人脸深度伪造主动防御算法进行汇总和归类,然后对各类主动防御算法的技术原理、性能、优缺点等进行了系统性的总结,同时介绍了研究常用的数据集和评估方法,最后对深度伪造主动防御所面临的技术挑战进行了分析,对其未来的发展方向展开了思考和讨论。     

Detecting facial manipulated videos based on set convolutional neural networks

With the boom of artificial intelligence, facial manipulation technology is becoming more simple and more numerous. At the same time, the technology also has a large and profound negative impact on face forensics, such as Deepfakes. In this paper, in order to aggregate multiframe features to detect facial manipulation videos, we solve facial manipulated video detection from set perspective and propose a novel framework based on set, which is called set convolutional neural network (SCNN). Three instances of the proposed framework SCNN are implemented and evaluated on the Deepfake TIMIT dataset, FaceForensics++ dataset and DFDC Preview datset. The results show that the method outperforms previous methods and can achieve state-of-the-art performance on both datasets. As a perspective, the proposed method is a fusion promotion of single-frame digital video forensics network.     

基于帧间差异的人脸篡改视频检测方法

近几年,随着计算机硬件设备的不断更新换代和深度学习技术的不断发展,新出现的多媒体篡改工具可以让人们更容易地对视频中的人脸进行篡改。使用这些新工具制作出的人脸篡改视频几乎无法被肉眼所察觉,因此我们急需有效的手段来对这些人脸篡改视频进行检测。目前流行的视频人脸篡改技术主要包括以自编码器为基础的Deepfake技术和以计算机图形学为基础的Face2face技术。我们注意到人脸篡改视频里人脸区域的帧间差异要明显大于未被篡改的视频中人脸区域的帧间差异,因此视频相邻帧中人脸图像的差异可以作为篡改检测的重要线索。在本文中,我们提出一种新的基于帧间差异的人脸篡改视频检测框架。我们首先使用一种基于传统手工设计特征的检测方法,即基于局部二值模式（Local binary pattern,LBP）/方向梯度直方图（Histogram of oriented gradient,HOG）特征的检测方法来验证该框架的有效性。然后,我们结合一种基于深度学习的检测方法,即基于孪生网络的检测方法进一步增强人脸图像特征表示来提升检测效果。在FaceForensics++数据集上,基于LBP/HOG特征的检测方法有较高的检测准确率,而基于孪生网络的方法可以达到更高的检测准确率,且该方法有较强的鲁棒性;在这里,鲁棒性指一种检测方法可以在三种不同情况下达到较高的检测准确率,这三种情况分别是：对视频相邻帧中人脸图像差异用两种不同方式进行表示、提取三种不同间隔的帧对来计算帧间差异以及训练集与测试集压缩率不同。     

基于块间光照不一致性的深度伪造检测算法

深度伪造技术的迅速发展和广泛传播引起了社会的广泛关注,但深度伪造技术的恶意应用也给社会带来了潜在威胁。因此,如何检测出此类深度伪造内容成为热门研究课题。以往的多数深度伪造检测算法着重于捕捉像素级别的细微伪造痕迹。目前的深度伪造算法大多忽略了伪造前后的光照信息,导致原始人脸与伪造人脸之间存在一定的光照不一致性,这为使用光照不一致性来检测深度伪造提供了可能。从引入光照不一致性信息和为特定任务设计网络结构模块两个角度设计了对应的算法。针对光照的引入,通过设计对应的通道融合算法,将更多的光照不一致信息提供给网络特征提取层,从而衍生出新的网络结构。为了保证该网络结构的可移植性,将特征通道融合的过程置于网络提取信息之前,从而使所提算法能够完整移植至常见的深度伪造检测网络。针对网络结构的设计,从网络结构和损失函数设计两个角度出发,提出了基于块间相似性的光照不一致性深度伪造检测算法。对于网络结构,基于伪造图像篡改区域和背景区域不一致的特性,在网络特征层中对提取特征进行分块,通过对比块间余弦相似度得到特征层相似矩阵,使网络拟合重心更偏向于光照不一致性。在此基础上,基于特征层相似性对比方案,通过将输入图像与该图像的未篡改图像进行块间真伪性对比,为这一任务设计了独立的真实数据参考及损失函数。实验结果表明,与基线算法相比,所提算法对于深度伪造检测的准确性有明显提升。