融合DQ_CoALBP和LPQ算子的人脸活体检测

面向图片与视频攻击下的人脸活体检测任务，提出了一种差分量化相邻局部二值模式（DQ_CoALBP）算子，综合不同方向上的图像局部中心点与周围点之间的差值，同时为了更加充分地描述人脸的彩色纹理信息，在颜色空间通道上将该算子与局部相位量化（LPQ）直方图特征相融合，并利用支持向量机（SVM）分类器实现人脸反欺诈判别。在公开CASIA-FASD与Replay-Attack数据集上的实验结果表明，DQ_CoALBP算子的表现均优于LBP、LPQ、CoALBP与DQ_LBP四种算子。采用YCbCr颜色空间在融合DQ_CoALBP与LPQ算子时，CASIA-FASD数据集上的等错误率（EER）和半错误率（HTER）分别降至2.5%和3.7%，Replay-Attack数据集上实现了无差错检测，优于一些深度卷积神经网络模型。     

结合面部纹理和前/背景差异的人脸活体检测

目的 人脸活体检测是人脸识别技术安全的重要保障,而背景环境的负面干扰是限制检测系统性能的关键问题。针对这一问题,提出了一种基于面部纹理和前/背景差异分析的人脸活体检测模型。方法 首先,基于新型骨干网络构建面部纹理分析模块,为模型提供充足的面部纹理信息,减缓模型受背景差异的负面干扰;接着,结合边缘检测算法思想对前/背景差异分析模块的卷积核重新改写,以此突出面部边缘的细节特征;最后,设计注意力特征融合模块将两个分流模块有机结合,提升模型在各种复杂环境下的可靠性。结果 在CASIA-MFSD(CASIA-mobile face spoofing dataset)、Replay-Attack和OULU-NPU等3个数据集上做了多组对比实验,在CASIA-MFSD数据集上的等错误率(equal error rate,EER)为0.19%,在Replay-Attack数据集上的等错误率和半错误率(half total error rate,HTER)均为0.00%和0.00%,在OULU-NPU数据集4个协议上的平均分类错误率(average classification error rate,A...     

解纠缠表示学习在跨年龄人脸识别中的应用

跨年龄人脸识别因其在现实生活中的广泛应用而成为人脸识别领域的热门话题.针对跨年龄人脸识别精度较低的问题,引入解纠缠表示学习,提出了一个基于生成对抗网络的解纠缠表示学习(IPDRL)网络来实现人脸图像的识别.该网络由编码器、生成器和鉴别器构成.编码器在对特征中的年龄变化进行解纠缠的同时,对人脸图像的身份信息进行编码,提取只利于身份鉴别的特征,实现身份特征和年龄特征的解纠缠;生成器根据输入的年龄特征生成对应的身份保持的年龄图像;鉴别器通过对抗学习和多任务学习实现年龄和身份的类分布预测.通过将解纠缠表示学习、对抗学习和多任务学习相结合的方法,很好地保留了人脸图像的身份信息,并使跨年龄人脸图像识别的精度得到了提高.     

针对低质量视频的双支流人脸伪造检测方法

随着人脸伪造技术不断的发展,如今经过伪造后的视频和图片的人脸伪造质量大幅度提升,这对人身安全、财产安全乃至公共安全存在一定的危害性。因此,迫切需要一种有效的检测方法来区分真假人脸。然而,现有的检测方法面对低质量的虚假人脸视频时存在一定的局限性,即面对压缩过后的低质量视频检测性能较差,此外,泛化性能较差,检测准确率有所下降。为了提升检测网络的准确性和泛化性,将语义信息和噪声信息相结合,提出一个双支流网络,在关注图像语义信息的同时通过高频噪声信息展示出伪造区域和真实区域的不一致性。利用高频噪声信息暴露出的不一致性,重点关注图像语义信息中的伪造痕迹。交互模块增进语义信息和高频信息之间的交互性与融合性。在FaceForensics++数据集进行了训练和测试,并在Celeb-DF数据集上评估该模型的跨数据集泛化性能。从实验结果中可以证明该模型的有效性和可靠性。     

人脸伪造及检测技术综述

人脸伪造技术的恶意使用,不仅损害公民的肖像权和名誉权,而且会危害国家政治和经济安全。因此,针对伪造人脸图像和视频的检测技术研究具有重要的现实意义和实践价值。本文在总结人脸伪造和伪造人脸检测的关键技术与研究进展的基础上,分析现有伪造和检测技术的局限。在人脸伪造方面,主要包括利用生成对抗技术的全新人脸生成技术和基于现有人脸的人脸编辑技术,介绍生成对抗网络在人脸图像生成的发展进程,重点介绍人脸编辑技术中的人脸交换技术和人脸重现技术,从网络结构、通用性和生成效果真实性等角度对现有的研究进展进行深入阐述。在伪造人脸检测方面,根据媒体载体的差异,分为伪造人脸图像检测和伪造人脸视频检测,首先介绍利用统计分布差异、拼接残留痕迹和局部瑕疵等特征的伪造人脸图像检测技术,然后根据提取伪造特征的差异,将伪造人脸视频检测技术分为基于帧间信息、帧内信息和生理信号的伪造视频检测技术,并从特征提取方式、网络结构设计特点和使用场景类型等方面进行详细阐述。最后,分析了当前人脸伪造技术和伪造人脸检测技术的不足,提出可行的改进意见,并对未来发展方向进行展望。     

基于活体检测和身份认证的人脸识别安防系统

人脸识别由于其便捷性和实用性而被广泛应用于各种门禁等场合，但容易受到多种形式的欺骗攻击（如照片攻击和视频攻击）。基于深度卷积神经网络（CNN）的活体检测虽然能够解决以上问题，但是却存在计算量大、对用户不友好以及难以部署于嵌入式系统等缺点，因此提出了一种实时的轻量级的人脸识别安全分类方法。通过将基于色彩纹理分析的人脸活体检测算法与人脸认证算法相融合，提出了一种在无需用户配合的单目摄像头场景下进行人脸活体检测和人脸验证的人脸识别算法。该算法支持实时人脸识别，具有更高的活体检测识别率与鲁棒性。为了验证该算法的性能，以CASIA-FASD和Replay-Attack作为实验的基准数据集，结果表明在活体检测中该算法的半错误率（HTER）为9.7%，等错误率（EER）为5.5%，而且在整个流程中处理1帧图像所需时间为0.12 s，验证了该算法的可行性和有效性。     

结合反射图像的双流多层次融合人脸活体检测

针对从RGB图像提取到的特征对光照敏感，导致人脸活体检测模型泛化性能较差的问题，提出一种结合反射图像的双流多层次融合检测（face anti-spoofing using dual-stream multi-level fusion and reflection images,DMF-RI）算法。对RGB图像进行带色彩恢复的多尺度Retinex增强，获得反射图，并分别提取原图和反射图的低、中、高多层次深度特征；通过双流多层次特征融合模块（dual multi-level feature fusion,DMFF）实现不同层次不同特征的有效融合；联合基于二值掩码的像素级监督和基于二值标签的二分类监督训练网络模型。在CASIA-FASD、Replay-Attack、MSU-MFSD、OULU-NPU和SiW这5个人脸活体检测数据集上的多组实验表明，所提算法通过多层次融合RGB图像和MSRCR图像的深度特征，能提取人脸中更为本质的特征信息，在复杂背景条件下表现出较强的鲁棒性和泛化能力。     

基于注意力的热点块和显著像素卷积神经网络的人脸防伪方法

人脸防伪用于验证被测试者是否为真实活体,是计算机视觉领域的一个研究热点。攻击手段的多样性以及人脸识别主要在嵌入式、移动式等不具备高计算能力的设备上应用,使得快速有效的人脸防伪计算成为具有挑战性的任务。针对该问题,文中提出了一种基于注意力的热点块和显著像素卷积神经网络的方法。其中,热点块机制以对5个热点块的判别来取代对整张人脸的判别,显著降低了计算量,迫使网络模型集中关注更具有鉴别信息的热点块,提高了网络模型的准确率;显著像素方法对输入的人脸图像进行显著像素预测,通过判断显著预测图是否符合人脸的深度特性来鉴别活体与攻击。该方法将热点块与显著像素的结果进行融合,充分发挥了局部特征和全局特征的作用,进一步提升了人脸防伪的效果。与现有方法相比,所提方法在CASIA-MFSD、Replay-Attack以及SiW数据集上都达到了很好的效果。     

多级特征全局一致性的伪造人脸检测

目的 随着深度伪造技术的快速发展,人脸伪造图像越来越难以鉴别,对人们的日常生活和社会稳定造成了潜在的安全威胁。尽管当前很多方法在域内测试中取得了令人满意的性能表现,但在检测未知伪造类型时效果不佳。鉴于伪造人脸图像的伪造区域和非伪造区域具有不一致的源域特征,提出一种基于多级特征全局一致性的人脸深度伪造检测方法。方法 使用人脸结构破除模块加强模型对局部细节和轻微异常信息的关注。采用多级特征融合模块使主干网络不同层级的特征进行交互学习,充分挖掘每个层级特征蕴含的伪造信息。使用全局一致性模块引导模型更好地提取伪造区域的特征表示,最终实现对人脸图像的精确分类。结果 在两个数据集上进行实验。在域内实验中,本文方法的各项指标均优于目前先进的检测方法,在高质量和低质量FaceForensics++数据集上,AUC(area under the curve)分别达到99.02%和90.06%。在泛化实验中,本文的多项评价指标相比目前主流的伪造检测方法均占优。此外,消融实验进一步验证了模型的每个模块的有效性。结论 本文方法可以较准确地对深度伪造人脸进行检测,具有优越的泛化性能,能够作为应对当前人脸伪造威胁...     

融合全局时序和局部空间特征的伪造人脸视频检测方法

近年来,深度学习在人工智能领域表现出优异的性能。基于深度学习的人脸生成和操纵技术已经能够合成逼真的伪造人脸视频,也被称作深度伪造,让人眼难辨真假。然而,这些伪造人脸视频可能会给社会带来巨大的潜在威胁,比如被用来制作政治虚假新闻,从而引发政治暴力或干扰正常选举等。因此,亟需研发对应的检测方法来主动发现伪造人脸视频。现有的方法在制作伪造人脸视频时,容易在空间上和时序上留下一些细微的伪造痕迹,比如纹理和颜色上的扭曲或脸部的闪烁等。主流的检测方法同样采用深度学习,可以被划分为两类,即基于视频帧的方法和基于视频片段的方法。前者采用卷积神经网络（Convolutional Neural Network,CNN）发现单个视频帧中的空间伪造痕迹,后者则结合循环神经网络（Recurrent Neural Network,RNN）捕捉视频帧之间的时序伪造痕迹。这些方法都是基于图像的全局信息进行决策,然而伪造痕迹一般存在于五官的局部区域。因而本文提出了一个统一的伪造人脸视频检测框架,利用全局时序特征和局部空间特征发现伪造人脸视频。该框架由图像特征提取模块、全局时序特征分类模块和局部空间特征分类模块组成。在FaceForensics++数据集上的实验结果表明,本文所提出的方法比之前的方法具有更好的检测效果。     

基于活体检测和身份认证的人脸识别安防系统

人脸识别由于其便捷性和实用性而被广泛应用于各种门禁等场合,但容易受到多种形式的欺骗攻击（如照片攻击和视频攻击）。基于深度卷积神经网络（CNN）的活体检测虽然能够解决以上问题,但是却存在计算量大、对用户不友好以及难以部署于嵌入式系统等缺点,因此提出了一种实时的轻量级的人脸识别安全分类方法。通过将基于色彩纹理分析的人脸活体检测算法与人脸认证算法相融合,提出了一种在无需用户配合的单目摄像头场景下进行人脸活体检测和人脸验证的人脸识别算法。该算法支持实时人脸识别,具有更高的活体检测识别率与鲁棒性。为了验证该算法的性能,以CASIA-FASD和Replay-Attack作为实验的基准数据集,结果表明在活体检测中该算法的半错误率（HTER）为9.7%,等错误率（EER）为5.5%,而且在整个流程中处理1帧图像所需时间为0.12 s,验证了该算法的可行性和有效性。     

局部相似度异常的强泛化性伪造人脸检测

目的 人脸伪造技术迅猛发展，对社会信息安全构成了严重威胁，亟需强泛化性伪造人脸检测算法抵抗多种多样的伪造模型。目前的研究发现伪造算法普遍包含人脸与背景融合的操作，这意味着任何伪造方式都难以避免在人脸边缘遗留下伪造痕迹。根据这一发现，本文将模型的学习目标从特定的伪造痕迹特征转化为更加普适的人脸图像局部相似度特征，并提出了局部相似度异常的深度伪造人脸检测算法。方法 首先提出了局部相似度预测（local similarity predicator，LSP）模块，通过一组局部相似度预测器分别计算RGB图像中间层特征图的局部异常，同时，为了捕捉频域中的真伪线索，还提出了可学习的空域富模型卷积金字塔（spatial rich model convolutional pyramid，SRMCP）来提取多尺度的高频噪声特征。结果 在多个数据集上进行了大量实验。在泛化性方面，本文以ResNet18为骨干网络的模型在FF++4个子集上的跨库检测精度分别以0.77%、5.59%、6.11%和4.28%的优势超越了对比方法。在图像压缩鲁棒性方面，在3种不同压缩效果下，分别以2.48%、4.83%和10.10%的优势超越了对比方法。结论 本文方法能够大幅度提升轻量型卷积神经网络的检测性能，相比于绝大部分工作都取得了更优异的泛化性和鲁棒性效果。     

梯度控制与鉴别特征引导的写实类人物肖像插画转换方法

现有的无监督图像转换方法由于未考虑人脸辨别特征保持这一问题,转换后得到的写实类人物肖像插画常会出现人脸变形和面部结构坍塌的现象,难以辨认人物信息.针对该问题,文中提出梯度控制与鉴别特征引导的写实类人物肖像插画转换方法.在循环生成对抗网络(CycleGAN)的基础上引入避免冗余特征复用的掩码残差长连接,将图像梯度信息一致性作为约束条件,较好地保持人脸辨别特征.设计鉴别特征引导的信息共享训练机制,使生成器具有和鉴别器相同的提取目标风格图像鉴别特征的能力.同时拓展图像块鉴别器为多感知鉴别器,获得丰富的鉴别信息.实验表明,文中方法转换得到的写实类人物肖像插画不仅较好地保持显著的人脸辨别特征,而且在插画视觉效果上较优.     

人脸活体检测综述

人脸活体检测是为了提高人脸识别系统安全性而需要重点研究的问题.本文首先从人脸活体检测的问题出发, 分个体、类内、类间三个层面对人脸活体检测存在的困难与挑战进行了阐述分析.接下来, 本文以算法使用的分类线索为主线, 分类别对人脸活体检测算法及其优缺点进行了梳理和总结.之后, 本文就常用人脸活体检测数据集的特点、数据量、数据多样性等方面进行了对比分析, 对算法评估常用的性能评价指标进行了阐述, 总结分析了代表性人脸活体检测方法在照片视频类数据集CASIA-MFSD、Replay-Attack、Oulu-NPU、SiW以及面具类数据集3DMAD、SMAD、HKBU-MARsV2上的实验性能.最后本文对人脸活体检测未来可能的发展方向进行了思考和探讨.     

基于有监督注意力网络的伪造人脸视频检测

在伪造人脸视频检测中,大多数方法都以单一的卷积神经网络作为特征提取模块,提取的特征可能与人类的视觉机制不符。针对此类问题,提出基于有监督注意力网络的伪造人脸视频检测方法。基于胶囊网络检测伪造人脸视频,使用注意力分支提高对伪造人脸图像细节特征的提取能力,使用焦点损失提高模型对难检测样本的检测能力。在数据集FaceForensics++上的实验结果表明,提出方案有更优越的性能。     

基于多特征融合的人脸活体检测算法

近年来,随着人脸识别系统的不断发展,各种假冒合法用户的欺骗手段不断出现.基于单一差异线索进行的活体检测,已经不能满足当前复杂环境下提高人脸活体检测方法性能的需求.基于此,文中提出多特征融合的方法,使用卷积神经网络从人脸图像的不同线索中学习多个特征来进行活体检测,深度图在空间上能够区分真假人脸之间的深度信息;光流图在时间上能够区分真假人脸之间的动态信息;残差噪声图根据真人脸的一次成像和假冒人脸的二次成像噪声成分的不同进行区分.文中融合3种特征,不仅利用空间、时间多维度线索弥补了单一线索的不足,同时也提高了模型的泛化能力.相比现有的方法,所提方法无论是在同一个数据库还是跨数据库的情况下,均有较好的实验结果.具体而言,所提方法在CASIA数据集、RE-PLAY-ATTACK数据集和NUAA数据集上的错误率分别为0.11％,0.06％和0.45％.     

基于噪声注意力的伪造人脸检测方法

随着人工智能和深度神经网络的不断发展,图像生成与编辑变得越来越容易,恶意运用图像生成工具进行篡改伪造的现象层出不穷,这对多媒体安全以及社会稳定造成了极大威胁,因此研究伪造人脸的检测方法至关重要。人脸篡改伪造的方式和工具多种多样,在篡改的过程中可能留下不同程度的篡改痕迹,而这在图像噪声中都有一定程度上的反映。从图像噪声的角度出发,通过噪声去除的方式挖掘反映伪造人脸篡改痕迹的噪声成分,进一步生成噪声注意力,指导主干网络进行伪造人脸检测。使用SRM滤波监督噪声去除模块的训练,并将噪声去除模块所得到的噪声再次加入真实人脸图像中,形成一对有监督的训练样本,通过自监督的方式对噪声去除模块进行加强指导,实验结果说明噪声去除模块得到的噪声特征具有较好的区分度。在多个公开数据集上进行了实验,所提方法在Celeb-DF数据集上达到98.32%的准确率,在FaceForensics++数据集上达到94%以上的准确率,在DFDC数据集上达到92.61%的准确率,证明了所提方法的有效性。     

基于生成对抗网络的遮挡表情识别

针对实际应用中局部遮挡会影响人脸表情识别,提出一种基于生成对抗网络（GAN）的表情识别算法。先对遮挡人脸图像填补修复,再进行表情识别。其中GAN的生成器由卷积自动编码机构成,与鉴别器的对抗学习使得生成的人脸图像更加逼真;由卷积神经网络构成的鉴别器具有良好的特征提取能力,添加多分类层构成了表情分类器,避免了重新计算图像特征。为了解决训练样本不足的问题,将CelebA人脸数据集用于训练人脸填补修复,同时表情分类器的特征提取部分得到了预训练。在CK+数据集上的实验证明,填补后的人脸图像真实连贯,并取得了较高的表情识别率,尤其提高了人脸大面积遮挡的识别率。     

基于多通道注意力机制的人脸替换鉴别

基于深度学习的人脸替换技术取得快速发展,但由DeepFake自动生成的人脸替换图片有可能危害人们的隐私安全。针对DeepFake图片鉴别问题,建立一种基于多通道注意力机制的深度学习鉴别网络模型。将Xception网络作为基础特征提取器,在多通道注意力模块中通过矩阵相乘的思想融合全局和局部的注意力表示,以减少重要信息损失。设计损失函数时添加中心损失,从而提高特征区分度。在训练过程中利用注意力图来引导训练图像的裁剪和去除,以达到数据增强的目的。实验结果表明,相比Xception、B4Att方法,在FaceForensics++数据集上该网络模型对DeepFake的检测精度分别提高0.77和0.45个百分点,在Celeb-DF数据集上分别提高5.30和4.68个百分点。     

融合多尺度特征的多监督人脸活体检测算法

目前的多数活体检测算法忽略了特征挖掘,导致判别性信息提取不足。提出一种融合梯度纹理和群感受野的活体检测算法。使用中心差分卷积计算感受野周围点与中心点的差值,提取图像的梯度纹理特征,设计群感受野模块,采用不同尺寸的卷积核结合空洞卷积组成多分支结构,在使用较少参数量的情况下获得更大的感受野和多尺度特征,并将两种特征融合输入到残差结构中。此外,在使用深度图进行监督的同时,增加二值掩模进行辅助监督,使得网络将学习的中心放到人脸部位,进一步提升模型的鲁棒性。在此基础上,综合深度图生成器和掩模生成器的输出结果,计算预测得分,实现端到端的活体检测。实验结果表明,该算法在公开数据集OULU-NPU 4个协议上的平均分类错误率分别为0.9%、1.9%、1.6%±2.0%和2.7%±1.8%,在数据集CASIA-MFSD和Replay-Attack上可实现无误差活体检测,并且模型参数量仅为1.1 MB,与Auxiliary和STASN等活体检测算法相比,检测精度更高,具有更好的鲁棒性。