基于深度特征增广的跨域小样本人脸欺诈检测算法

随着人脸识别技术的发展,人脸欺诈攻击已经成为一项实际的安全问题,人脸欺诈检测算法用于及早发现该类攻击,保护系统安全.文中将一种经典域自适应算法扩展到深度神经网络中,首先定义了基于深度特征增广的域自适应层,提出了一种基于深度特征增广的跨域小样本人脸欺诈检测算法.该算法在已有的基于全卷积神经网络的人脸欺诈检测深度神经网络的中部嵌入域自适应层将卷积特征图增广,来适配源域和目标域的差异,随后根据增广后的特征图进行像素级分类,最后将像素级概率图从空间上融合为帧级决策.文中在CASIA-FASD,Replay-Attack和OULU-NPU 3个数据集和6个常见测评协议(2个CASIA-FASD与Replay-Attack跨库协议和4个OULU-NPU标准协议)下进行实验,验证了算法在不同背景、不同攻击设备、不同相机等跨域情况下的性能.实验表明,基准FCN人脸欺诈检测算法已经能够达到较好的性能,在此基础上,借助小样本目标域数据学习域自适应模型,可进一步显著提升性能,将错误率减半(CASIA-FASD训练+Replay-Attack测试的HTER指标从27.31％降至11.23％,Replay-Attack训练+CASIA-FASD测试的HTER指标从37.33％降至21.83％,OULU-NPU标准协议IV的ACER指标从9.45％降至5.56％),实验结果验证了基于深度特征增广的跨域小样本人脸欺诈检测算法的有效性.     

基于多模态融合的人脸反欺骗技术

在先前的人脸反欺骗方法中大多使用手工提取的特征或者仅使用单一模态上的人 脸特征,并且很少注意到多通道色度的差异,因此得到的人脸反欺骗模型的鲁棒性较差以至于 无法有效地区分真假面孔。鉴于此,卷积神经网络(CNN)被用作特征提取器来代替手工特征的 提取,并且一种有效的多输入 CNN 模型被提出,以融合多种模态上的人脸特征以实现更具有 鲁棒性的人脸反欺骗。通过对人脸图像上的 2 个不同颜色特征(即 HSV 和 YCbCr)以及时间特征 进行联合建模,探索了人脸反欺骗的最佳鲁棒表示。在 REPLAY_ATTACK 和 CASIA-FASD 2 个基准数据集上进行的大量实验表明,该方法可实现最先进的性能。且在 REPLAY_ATTACK 上获得 0.23%的错误率(ERR)与 0.49%的半错误率(HTER)和在 CASIA-FASD 数据库上获得 1.76％的错误率与 3.05%的半错误率。     

基于深度特征增广的跨域小样本人脸欺诈检测算法

随着人脸识别技术的发展,人脸欺诈攻击已经成为一项实际的安全问题,人脸欺诈检测算法用于及早发现该类攻击,保护系统安全.文中将一种经典域自适应算法扩展到深度神经网络中,首先定义了基于深度特征增广的域自适应层,提出了一种基于深度特征增广的跨域小样本人脸欺诈检测算法.该算法在已有的基于全卷积神经网络的人脸欺诈检测深度神经网络的中部嵌入域自适应层将卷积特征图增广,来适配源域和目标域的差异,随后根据增广后的特征图进行像素级分类,最后将像素级概率图从空间上融合为帧级决策.文中在CASIA-FASD,Replay-Attack和OULU-NPU 3个数据集和6个常见测评协议(2个CASIA-FASD与Replay-Attack跨库协议和4个OULU-NPU标准协议)下进行实验,验证了算法在不同背景、不同攻击设备、不同相机等跨域情况下的性能.实验表明,基准FCN人脸欺诈检测算法已经能够达到较好的性能,在此基础上,借助小样本目标域数据学习域自适应模型,可进一步显著提升性能,将错误率减半(CASIA-FASD训练+Replay-Attack测试的HTER指标从27.31％降至11.23％,Replay-Attack训练+CASIA-FASD测试的HTER指标从37.33％降至21.83％,OULU-NPU标准协议IV的ACER指标从9.45％降至5.56％),实验结果验证了基于深度特征增广的跨域小样本人脸欺诈检测算法的有效性.     

基于活体检测和身份认证的人脸识别安防系统

人脸识别由于其便捷性和实用性而被广泛应用于各种门禁等场合,但容易受到多种形式的欺骗攻击（如照片攻击和视频攻击）。基于深度卷积神经网络（CNN）的活体检测虽然能够解决以上问题,但是却存在计算量大、对用户不友好以及难以部署于嵌入式系统等缺点,因此提出了一种实时的轻量级的人脸识别安全分类方法。通过将基于色彩纹理分析的人脸活体检测算法与人脸认证算法相融合,提出了一种在无需用户配合的单目摄像头场景下进行人脸活体检测和人脸验证的人脸识别算法。该算法支持实时人脸识别,具有更高的活体检测识别率与鲁棒性。为了验证该算法的性能,以CASIA-FASD和Replay-Attack作为实验的基准数据集,结果表明在活体检测中该算法的半错误率（HTER）为9.7%,等错误率（EER）为5.5%,而且在整个流程中处理1帧图像所需时间为0.12 s,验证了该算法的可行性和有效性。     

结合面部纹理和前/背景差异的人脸活体检测

目的 人脸活体检测是人脸识别技术安全的重要保障,而背景环境的负面干扰是限制检测系统性能的关键问题。针对这一问题,提出了一种基于面部纹理和前/背景差异分析的人脸活体检测模型。方法 首先,基于新型骨干网络构建面部纹理分析模块,为模型提供充足的面部纹理信息,减缓模型受背景差异的负面干扰;接着,结合边缘检测算法思想对前/背景差异分析模块的卷积核重新改写,以此突出面部边缘的细节特征;最后,设计注意力特征融合模块将两个分流模块有机结合,提升模型在各种复杂环境下的可靠性。结果 在CASIA-MFSD(CASIA-mobile face spoofing dataset)、Replay-Attack和OULU-NPU等3个数据集上做了多组对比实验,在CASIA-MFSD数据集上的等错误率(equal error rate,EER)为0.19%,在Replay-Attack数据集上的等错误率和半错误率(half total error rate,HTER)均为0.00%和0.00%,在OULU-NPU数据集4个协议上的平均分类错误率(average classification error rate,A...     

联合 LTP 和 LPQ 的人脸识别方法

提出一种联合局部三值模式（LTP）和局部相位量化（LPQ）的人脸识别方法,该方法首先对预处理后的人脸分别采用LTP算子、LPQ算子提取各自的直方图,然后,通过特征选择将两者联合为LTP＿LPQ直方图,最后通过最近邻分类器进行分类识别。在ORL和YALE标准人脸数据库上的实验表明,该方法能有效地提高人脸的识别率。     

基于活体检测和身份认证的人脸识别安防系统

人脸识别由于其便捷性和实用性而被广泛应用于各种门禁等场合，但容易受到多种形式的欺骗攻击（如照片攻击和视频攻击）。基于深度卷积神经网络（CNN）的活体检测虽然能够解决以上问题，但是却存在计算量大、对用户不友好以及难以部署于嵌入式系统等缺点，因此提出了一种实时的轻量级的人脸识别安全分类方法。通过将基于色彩纹理分析的人脸活体检测算法与人脸认证算法相融合，提出了一种在无需用户配合的单目摄像头场景下进行人脸活体检测和人脸验证的人脸识别算法。该算法支持实时人脸识别，具有更高的活体检测识别率与鲁棒性。为了验证该算法的性能，以CASIA-FASD和Replay-Attack作为实验的基准数据集，结果表明在活体检测中该算法的半错误率（HTER）为9.7%，等错误率（EER）为5.5%，而且在整个流程中处理1帧图像所需时间为0.12 s，验证了该算法的可行性和有效性。     

结合反射图像的双流多层次融合人脸活体检测

针对从RGB图像提取到的特征对光照敏感，导致人脸活体检测模型泛化性能较差的问题，提出一种结合反射图像的双流多层次融合检测（face anti-spoofing using dual-stream multi-level fusion and reflection images,DMF-RI）算法。对RGB图像进行带色彩恢复的多尺度Retinex增强，获得反射图，并分别提取原图和反射图的低、中、高多层次深度特征；通过双流多层次特征融合模块（dual multi-level feature fusion,DMFF）实现不同层次不同特征的有效融合；联合基于二值掩码的像素级监督和基于二值标签的二分类监督训练网络模型。在CASIA-FASD、Replay-Attack、MSU-MFSD、OULU-NPU和SiW这5个人脸活体检测数据集上的多组实验表明，所提算法通过多层次融合RGB图像和MSRCR图像的深度特征，能提取人脸中更为本质的特征信息，在复杂背景条件下表现出较强的鲁棒性和泛化能力。     

基于多对抗性鉴别网络的人脸活体检测

人脸活体检测是人脸识别系统安全性保证的关键，其中，解纠缠学习方法可以有效解决人脸活体检测中泛化数据集的问题，但是现有的解纠缠学习方法往往将整幅人脸图像作为输入，解析出伪造痕迹元素，会忽略伪造痕迹的局部细节问题。针对这一问题，改进现有的伪造痕迹解纠缠网络，提出多对抗性鉴别网络模型，在鉴别器中设计主鉴别器和区域鉴别器，引入人脸遮罩模块，生成人脸皮肤、五官遮罩蒙版，整合人脸局部信息，使生成器拟合的图像更接近数据集中人脸图像的分布，同时解离出加强版的伪造痕迹。提出的多对抗性鉴别网络有效地增强了伪造人脸图像的伪造痕迹信息并提高了人脸活体检测的准确率。具体来说，该网络模型在OULU-NPU数据集的2个实验中的检测错误率仅为0.8%和1.4%,相比STDN错误率显著降低，同时在Idiap Replay-Attack数据集上也达到了较好的检测效果。为了验证该网络模型的可迁移性，在NUAA数据集和Idiap Replay-Attack数据集上进行跨域实验，达到了不错的效果。     

结合混合池化的双流人脸活体检测网络

目的 人脸识别技术在很多领域起着重要作用,但大量的欺诈攻击对人脸识别产生了威胁,比如打印攻击和重放攻击。传统的活体检测方法是以手工方式提取特征且缺乏对时间维度的考虑,导致检测效果不佳。针对以上问题,提出一种结合混合池化的双流活体检测网络。方法 对数据集提取光流图像并进行面部检测,得到双流网络的两个输入;在双流网络末端加入空间金字塔和全局平均混合池化,利用全连接层对池化后的特征进行分类并进行分数层面的融合;对空间流网络和时间流网络进行融合得到一个最优结果,同时考虑了不同颜色空间对检测性能的影响。结果 在CASIA-FASD （CASIA face anti-spoofing database）和replay-attack两个数据集上做了多组对比实验,在CASIA-FASD数据集上,等错误率（equal error rate,EER）为1.701%;在replay-attack数据集上,等错误率和半错误率（half total error rate,HTER）分别为0.091%和0.082%。结论 结合混合池化的双流活体检测网络充分考虑时间维度,提出的空间金字塔和全局平均混合池化策略能有效地利用特征。针对包含多种攻击类型、图像质量差异较大的数据集,本文提出的网络模型均能取得较低的错误率。     

基于区域分块和轻量级网络的人脸反欺骗方法

如何高效地辨别各种被攻击的人脸是人脸识别过程中迫切需要解决的问题。基于深度学习的人脸反欺骗方法在有着高性能的同时,也带来了庞大的参数量和计算量,使其无法部署在移动或嵌入式设备中。针对以上问题,提出了一种基于区域分块和轻量级网络的人脸反欺骗方法。首先,对训练样本进行随机区域分块;然后,设计了一种基于注意力机制的轻量级网络用于特征提取和图像分类;最后,为了提高测试准确率,对测试样本进行基于区域分块的数据扩增。实验结果表明,所提模型在CASIA-FASD和REPLAY-ATTACK数据集上达到了100%的准确率;在CASIA-SURF数据集的Depth模态上获得了99.49%的准确率和0.458 0%的平均分类错误率（ACER）,远优于ResNet、ShuffleNet等卷积神经网络,且该模型的参数量也仅有0.258 2 MB。在实际应用中,端到端的轻量级网络结构使所提模型更方便部署在移动设备上来进行实时的人脸反欺骗检测。     

多方向局部相位量化模式及纹理分类

梯度是图像的一种的特征，而同时考虑不同方向上的梯度信息是一种更加有效利用梯度的方式，因此提出多方向梯度的纹理局部相位量化模式算法。多方向梯度的纹理局部相位量化模式首先从不同方向提取图像的梯度特征，然后对每个方向上的梯度特征采用局部相位量化方法进行编码，各方向梯度采用相位量化编码后的特征连接成一个匹配特征向量。为了充分利用图像的梯度信息，还探讨了块模式的局部相位量化方法。两个纹理数据库和一个掌纹数据库上的实验充分表明，对图像各方向上的梯度信息进行局部相位量化编码是一种有效的纹理特征提取算法。     

基于内容风格增强和特征嵌入优化的人脸活体检测方法

针对现有人脸活体检测算法的特征表示不佳,以及在跨数据集上泛化性能较差等问题,提出了一种基于内容风格增强和特征嵌入优化的人脸活体检测方法。首先,使用ResNet-18编码器提取来自多个源域的通用特征,并经过不同注意力机制的两个自适应模块进行分离,增强全局内容特征与局部风格特征表征;其次,基于AdaIN算法将内容特征与风格特征进行有机融合,进一步提升特征表示,并将融合后的特征输入到特定的分类器和域判别器进行对抗训练;最后,采用平均负样本的半难样本三元组挖掘优化特征嵌入,可以兼顾类内聚集和类间排斥,更好地捕捉真实和伪造类别之间的界限。所提方法在四个基准数据集CASIA-FASD、REPLAY-ATTACK、MSU-MFSD 和 OULU-NPU上进行训练测试,分别达到了6.33%、12.05%、8.38%、10.59%的准确率,优于现有算法,表明所提方法能够显著提升人脸活体检测模型在跨数据集测试中的泛化性能。     

基于注意力的热点块和显著像素卷积神经网络的人脸防伪方法

人脸防伪用于验证被测试者是否为真实活体,是计算机视觉领域的一个研究热点。攻击手段的多样性以及人脸识别主要在嵌入式、移动式等不具备高计算能力的设备上应用,使得快速有效的人脸防伪计算成为具有挑战性的任务。针对该问题,文中提出了一种基于注意力的热点块和显著像素卷积神经网络的方法。其中,热点块机制以对5个热点块的判别来取代对整张人脸的判别,显著降低了计算量,迫使网络模型集中关注更具有鉴别信息的热点块,提高了网络模型的准确率;显著像素方法对输入的人脸图像进行显著像素预测,通过判断显著预测图是否符合人脸的深度特性来鉴别活体与攻击。该方法将热点块与显著像素的结果进行融合,充分发挥了局部特征和全局特征的作用,进一步提升了人脸防伪的效果。与现有方法相比,所提方法在CASIA-MFSD、Replay-Attack以及SiW数据集上都达到了很好的效果。     

尺度与颜色不变性图像特征描述

尺度不变特征变换是目前公认的鲁棒性最强的图像特征描述方法之一,在尺度不变性和几何不变性方面具有较好的特性,但该方法主要适用于灰度图像,对图像颜色的区分能力不强,因此,一些对象可能会因为颜色的不同而被错误的区分.另外,尺度不变特征变换对关键点局部范围内描述子主方向的依赖性非常强,直接决定了匹配的正确率,但是研究表明,主方向分配产生的误差仅有三分之二左右能控制在[-20。,+20。]范围内,因此部分特征会有三分之一的概率因为主方向分配的误差较大而不能正确匹配.针对以上两个问题,本文提出了一种具有颜色和尺度不变性的局部特征描述方法,颜色不变性通过将RGB图像转换到高斯颜色模型下实现,特征描述过程中不再分配主方向,而用局部相对方向,尺度不变性通过构建高斯金子塔实现.实验选取阿姆斯特丹数据集图像进行了测试,结果表明本文方法比传统尺度不变特征变换方法,在特征点的数目、分布均匀性以及匹配精度方面均有所提高.