基于多模态特征融合的轻量级人脸活体检测方法

人脸活体检测是人脸识别过程中的一个重要环节,对于身份验证的安全性尤为重要。针对人脸识别过程存在照片、视频、面具、头套、头模等欺骗手段,通过Intel Realsense相机采集人脸RGB图和深度图信息,并在MobileNetV3的基础上提出了特征融合的轻量级活体检测网络,将深度图与RGB图的特征融合起来并且进行端到端的训练。而为了解决深度学习中参数量较大以及网络尾部对于权重区域的区分的问题,提出在网络尾部采用Streaming Module以减少网络参数量并且对权重区域进行区分。在CASIA-SURF数据集以及所制作的CQNU-LN数据集上进行仿真实验,结果表明所提方法在两个数据集上均于TPR@FPR=10E-4的级别上达到了95%的精度,相较对比方法中精度最高的ShuffleNet分别提高了0.1%和0.05%;在所制作的CQNU-3Dmask数据集上,所提方法于TPR@FPR=10E-4的级别达到了95.2%的精度,比仅训练RGB图或仅训练深度图的方法分别提升了0.9%和6.5%,并且,模型的参数文件的大小仅为1.8 MB,每秒浮点数运算量（FLOPs）仅为1.5×10⁶。该方法能够在实际应用中对提取到的人脸进行准确的实时检测。     

基于多模态融合的人脸反欺骗技术

在先前的人脸反欺骗方法中大多使用手工提取的特征或者仅使用单一模态上的人 脸特征,并且很少注意到多通道色度的差异,因此得到的人脸反欺骗模型的鲁棒性较差以至于 无法有效地区分真假面孔。鉴于此,卷积神经网络(CNN)被用作特征提取器来代替手工特征的 提取,并且一种有效的多输入 CNN 模型被提出,以融合多种模态上的人脸特征以实现更具有 鲁棒性的人脸反欺骗。通过对人脸图像上的 2 个不同颜色特征(即 HSV 和 YCbCr)以及时间特征 进行联合建模,探索了人脸反欺骗的最佳鲁棒表示。在 REPLAY_ATTACK 和 CASIA-FASD 2 个基准数据集上进行的大量实验表明,该方法可实现最先进的性能。且在 REPLAY_ATTACK 上获得 0.23%的错误率(ERR)与 0.49%的半错误率(HTER)和在 CASIA-FASD 数据库上获得 1.76％的错误率与 3.05%的半错误率。     

基于多模态融合的人脸反欺骗算法研究

人脸反欺骗技术可以准确判断捕获的人脸图像是真实人脸还是虚假人脸,是人脸识别系统安全的重要保障.传统的人脸反欺骗方法主要是利用手工设计的特征,如LBP、HoG、SIFT、SURF和DoG来刻画真实人脸和虚假人脸之间的不同特征分布,但人工设计的特征难以适应无约束环境下(如光照、背景的变化)的人脸反欺骗问题.鉴于此,该文提出...     

基于深度学习和特征融合的人脸活体检测算法

针对目前基于深度学习的活体检测算法大都基于大型卷积神经网络的问题,提出一种基于轻量级网络MobileNetV2和特征融合的活体检测算法。首先,以改进的MobileNetV2为基础网络分别从RGB、HSV、LBP图中提取特征;然后,将得到的特征图堆叠在一起以进行特征层的融合;最后,从融合后的特征图中继续提取特征,并利用Softmax层作出真假人脸的判断。仿真结果显示,所提算法在NUAA数据集上的等错误率(EER)为0. 02%,在Siw数据集上的ACER(Average Classification Error Rate)为0. 75%,而且测试单张图像仅用时6 ms。实验结果表明:融合不同的信息可以获得更低的错误率,改进的轻量化网络保证了算法的高效性并满足实时性需求。     

融合多尺度特征的多监督人脸活体检测算法

目前的多数活体检测算法忽略了特征挖掘,导致判别性信息提取不足。提出一种融合梯度纹理和群感受野的活体检测算法。使用中心差分卷积计算感受野周围点与中心点的差值,提取图像的梯度纹理特征,设计群感受野模块,采用不同尺寸的卷积核结合空洞卷积组成多分支结构,在使用较少参数量的情况下获得更大的感受野和多尺度特征,并将两种特征融合输入到残差结构中。此外,在使用深度图进行监督的同时,增加二值掩模进行辅助监督,使得网络将学习的中心放到人脸部位,进一步提升模型的鲁棒性。在此基础上,综合深度图生成器和掩模生成器的输出结果,计算预测得分,实现端到端的活体检测。实验结果表明,该算法在公开数据集OULU-NPU 4个协议上的平均分类错误率分别为0.9%、1.9%、1.6%±2.0%和2.7%±1.8%,在数据集CASIA-MFSD和Replay-Attack上可实现无误差活体检测,并且模型参数量仅为1.1 MB,与Auxiliary和STASN等活体检测算法相比,检测精度更高,具有更好的鲁棒性。     

人脸活体检测综述

人脸活体检测是为了提高人脸识别系统安全性而需要重点研究的问题.本文首先从人脸活体检测的问题出发, 分个体、类内、类间三个层面对人脸活体检测存在的困难与挑战进行了阐述分析.接下来, 本文以算法使用的分类线索为主线, 分类别对人脸活体检测算法及其优缺点进行了梳理和总结.之后, 本文就常用人脸活体检测数据集的特点、数据量、数据多样性等方面进行了对比分析, 对算法评估常用的性能评价指标进行了阐述, 总结分析了代表性人脸活体检测方法在照片视频类数据集CASIA-MFSD、Replay-Attack、Oulu-NPU、SiW以及面具类数据集3DMAD、SMAD、HKBU-MARsV2上的实验性能.最后本文对人脸活体检测未来可能的发展方向进行了思考和探讨.     

基于多特征融合的人脸活体检测算法

近年来,随着人脸识别系统的不断发展,各种假冒合法用户的欺骗手段不断出现.基于单一差异线索进行的活体检测,已经不能满足当前复杂环境下提高人脸活体检测方法性能的需求.基于此,文中提出多特征融合的方法,使用卷积神经网络从人脸图像的不同线索中学习多个特征来进行活体检测,深度图在空间上能够区分真假人脸之间的深度信息;光流图在时间上能够区分真假人脸之间的动态信息;残差噪声图根据真人脸的一次成像和假冒人脸的二次成像噪声成分的不同进行区分.文中融合3种特征,不仅利用空间、时间多维度线索弥补了单一线索的不足,同时也提高了模型的泛化能力.相比现有的方法,所提方法无论是在同一个数据库还是跨数据库的情况下,均有较好的实验结果.具体而言,所提方法在CASIA数据集、RE-PLAY-ATTACK数据集和NUAA数据集上的错误率分别为0.11％,0.06％和0.45％.     

基于多级融合的多模态谣言检测模型

针对当前多模态谣言检测模型存在的模态间信息融合不足和过于依赖各模态信息完整度的问题,提出一种基于多级融合的多模态谣言检测模型。分别利用Text CNN和Resnet18网络对文本和图片编码并进行特征级融合,对纯文本模型、纯图片模型和特征级融合模型进行决策级融合并对决策级融合进行改进。多级融合框架加深各模态间的信息融合程度,改进后的决策级融合有效缓解了传统模型对各模态信息完整度要求过高的问题。实验结果表明,该模型在微博数据集上的F1值和准确率均高于传统的多模态谣言检测模型,进一步提升了谣言检测效果。     

特征金字塔融合的多模态行人检测算法

针对单模态行人检测在光照条件较差、目标部分遮挡、目标多尺度时检测效果较差的问题，提出了一种基于可见和红外双模态特征金字塔融合的行人检测算法。使用深度卷积神经网络代替传统的手工设计特征方式分别自动从可见模态及红外热模态的图片中提取单模态特征，根据ResNet（Residual Net）的阶段性特征图谱搭建特征金字塔网络，生成每个模态的特征金字塔，并将两个模态的特征金字塔进行逐层融合。选择深度学习通用目标检测算法--Faster R-CNN作为后续的目标定位与分类算法来解决多模态行人检测问题。在特征金字塔融合阶段，针对级联融合和较大值融合容易忽略弱特征，无法有效融合互补特征的问题，提出了一种锐化特征的特征金字塔融合方法，根据阈值强化突出强特征，互补叠加弱特征，有效利用每个模态的特征，进一步提高模型的检测效果。实验结果表明，特征金字塔聚合的多模态行人检测算法可以有效解决多模态行人检测问题，在KAIST数据集上的检测效果超过了目前该数据集上的最佳模型。     

光流与纹理特征融合的人脸活体检测算法

针对照片与视频重放这一常见人脸识别欺诈手段,利用人脸攻击图像的语义信息提出一种基于光流与纹理特征融合的人脸活体检测算法:采集连续两帧待检测人脸图像,通过光流法及人脸检测方法生成人脸区域光流场变化图,将其与原始RGB图像输入至2通道卷积神经网络提取并融合得到人脸动-静态特征,基于融合特征实现真实人脸与欺诈人脸分类.此外,...     

基于InceptionV3和特征融合的人脸活体检测

针对身份验证中经常出现的照片欺诈问题,提出了一种基于InceptionV3和特征融合的人脸活体检测模型——InceptionV3_FF。首先,在ImageNet数据集上预训练InceptionV3模型;其次,从InceptionV3模型的不同层得到图像的浅层、中层和深层特征;然后,将不同的特征进行融合得到最终的特征;最后,使用全连接层对特征进行分类,从而实现端到端的训练。InceptionV3_FF模型在NUAA数据集和自制的STAR数据集上进行仿真实验,实验结果表明,InceptionV3_FF模型在NUAA数据集和STAR数据集上分别取得了99.96%和98.85%的准确率,高于InceptionV3迁移学习和迁移微调模型;而与非线性扩散卷积神经网络（ND-CNN）、扩散核（DK）、异构内核卷积神经网络（HK-CNN）等模型相比,InceptionV3_FF模型在NUAA数据集上的准确率更高,具备一定的优越性。InceptionV3_FF模型对数据集中随机抽取的单张图片进行识别时,仅需4 ms。InceptionV3_FF模型和OpenCV结合构成的活体检测系统可以对真假人脸进行识别。     

基于近红外与可见光双目视觉的活体人脸检测方法

针对人脸识别系统易受伪造攻击的问题,提出了一种基于近红外与可见光双目视觉的活体人脸检测方法。首先,采用近红外与可见光双目装置同步获取人脸图像,提取两图像的人脸特征点,利用双目关系实现特征点的匹配并获取其深度信息,再利用深度信息进行三维点云重建;然后,将全部人脸特征点划分为四个区域,计算各区域内人脸特征点在深度方向的平均方差;接着,选取人脸关键特征点,以鼻尖点为参照点,计算鼻尖点到人脸关键特征点之间的空间距离;最后,利用人脸特征点的深度值方差和空间距离来构造特征向量,使用支持向量机（SVM）实现活体人脸判断。实验结果表明,所提方法能够准确检测活体人脸以及有效抵御伪造人脸的攻击,在实验测试中达到99.0%的识别率,在准确性和鲁棒性上优于利用人脸特征点深度信息进行检测的同类算法。     

基于卷积特征融合的通用目标检测方法

针对现有目标检测算法在检测时易受到图像尺度变化、目标间遮挡或截断等因素影响的问题,对卷积神经网络（convolutional neural network,CNN）中不同层次的特征进行了研究,提出了一种融合深度网络卷积特征的目标检测算法。算法采用多阶段的特征复用和特征融合减少特征间相关性的损失,最终在PASCAL VOC 2007测试数据集上达到了84.21%的mAP （mean average precison,平均精度均值）值;与未使用特征融合方法以及使用传统特征融合的方法相比,提出的方法分别提高了4.41%和2.71%。     

人脸活体检测综述

人脸识别系统往往面临着各类人脸欺诈攻击,如打印相片、屏幕播放和3维面具等。如何区分真实人脸与虚假人脸,亦称人脸活体检测,对于人脸识别系统的安全具有十分重要的意义。近年来,已有大量人脸活体检测方法相继提出,部分已经成功获得实际应用。本文对人脸活体检测技术进行了全面的梳理回顾,包括硬件方案、算法、数据集、技术标准以及业界实际应用情况。最后,进行了总结与展望。整体而言,基于多模态数据,采取先验知识启发的深度学习方法目前能获得占优的人脸活体验证精度。随着人脸欺诈攻击方式的不断升级变更,面向未知类型攻击的人脸活体检测研究愈加重要,此外,新型的传感硬件方案也值得鼓励探讨。     

利用场景光照识别优化的双目活体检测方法

人脸识别是生物特征识别技术中应用最广的技术之一。其中,能判断人脸图像是否是真实人脸的活体检测模块,是系统安全运行的重要保障。目前从安全度和经济性两方面综合考虑,最常用的活体检测方法是双目活体检测。但由于不同场景下光线亮度和角度变化很大,拍摄的人脸图片质量参差不齐,严重影响了活体检测的质量。针对这一问题,提出了通过对场景光照识别进行优化从而提升检测准确度的双目活体识别算法。算法通过串级PID算法对摄像头的感光度和补光灯进行控制,并利用人脸识别算法定位优化测光区域,从而对不同的光线强度和角度采取不同的策略。经过实验验证:本方法将活体检测在复杂场景下的准确率提升约30%,保证了算法在室内外不同光照场景下的有效性。     

基于配对特征融合的声学场景分类方法

在近些年的研究中,单设备的声音场景分类已经取得不错的效果,然而多设备声音场景分类的进展缓慢。为了解决多设备分类时样本数量差异大的问题,提出了一种配对特征融合算法。通过计算每一对配对样本在频谱图上的差异,将这些差异累加后取平均,可以获得各个设备的平均频谱特征,用于设备样本的转换。该算法在增加设备样本数量的同时有效提升了模型的泛化能力。同时,为了获取全局信息,提出了一种轻量级注意力模块,通过对输入特征在频域上压缩后进行自注意力操作,可以在减少计算量的基础上使模型专注于整个声音序列信息的训练,实验结果表明所提算法在模型大小和分类精度方面与其他方法相比具有较好的优势。     

基于特征面的分层特征识别

为降低特征识别的复杂度,提出基于特征实体、特征实面和特征虚面概念的层次性特征分类方法.通过构造2类神经网络输入矩阵,利用神经网络在特征识别中所具有的优势,实现基于特征面的分层特征识别方法.实例表明：该方法在识别去除材料的特征时比较有效,但识别特征的范围受到一定限制.