基于人脸识别技术应用的安全性研究与实践

随着人工智能技术的快速发展,人脸识别技术在诸多领域得到广泛应用。本文主要针对人脸识别技术的算法缺陷、人脸特征相似、人脸合成等技术本身引发的认证绕过、越权访问等风险进行安全性研究,通过融合基于卷积神经网络的深度学习技术和活体静默检测技术,提升图像声纹识别等性能的同时也大幅提升人脸识别活体检测的性能,杜绝算法缺陷、特征相似和人脸合成攻击而引发的安全风险,为人脸识别技术的发展提供可借鉴的安全防护思路。     

基于解耦空间异常检测的人脸活体检测算法

现有基于异常检测的方法大多仅利用活体样本进行单类建模,这样的特征用于活体检测的泛化能力强但准确率不高。而且,活体人脸特征单类建模并没有考虑活体人脸样本的多样性。活体人脸样本的不同身份、环境、采集设备等因素都会导致活体人脸的特征表达不紧凑,这样使得假体样本特征容易混入其中。为了解决以上两个问题,本文提出了一种基于解耦空间异常检测的人脸活体检测算法。本文设计了单中心对比损失,使得活体人脸特征在不限制假体人脸特征分布的情况下表达地更加紧凑。本文还对活体人脸进行了特征解耦,将其特征分为两个子空间：活体检测特征空间、活体无关特征空间。活体检测特征空间不受其他无关因素的影响,结合单中心对比损失来提高模型的泛化能力。库内实验和跨库实验共在5个数据集上与最新的方法进行了比较,在OULU-NPU数据集中,协议1相比于性能第2的模型错误率下降超过一半,最具挑战的协议4取得了仅3.3%的错误率;在SiW数据集的三个协议中也取得更低的错误检测率;在跨库实验中本文算法也表现出不错的泛化能力,尤其是在从重放攻击和打印攻击跨到3D面具攻击的跨攻击类型的测试中相比于性能第2的模型错误率下降5.41%。本文提出的人脸活...     

基于卷积神经网络的胡须及帽子特征检测

随着安防监控、视频行为分析等领域的发展,人脸检测技术已经从基础的检测出人脸进一步发展到了获取人脸的相关特征。文中给出了一个基于卷积神经网络的检测人脸胡须与帽子特征的方法。首先利用主动形状模型(ASM)标记人脸关键点,之后进行仿射变换对齐人脸,输入卷积神经网络分类器。大量的仿真实验结果表明,卷积神经网络较基于传统特征模型的支持向量机(SVM)分类器更能够准确地区分出胡须与帽子两个关键的人脸特征,运算速度快,对于稍有模糊的人脸也具有一定的鲁棒性。     

结合局部二值模式和卷积神经网络的人脸美丽预测

卷积神经网络(Convolution Neural Network,CNN)用于人脸美丽预测,能学习到深层次的特征表达,但提取的是全局特征,忽略了人脸的局部信息,因此,泛化能力不强。为此,本文提出一种结合局部二值模式(Local binary pattern , LBP)和卷积神经网络的人脸美丽预测算法。首先,利用数据增强技术扩大数据库规模;其次,将LBP纹理图像和原始灰度图像进行通道融合;再采用1×1卷积操作进行通道特征图的线性组合,从而实现网络跨通道的信息整合,提升人脸美丽预测精度。基于大规模亚洲女性人脸美丽数据库(Large Scale Asian Female Beauty Database, LSAFBD)的实验结果表明,该算法在分类和回归预测中均取得了较好效果,优于其他模型的人脸美丽预测算法;表明在卷积神经网络中加入纹理图像能有效提升人脸美丽预测精度。      

基于卷积神经网络的跨年龄人脸识别系统研究

对年龄跨度具有鲁棒性的人脸识别系统在实际中具有广泛的应用,年龄的变化对人脸面部特征具有显著的影响,会导致人脸识别的准确率下降。提出一种基于卷积神经网络的跨年龄人脸识别系统,包含人脸检测、人脸预处理、卷积神经网络提取特征、期望最大化(EM)算法和余弦距离等部分。采用EM算法计算出身份特征,使得人脸识别系统对年龄变化具有鲁棒性。在MORPH-II和FG-NET跨年龄数据库中进行仿真实验,验证了人脸识别系统的有效性。     

基于深度卷积网络的3D人脸重构算法

基于单张人脸图片的3D人脸模型重构,无论是在计算机图形领域还是可见光成像领域都是一个极具挑战性的研究方向,对于人脸识别、人脸成像、人脸动画等实际应用更是具有重要意义。针对目前算法复杂度较高、运算量较大且存在局部最优解和初始化不良等问题,本文提出了一种基于深度卷积神经网络的单张图片向3D人脸自动重构算法。该算法首先基于3D转换模型来提取2D人脸图像的密集信息,然后构建深度卷积神经网络架构、设计总体损失函数,直接学习2D人脸图像从像素到3D坐标的映射,从而实现了3D人脸模型的自动构建。算法对比与仿真实验表明,该算法在3D人脸重建上的归一化平均误差更低,且仅需一张2D人脸图像便可自动重构生成3D人脸模型。所生成的3D人脸模型鲁棒性好,重构准确,完整保留表情细节,并且对不同姿态的人脸也具有较好的重建效果,能够在三维空间中无死角自由呈现,将满足更多实际应用需求。     

人脸识别中视频回放假冒攻击的实时检测方法

利用合法用户的脸部视频进行回放假冒攻击,是目前人脸认证系统的重要安全威胁。针对此问题,本文提出了一种仅用单个普通摄像头来抵抗人脸视频假冒攻击的方法。不同于以往从人脸区域中获取假冒线索进行活体检测的方法,本文通过人脸输入图像与场景参考图像之间的背景对比,从人脸周围背景区域中寻求视频假冒攻击线索。首先,本文在尺度空间里构建人脸周围区域图像的背景特征点集合;然后,利用背景特征点集合建立识别场地背景和人脸背景的Gabor背景描述子,并用融合相位补差的相似度来进行背景比对。实验表明该方法能有效地识别视频回放假冒攻击。     

身份认证中灰度共生矩阵和小波分析的活体人脸检测算法

随着身份认证技术的广泛应用,各种假冒合法用户欺骗身份认证系统的手段不断出现。针对这一问题,本文提出了一种基于灰度共生矩阵和小波分析的活体照片人脸检测方法,该方法分析了活体人脸和照片人脸成像后在纹理上的差异性,在人脸灰度共生矩阵的基础上提取能量、熵、惯性矩和相关性四个纹理特征量;同时利用小波变换对人脸图像进行二级分解,提取高频子带系数作为特征向量训练SVM分类识别,算法在公开的数据库NUAA上进行了验证,实验结果表明该方法降低了计算复杂度,提高了检测准确率。      

基于可视数据的可信身份识别和认证方法

近年来,深度学习技术在基于视频和图像等可视数据的身份识别和认证任务（如人脸、行人识别等）中得到了广泛应用。然而,机器学习（特别是深度学习模型）容易受到特定的对抗攻击干扰,从而误导身份识别系统做出错误的判断。因此,针对身份识别系统的可信认证技术研究逐渐成为当前的研究热点。分别从基于信息空间和物理空间的可视数据身份识别和认证攻击方法展开介绍,分析了针对人脸检测与识别系统、行人重识别系统的攻击技术及进展,以及基于人脸活体伪造和可打印对抗图案的物理空间攻击方法,进而讨论了可视数据身份匿名化和隐私保护技术。最后,在简要介绍现有研究中采用的数据库、实验设置与性能分析的基础上,探讨了可能的未来研究方向。     

基于人脸检测和多线索融合的实时人脸跟踪系统

在分析和总结国内外对人脸检测与跟踪的相关研究成果的基础上,研究提出了在Viola-Jones人脸检测算法中引入运动区域检测和人脸肤色检测以缩小人脸检测的搜索区域,有效地提高了人脸检测的帧处理速度,并降低了人脸检测的误检率。对基于Meanshift算法和基于光流法的人脸跟踪方法进行了研究与分析,分析了各算法的优缺点,利用各算法之间性能上的互补性,通过各模块之间的协同合作设计并实现了一个实时人脸检测与跟踪系统,并设定了相应的评价参数,通过实验室录制视频和NRC-IIT视频人脸数据库对系统进行了性能测试。     

Robust face anti-spoofing with depth information

With the prevalence of face authentication applications, the prevention of malicious attack from fake faces such as photos or videos, i.e., face anti-spoofing, has attracted much attention recently. However, while an increasing number of works on the face anti-spoofing have been reported based on 2D RGB cameras, most of them cannot handle various attacking methods. In this paper we propose a robust representation jointly modeling 2D textual information and depth information for face anti-spoofing. The textual feature is learned from 2D facial image regions using a convolutional neural network (CNN), and the depth representation is extracted from images captured by a Kinect. A face in front of the camera is classified as live if it is categorized as live using both cues. We collected a face anti-spoofing experimental dataset with depth information, and reported extensive experimental results to validate the robustness of the proposed method.     

Integration of image quality and motion cues for face anti-spoofing: A neural network approach

Many trait-specific countermeasures to face spoofing attacks have been developed for security of face authentication. However, there is no superior face anti-spoofing technique to deal with every kind of spoofing attack in varying scenarios. In order to improve the generalization ability of face anti-spoofing approaches, an extendable multi-cues integration framework for face anti-spoofing using a hierarchical neural network is proposed, which can fuse image quality cues and motion cues for liveness detection. Shearlet is utilized to develop an image quality-based liveness feature. Dense optical flow is utilized to extract motion-based liveness features. A bottleneck feature fusion strategy can integrate different liveness features effectively. The proposed approach was evaluated on three public face anti-spoofing databases. A half total error rate (HTER) of 0% and an equal error rate (EER) of 0% were achieved on both REPLAY-ATTACK database and 3D-MAD database. An EER of 5.83% was achieved on CASIA-FASD database.     

基于三维卷积和哈希方法的视频检索算法

视频信息检索与其他多媒体检索的最大不同在于视频信息量较大,因此进行视频间相似度计算时的计算量较大。此外,对视频特征的提取中常常忽略视频帧之间的时间相关性,从而导致特征提取不充分,影响视频检索的精度。为此,文中提出基于三维卷积和哈希方法的视频检索方法。该方法构建了一个端到端的框架,使用三维卷积神经网络来提取视频中代表帧的特征,并将视频特征映射到低维的汉明空间中去,在汉明空间计算相似度。在两个视频数据集下的实验结果表明,相较于当前最新的视频检索算法,文中所提方法在精度上有较大的提升。     

基于时空注意力网络的中国手语识别

手语识别广泛应用于聋哑人与正常人之间的交流中。针对手语识别任务中时空特征提取不充分而导致识别率低的问题,提出了一种新颖的基于时空注意力的手语识别模型。首先提出了基于残差3D卷积网络(Residual 3D Convolutional Neural Network,Res3DCNN)的空间注意力模块,用来自动关注空间中的显著区域；随后提出了基于卷积长短时记忆网络(Convolutional Long Short-Term Memory,ConvLSTM)的时间注意力模块,用来衡量视频帧的重要性。所提算法的关键在于在空间中关注显著区域,并且在时间上自动选择关键帧。最后,在CSL手语数据集上验证了算法的有效性。     

Face anti-spoofing based on multi-modal and multi-scale features fusion

Face anti-spoofing is used to assist face recognition system to judge whether the detected face is real face or fake face. In the traditional face anti-spoofing methods, features extracted by hand are used to describe the difference between living face and fraudulent face. But these handmade features do not apply to different variations in an unconstrained environment. The convolutional neural network (CNN) for face deceptions achieves considerable results. However, most existing neural network-based methods simply use neural networks to extract single-scale features from single-modal data, while ignoring multi-scale and multi-modal information. To address this problem, a novel face anti-spoofing method based on multi-modal and multi-scale features fusion ( MMFF) is proposed. Specifically, first residual network ( Resnet )-34 is adopted to extract features of different scales from each modality, then these features of different scales are fused by feature pyramid network (FPN), finally squeeze-and-excitation fusion ( SEF) module and self-attention network ( SAN) are combined to fuse features from different modalities for classification. Experiments on the CASIA-SURF dataset show that the new method based on MMFF achieves better performance compared with most existing methods.     

用于行为识别的通道可分离卷积神经网络

三维卷积神经网络比二维卷积神经网络具有更优越的时空特征提取能力,但运算量却显著增加。针对如何有效减少模型参数量、解决准确率随着计算复杂度降低而降低的问题,提出基于端到端的通道可分离卷积神经网络。通过分离通道交互作用和时空交互作用来分解三维卷积,其中分别利用3×3×3 Depthwise卷积和1×1×1常规卷积进行分离通道交互作用和时空交互作用。与传统三维卷积神经网络相比,通道可分离卷积神经网络加入模型正则化,通过降低训练精度同时提高测试精度,降低了模型的过度拟合。在UCF-101和HMDB-51数据集上的实验分别达到92.7%和64.5%的准确率。结果表明,通道可分离卷积神经网络可以提高准确率并降低计算复杂度。      

Image label transfer: Short video labelling by using frame auto-encoder

The number of short videos on the Internet is huge, but most of them are unlabeled. In this paper, a rough labelling method of short video based on the neural network of image classification is proposed. Convolutional auto-encoder is applied to train and learn unlabeled video frames, in order to obtain the feature in certain level of the network. Using these features, we extract key-frames of the video by our method of feature clustering. We put these key-frames which represent the video content into the image classification network, so that we can get the labels for every video clip. We also compare the different architectures of convolutional auto-encoder, while optimizing and selecting the better performance architecture through our experiment result. In addition, the video frame feature from the convolutional auto-encoder is compared with those features from other extraction methods. On the whole, this paper propose a method of image labels transferring for the realization of short video rough labelling, which can be applied to the video classes with few labeled samples.     

LSCN:一种用于动作识别的长短时序关注网络

相较于图像分析,如何分析时序信息是动作识别中的一个主要问题.大多数先前的方法,如3D卷积网络、双流卷积网络,仅使用包含全局时域信息的特征作为视频的表征,忽略了局部时序特征的重要性.考虑到这样的问题,本文提出一种基于时序交互感知模块的长短时序关注网络——Long and Short Sequence Concerned Networks（LSCN）,融合不同的时序信息,利用不同卷积层时序特征的交互加强对不同时序长度的动作实例的表示,兼顾长短动作实例对时序信息的需求.实验结果表明,基于3D ResNext101的LSCN在两个公共数据集（UCF101和HMDB51）上,相较于基础的网络分别有0.4%和2.9%的准确率提升.     

核卷积神经网络研究与应用

利用核函数非线性映射的优势,结合卷积神经网络算法,提出一种基于核卷积神经网络（Kernel-Convolutional Neural Network , Kernel-CNN）的新的网络学习模型。该方法首先对数据预处理,其次利用核卷积神经网络对数据进行特征提取,最后,构建softmax分类器对数据进行分类。本网络将非线性映射引入卷积过程构成核卷积过程,通过核卷积过程进一步增强模型的特征提取能力,在MNIST手写数字库以及美国麻省理工学院提供的MIT-BIH心律失常数据库上实验验证,本文模型正确率分别为98.5%、97%,均较好于卷积神经网络和支持向量机,且本文模型具有较小的LOSS值。      

No-reference video quality evaluation by a deep transfer CNN architecture

The standard no-reference video quality assessment (NR-VQA) is designed for a specific type of distortion. It quantifies the visual quality of a distorted video without the reference one. Practically, there is a deviation between the result of NR-VQA and human subjective perception. To tackle this problem, we propose a 3D deep convolutional neural network (3D CNN) to evaluate video quality without reference by generating spatial/temporal deep features within different video clips 3D CNN is designed by collaboratively and seamlessly integrating the features output from VGG-Net on video frames. To prevent our adopted VGG-Net from overfitting, the parameters are transferred from the deep architecture learned from the ImageNet dataset. Extensive IQA/VQA experimental results based on the LIVE, TID, and the CSIQ video quality databases have demonstrated that the proposed IQA/VQA model performs competitively the conventional methods.