复杂背景下基于SIFT算法的局部遮挡人脸识别

由于复杂的背景环境中存在大量噪声点、平滑点以及失真点,影响人脸识别效果,提出基于SIFT算法的局部遮挡人脸识别方法。考虑到噪声因素的影响建立尺度不变高斯函数,通过该函数描述原始图像的噪声干扰,查找平滑程度最高的像素点,以像素均值作为参考,对像素点及周围区域实行平滑约束。建立包含眼睛、鼻子、嘴巴以及耳朵的面部特征子集,与标准图像比对,采用最大期望算法提取重叠度最高的面部特征,作为人脸识别的参照标准。采用两个向量的内积衡量人脸图像与参考值之间的相似度,计算存在和不存在局部遮挡的特征权重,建立置信区间,代入面部特征权重实施置信对比,完成人脸识别。实验结果表明,所提方法的识别精准度较高,在灰度变化、噪声以及局部遮挡的情况下均能够保证识别精度。     

身份保持约束下的面部图像超分辨率重建方法

低分辨率是影响人脸识别精度的重要因素。一种有效方法是使用图像超分辨率技术对低分辨率图像重建,生成超分辨率图像后再对其作人脸识别,从而克服低分辨率面部图像对人脸识别的限制。但是,现有超分辨率方法在重建过程中往往忽略了保持其原始身份信息,这直接影响生成图像的人脸识别结果。针对上述问题,提出了一种身份保持约束下的面部超分辨率重建方法IPNet,在提高低分辨率面部图像质量的同时,能保持重建后的面部图像身份。IPNet方法将语义分割网络和面部生成器相结合,通过语义分割网络提取低维隐码和多分辨率空间特征,进而指导面部生成器输出接近于原图的真实面部图像。在此基础上引入人脸识别网络,将身份信息整合到超分辨率方法中,从而约束重建前后的面部图像身份保持一致。实验结果表明,IPNet方法在超分辨率图像质量和身份保持上均优于其他对比方法。     

基于单视图的多姿态人脸识别算法

针对基于多视图的多姿态人脸识别方法的缺陷，即需要对每个人脸拍摄多个视图为前提条件，提出了基于单视图的多姿态人脸识别技术，首先基于二元高次多项式函数最小二乘拟合方法由单视图通过变形生成多姿态人脸图像，然后基于该单视图和生成的多姿态图像进行多姿态人脸识别。实验结果表明该文算法识别的正确率远高于经典算法。     

双层级联神经网络的人脸超分辨率重建

针对普通的基于卷积神经网络的人脸超分辨率方法未能结合人脸结构信息，重建图像易出现五官偏移、边缘模糊等问题，提出一种基于双层级联神经网络的人脸超分辨率重建方法。在重建网络中加入面部先验信息估计模块，捕捉输入图像的面部关键点信息，约束重建图像与目标图像的空间一致性。在CelebA与Helen数据集上的实验结果验证了该方法对正面人脸能够准确地重建面部五官，对侧面及遮挡人脸等不同的变形人脸也具有强鲁棒性。     

基于AAM姿态校正的人脸识别

非约束环境下,光照、姿态、表情、遮挡、复杂背景等因素给人脸识别带来严重影响。主动表观模型(Active Appearance Model, AAM) 能够建立包含人脸形状和纹理信息的先验模型对图像中的人脸进行匹配,合成新的人脸图像。Gabor特征被广泛地应用在人脸识别中,并取得了很好的效果。利用AAM对人脸图像进行姿态校正,合成标准正面人脸图像,然后提取图像的熵增强Gabor jets特征,使用带有阈值的Borda count分类器进行人脸识别。在IMM数据库上的试验表明,改进的方法对姿态、表情以及遮挡具有更高的鲁棒性,可以得到更好的识别效果。     

基于主动表观模型姿态矫正和局部加权匹配人脸识别

非约束环境下,光照、姿态、表情、遮挡等复杂背景因素给人脸识别带来严重影响。提出一种基于AAM（active appearance model）的图像对齐和局部匹配人脸识别算法,使之能够增强人脸识别算法对姿态、表情变化的鲁棒性。AAM能够快速准确地定位人脸的特征点,进而将图像扭转到一个标准正面人脸模型中。接着,提出一种新的基于信息熵的Gabor jet加权方法用于提高人脸识别率;并且对Borda count分类器组合方法进行了改进,认为在投票过程中为其设置阈值来排除“噪声”的干扰可以提高识别率。通过与多种人脸识别方法的实验结果比较表明,使用AAM矫正图像后,联合熵加权Gabor方法和加阈值Borda能够取得比单独使用更好的成绩。     

基于三维矫正和相似性学习的无约束人脸验证

针对无约束条件下的人脸图像样本少、面部姿态变化大、被遮挡以及背景复杂等问题,提出一种结合三维人脸矫正与相似性学习相结合的人脸验证算法（sub-SL）。首先,通过三维人脸矫正方法对人脸图像进行姿态矫正,将图像中的人脸矫正为标准正面脸;其次,裁剪该正面脸的脸部相关区域,去除复杂的图像背景;最后,利用基于个体子空间的相似性学习方法对图像对之间的相似度进行度量,完成人脸验证。实验采用了几个以LFW（Labeled Faces in the Wild）数据库为基础的经过预处理操作（例如人脸矫正、裁剪等）后建立起来的数据库。在基于局部三值模式（LTP）的特征提取方法并且训练图像对数为625的实验中,sub-SL算法的识别率比利用马氏距离进行度量学习的算法sub-ML以及结合了马氏距离与相似性学习的度量学习算法sub-SML分别高出了15.6%和8.4%。实验结果表明,sub-SL算法能够有效提高无约束条件下人脸识别的准确率。     

基于图像超分辨极限学习机的极低分辨率人脸识别

极低分辨率图像本身包含的判别信息少且容易受到噪声的干扰,在现有的人脸识别算法下识别率较低。为了解决这一问题,提出一种基于图像超分辨率(SR)极限学习机(ELM)的人脸识别算法。首先,从样本库学习耦合的高低分辨率图像稀疏表达字典,利用高低分辨率表达系数的流形一致性重建高分辨率图像;其次,在超分辨率重建的高分辨率(HR)图像上构建ELM模型,训练获得前向神经网络的连接权值;最后,通过ELM预测输入极低人脸图像的类别属性。实验结果表明,针对于重建后的极低分辨率人脸图片,与协同表示的分类(CRC)人脸识别算法相比,所提算法将识别率分别提升了2%;同时也大幅度缩短了识别的时间。结果表明所提算法能够有效解决极低分辨率图片判决信息不足的问题,具有较好的识别能力。     

递归式多阶特征融合图像超分辨率算法

目的 近年来,卷积神经网络在解决图像超分辨率的问题上取得了巨大成功,不同结构的网络模型相继被提出。通过学习,这些网络模型对输入图像的特征进行抽象、组合,进而建立了从低分辨率的输入图像到高分辨率的目标图像的有效非线性映射。在该过程中,无论是图像的低阶像素级特征,还是高阶各层抽象特征,都对像素间相关性的挖掘起了重要作用,影响着目标高分辨图像的性能。而目前典型的超分辨率网络模型,如SRCNN（super-resolution convolutional neural network）、VDSR（very deep convolutional networks for super-resolution）、LapSRN（Laplacian pyramid super-resolution networks）等,都未充分利用这些多层次的特征。方法 提出一种充分融合网络多阶特征的图像超分辨率算法：该模型基于递归神经网络,由相同的单元串联构成,单元间参数共享;在每个单元内部,从低阶到高阶的逐级特征被级联、融合,以获得更丰富的信息来强化网络的学习能力;在训练中,采用基于残差的策略,单元内使用局部残差学习,整体网络使用全局残差学习,以加快训练速度。结果 所提出的网络模型在通用4个测试集上,针对分辨率放大2倍、3倍、4倍的情况,与深层超分辨率网络VDSR相比,平均分别能够获得0.24 dB、0.23 dB、0.19 dB的增益。结论 实验结果表明,所提出的递归式多阶特征融合图像超分辨率算法,有效提升了性能,特别是在细节非常丰富的Urban100数据集上,该算法对细节的处理效果尤为明显,图像的客观质量与主观质量都得到显著改善。     

基于HMM的单样本可变光照、姿态人脸识别

提出了一种基于HMM的单样本可变光照、姿态人脸识别算法.该算法首先利用人工配准的训练集对单张正面人脸输入图像与Candide3模型进行自动配准,在配准的基础上重建特定人脸三维模型.对重建模型进行各种角度的旋转可得到姿态不同的数字人脸,然后利用球面谐波基图像调整数字人脸的光照系数可产生光照不同的数字人脸.将产生的光照、姿态不同的数字人脸同原始样本图像一起作为训练数据,为每个用户建立其独立的人脸隐马尔可夫模型.将所提算法对现有人脸库进行识别,并与基于光照补偿和姿态校正的识别方法进行比较.结果显示,该算法能有效避免光照补偿、姿态校正方法因对某些光照、姿态校正不理想而造成的识别率低的情况,能更好地适应光照、姿态不同条件下的人脸识别.     

A super resolution frontal face generation model based on 3DDFA and CBAM

Pose and low resolution seriously affect the synthesis of high-quality frontal face images. With the development of deep learning, a large number of models based on the deep neural network are used to solve the problem of face pose and image super-resolution. However, the synthesis of the high-resolution frontal face is still a problem that has not been fully studied. Therefore, in this paper, we propose a method to realize image super-resolution and face frontal generation simultaneously. Specifically, we propose a frontal face model FFSR_GAN used to generate super-resolution. This model mainly solves the problem of low resolution and large face pose. There are two main improvements: 1) Aiming at the problem of artifacts in the image generated by the face frontal generation module, the face frontal generation module is designed based on 3DDFA and CBAM; 2) Aiming at the problem of low resolution in frontal face generation, a face super-resolution module is carefully designed, which is used for super-resolution of the generated frontal face. The method proposed in this paper solves the problem of face pose and super-resolution for the first time and improves the recognition accuracy of low-resolution and face images with larger posture. The experimental results on the existing public dataset prove the advantages of the FFSR_GAN model.     

基于对抗网络人脸超分辨率重建算法研究

由于受到光照和成像设备等条件因素的影响,采集到的单帧人脸图像分辨率低,无法进行准确人脸识别,所以需要图像超分辨率重建。而利用SRGAN模型在进行人脸超分辨率重建过程中,易出现梯度消失或爆炸的问题,严重影响了重建图像的精度和质量。针对上述问题,提出了基于生成对抗网络的改进人脸超分辨率重建算法,在SRGAN结合WGA-N的基础上引入Wasserstein散度,并将其最大化得到最优化标量函数[T],实现去掉Lipschit-z约束能够直接得到Wassertein距离,并通过最小化Wassertein距离得到生成网络的目标函数,最终改进的模型提高了重建图像的质量。实验结果表明,该方法能够生成高分辨率的人脸图像,在主观视觉和客观评价指标均同比优于DRCN、FSRCNN、SRGAN_WGAN、VDSR和DRRN模型。     

面向安防监控场景的低分辨率人脸识别算法研究

针对安防监控场景中获取的人脸图像质量不佳、细节信息丢失导致的人脸识别准确率低下的问题,提出一种基于超分辨率重建的低分辨率人脸识别算法。该算法包括超分辨率重建和人脸识别两个子网络,分别实现低分辨率人脸图像的超分辨率重建和人脸特征的提取。首先通过增加超分辨率重建子网络激活函数前的特征图数量实现广泛激活,保证信息流的有效传递,重建出包含更多细节信息的高分辨率人脸图像;然后在训练时结合图像内容损失和身份损失,在重建图像的同时保留更多身份信息,使得提取到的人脸特征具有更强的辨别性。实验结果表明,该算法提升了低分辨率人脸识别的准确率,在监控人脸数据集QMUL-SurFace上的性能优于传统算法。     

基于面部特征图对称的人脸正面化生成对抗网络算法

目前人脸正面化研究主要解决人脸偏转问题,而对监控视频等现实场景中同时受偏转和俯仰变化影响的侧脸的正面化生成关注较少,针对这个问题和多角度侧脸生成的正面人脸图存在身份信息保留不全的问题,提出了一种基于特征图对称模块和眼周特征保留损失的生成对抗网络（GAN）。首先,根据人脸对称性先验,提出特征图对称模块,先使用人脸关键点检测器检测出侧脸鼻尖点位置,再将编码器提取到的特征图依照鼻尖位置进行镜像对称,从而在特征层面上缓解面部信息缺失的问题。其次,借鉴眼周识别思想,在现有的生成图身份保留方法中加入了眼周特征保留损失以训练生成器生成逼真的且保留身份信息的人脸正面图像。实验结果表明,所提算法得到的生成图面部细节保留较好,且在CAS-PEAL-R1数据集的所有俯角下人脸的平均Rank-1识别率为99.03%,可见该算法能够有效解决多角度侧脸的正面化问题。     

基于循环生成对抗网络的含遮挡人脸识别

人脸图像的遮挡会严重影响人脸识别准确率,当前处理带遮挡人脸识别的方法主要有丢弃法和修复法两种。丢弃法因忽略或丢弃大量遮挡区域的有效特征易造成识别准确率不高,而当前大多数修复法需要原图的相关信息,限制了其应用。针对现有含遮挡人脸识别方法存在的问题,提出一种基于循环生成对抗网络的人脸识别算法,通过利用2对生成器和判别器进行循环训练,实现遮挡人脸图像的盲修复,此过程不需要除遮挡区域外的原图信息。在此基础上,采用ResNet-50网络对修复后人脸进行识别,该网络通过跳跃连接消除深层卷积神经网络中的网络退化问题,能够降低网络训练的难度,且不会增加额外的参数和计算量。针对盲修复后人脸特征存在类内差异大和类间差异小的特性,引入一种能够量化类间距离的分类损失函数RegularFace作为识别网络损失函数。实验结果表明,与DCGAN+CNN算法相比,所提算法对不同遮挡类型和遮挡区域的人脸图像识别准确率均有所提高,当线性遮挡面积为40%时,所提算法的识别准确率提高了14.4个百分点。     

基于深度学习的多模态融合三维人脸识别

二维人脸识别受光照、遮挡和姿态的影响较大.为了克服二维人脸识别的缺点,本文提出了一种基于深度学习的多模态融合三维人脸识别算法.该方法首先使用卷积自编码器将彩色图像和深度图进行融合,将融合后的图像作为网络的输入进行预训练,并且设计了一种新的损失函数cluster loss,结合Softmax损失,预训练了一个精度非常高的模型.之后使用迁移学习将预训练的模型进行微调,得到了一个轻量级神经网络模型.将原始数据集进行一系列处理,使用处理之后的数据集作为测试集,测试的识别准确率为96.37%.实验证明,该方法弥补了二维人脸识别的一些缺点,受光照和遮挡的影响非常小,并且相对于使用高精度三维人脸图像的三维人脸识别,本文提出的算法速度快,并且鲁棒性高.     

有遮挡人脸识别方法综述

现实人脸识别系统的图像采集过程中往往存在光照、姿态、遮挡等不确定性因素,传统的人脸识别方法识别效果不佳,有效地处理这些问题提高识别效率仍是人脸识别系统中的难点。回顾了传统的人脸识别的相关方法,重点针对人脸遮挡的处理方法,从遮挡区域如何重构地生成模型,如何检测遮挡位置的判别模型及鲁棒特征提取三个方面进行了详细的综述,比较了各自的优缺点及应用场合,总结分析了目前有遮挡人脸识别存在的问题和未来研究方向。     

结构化低秩字典学习的人脸识别

目的 现实中采集到的人脸图像通常受到光照、遮挡等环境因素的影响,使得同一类的人脸图像具有不同程度的差异性,不同类的人脸图像又具有不同程度的相似性,这极大地影响了人脸识别的准确性。为了解决上述问题对人脸识别造成的影响,在低秩矩阵恢复理论的基础上提出了具有识别力的结构化低秩字典学习的人脸识别算法。方法 该算法基于训练样本的标签信息将低秩正则化以及结构化稀疏同时引入到学习的具有识别力的字典上。在字典学习过程中,首先利用样本的重建误差约束样本与字典之间的关系;其次将Fisher准则应用到稀疏编码过程中,使其编码系数具有识别能力;由于训练样本中的噪声信息会影响字典的识别力,所以在低秩矩阵恢复理论的基础上将低秩正则化应用到字典学习过程中;接着,在字典学习过程中加入了结构化稀疏使其不丢失结构信息以保证对样本进行最优分类;最后再利用误差重构法对测试样本进行分类识别。结果 本文算法在AR以及ORL人脸数据库上分别进行了实验仿真。在AR人脸数据库中,为了分析样本不同维数对实验结果造成的影响,选取了第一时期拍摄的每人6幅图像,包括1幅围巾遮挡,2幅墨镜遮挡以及3幅脸部表情变化以及光照变化（未被遮挡）的图像作为训练样本,同时选取相同组合的样本图像作为测试样本,无论哪种方法,图像的维度越高识别率越高。对比SRC （sparse representation based on classification）算法与DKSVD （discriminative K-means singular value decomposition）算法的识别率可知,DKSVD算法通过字典学习减缓了训练样本中的不确定因素对识别结果的影响;对比DLRD_SR （discriminative low-rank dictionary learning for sparse representation）算法与FDDL （Fisher discriminative dictionary learning）算法的识别率可知,当图像有遮挡等噪声信息存在时,字典低秩化可以提高至少5.8%的识别率;对比本文算法与DLRD_SR算法可知,在字典学习的过程中加入Fisher准则后识别率显著提高,同时理想稀疏值能保证对样本进行最优的分类。当样本图像的维度达到500维时人脸图像在有围巾、墨镜遮挡的情况下识别率可达到85.2%;其中墨镜和围巾的遮挡程度分别可以看成是人脸图像的20%和40%,为了验证本文算法在不同脸部表情变化、光照改变以及遮挡情况下的有效性,根据训练样本的具体图像组合情况进行实验。无论哪种样本图像组合,本文算法在有遮挡存在的样本识别中具有显著优势。在训练样本只包含脸部表情变化、光照变化以及墨镜遮挡图像的情况下,本文算法的识别率高于其他算法至少2.7%,在训练样本只包含脸部表情变化、光照变化以及围巾遮挡图像的情况下,本文算法的识别率高于其他算法至少3.6%,在训练样本包含脸部表情变化、光照变化、围巾遮挡以及墨镜遮挡图像的情况下,其识别率高于其他算法至少1.9%。在ORL人脸数据库中,人脸图像在无遮挡的情况下识别率达到95.2%,稍低于FDDL算法的识别率;在随机块遮挡程度达到20%时,相比较于SRC算法、DKSVD算法、FDDL算法以及DLRD_SR算法,本文算法的识别率最高;当随机块遮挡程度达到50%时,以上算法的识别率均不高,但本文算法的其识别率仍然最高。结论 本文算法在人脸图像受到遮挡等因素的影响时具有一定的鲁棒性,实验结果表明该算法在人脸识别方面具有可行性。