基于加权分块稀疏表示的光照鲁棒性人脸识别

针对光照变化对人脸识别的效果带来严重影响,提出一种对人脸识别的光照变化具有鲁棒性的方法,即基于加权分块稀疏表示的人脸识别方法。该方法首先对人脸图像进行离散余弦变换（DCT）,通过去除 DCT 系数的低频部分来移除光照变化分量。通过反离散余弦变换得到光照归一化后的人脸图像,将人脸图像分块,独立地对每个子块作基于稀疏表示的分类,并对每个子块的分类结果进行加权投票得出测试人脸图像的类别。在 Yale B、extended-Yale B、CMU-PIE 和 FERET 人脸库上进行实验,实验结果表明该方法适用于光照鲁棒的人脸识别。     

任意光照下人脸图像的低维光照空间表示

本文提出一种不同光照条件下人脸图像的低维光照空间表示方法.这种低维光照空间表示不仅能够由输入图像估计其光照参数，而且能够由给定的光照条件生成虚拟的人脸图像.利用主成分分析和最近邻聚类方法得到9个基本点光源的位置，这9个基本点光源可以近似人脸识别应用中几乎所有的光照条件.在这9个基本光源照射下的9幅人脸基图像构成了低维人脸光照空间，它可以表示不同光照条件下的人脸图像，结合光照比图像方法，可以生成不同光照下的虚拟人脸图像.本文提出的低维光照空间的最大优点是利用某个人脸的图像建立的光照空间，可以用于不同的人脸.图像重构和不同光照下的人脸识别实验说明了本文算法的有效性.     

基于鲁棒主成分分析的人脸子空间重构方法

子空间方法是人脸识别中的经典方法,其基本假设是人脸图像处于高维图像空间的低维子空间中.但是,由于光照变化、阴影、遮挡、局部镜面反射、图像噪声等因素的影响,使得子空间假设难以满足.为此,提出一种基于鲁棒主成分分析的人脸子空间重构方法.该方法将人脸图像数据矩阵表示为满足子空间假设的低秩矩阵和表征光照变化、阴影、遮挡、局部镜面反射、图像噪声等因素的误差矩阵之和,利用鲁棒主成分分析法求解低秩矩阵和误差矩阵.实验结果表明,文中方法能够有效地重构人脸图像的低维子空间.     

基于光照方向估计的人脸图像阴影补偿

光照变化是影响人脸识别率的关键问题之一.人脸图像中的阴影严重影响了光照不变特征的有效提取.采用了一种基于光照方向估计的阴影补偿方法.因为人脸形状的相似性,某一点光源方向产生的阴影特性具有相似性.利用这一特性,首先通过子空间方法确定人脸图像的光源方向,然后再对该人脸图像进行相应的阴影补偿.在对人脸库YaleB和Extended YaleB （38人脸）的实验中表明,64种光源方向的识别率为96.8％.该方法能有效消除阴影便于后续光照不变特征的有效提取.     

一种基于光照方向估计的人脸识别方法

针对不同光照条件下的人脸识别率较低,尤其是在极端光照条件下识别率急剧下降的问题,提出了一种基于垂直积分投影和高光区域处理的光照方向估计方法.利用该方法,可以根据估计的光照方向对不同的光照条件下的图像进行分类.经过分类后,将每个光照类别对应一个投影子空间,然后将分好类的图像分别投影到各自的子空间进行识别,以提高识别效果.最后在YaleB人脸数据库上进行实验,实验结果表明该方法可有效地提高在不同光照条件下的人脸识别率.     

改进的脉冲耦合神经网络人脸特征提取方法

针对基于子空间分解的人脸特征提取方法对人脸图像在采集过程中的光照、旋转、位置等变化较为敏感的问题,提出了一种改进的脉冲耦合神经网络人脸特征提取方法。该方法模拟生物视觉的感知过程,将人脸图像分解成由若干二值图像组成的认知序列,计算序列中的每幅二值图像的熵作为人脸特征,基于支持向量机实现分类与识别;同时克服了标准的脉冲耦合神经网络模型参数过多的缺点,识别率也有所改善。理论与实验结果表明,该方法与现有的基于子空间分解的人脸特征提取方法相比,对人脸图像在采集过程中的光照、旋转、位置等变化有较强的鲁棒性,而且具有较低的维数。     

基于NMF图像重构的人脸识别

由传统的人脸识别方法产生的人脸特征子空间通常是由人脸库中所有训练样本产生的一个通用子空间,该空间更多地包含了所有人脸样本的共性特征,而忽略了个性特征。该文提出一种基于NMF图像重构的方法,以单个人的训练样本集获取其人脸特征子空间,将识别图像向每一个特征子空间中进行映射及重构,并以重构图像的误差作为判据实现人脸识别。在ORL标准人脸库进行的计算机仿真证实了该方法的有效性。     

基于自商图像和随机投影的人脸识别方法

针对传统基于自商图像的方法忽略对特征进行选择的问题,提出了一种结合自商图像和随机投影的人脸识别方法。采用自商图像法对人脸图像进行预处理,削弱光照影响;然后通过线性判别分析构造初始样本空间,利用多次随机投影将样本投影到不同的子空间,从而提取更具完备性和判别性的光照不变特征。最后用最近邻分类器对样本进行分类。在Yale B和AR人脸库上的实验表明:所提算法可以提取对光照鲁棒且具有鉴别性的人脸特征,从而提高光照变化条件下人脸识别的准确率。     

基于人脸标准化的纹理和光照保持3D人脸重构

现有人脸纹理重建方法对于人脸的皱纹、胡须、瞳孔颜色等重建效果往往不够细致.为了解决此问题,文中提出基于人脸标准化的纹理和光照保持3D人脸重构.首先对2D人脸图像标准化,使用光照信息和对称纹理重构人脸自遮挡区域的纹理.然后依据2D-3D点对应关系从标准化的2D人脸图像获取相应的3D人脸纹理,结合人脸形状重构和纹理信息,得到最终的3D人脸重构结果.实验表明文中方法有效保留原始2D图像的纹理和光照信息,重构的人脸更自然,具有更丰富的人脸细节.     

基于透视投影下空间光照一致性分析的图像拼接篡改检测

将一个人的头像剪切并拼接到另一张照片中,是一种常见的图像篡改手段.如果将该合成照片用于敲诈勒索,会对社会带来严重危害.因此,用来检测图像篡改的图像取证技术具有重大意义.由于不同照片成像环境不同,拼接时很难做到不同人脸的光照绝对一致,因此可以通过光照是否一致检测篡改.以往光照估计方法基于平行投影的假设,利用照片投影光照进行光照一致性分析.实际上,相机针孔模型是透视投影,从而导致上述检测方法出现误差.针对这一问题,本文提出一种透视投影下物体空间光照估计算法,将各人脸姿态统一到相机坐标系下,估计各人脸相对于相机坐标系的空间光照,然后分析空间光照一致性.另外,根据人脸空间光照一致性约束可以优化出相机参数,并得到该参数下的等效焦距、人脸空间位置及重新透视投影的图像等空间信息.本文将空间光照的一致性和上述空间信息的合理性作为依据,对人脸图像进行拼接篡改检测.实验结果表明,相比于传统方法基于平行投影光照进行光照一致性分析,采用本文提出的方法得到的空间光照进行光照一致性分析具有更高的准确度,结合相关信息进行照片空间合理性分析的篡改检测方法具有更强的说服力.     

多姿态人脸照片的姿态估计

提出了一种基于面部图像的新的匹配系统。在这个系统中，输入的图像与各种人脸姿态的数据库图像进行比较，然后，匹配的图像给出了人脸姿态。图像数据库不仅包括各种人脸姿态，而且也包括不同的光照条件，如此，这个人脸姿态评价系统适用于不同的光照条件。对于收集各种不同面部图像，这里是通过计算机自动产生，而不是拍摄实际的照片。特征空间方法被用于寻找与输入面部图像匹配的图像。因为不同的光照图像被收集在面部图像数据库中，故提取的主特征向量主要依靠人脸姿态。由于通过选用主特征向量而减少了向量的维数，故这个匹配过程是很快的。这个姿态评价系统能够继续跟踪在不同的光照条件下不同人的人脸姿态。     

Efficient generic face model fitting to images and videos

In this paper we present a robust and lightweight method for the automatic fitting of deformable 3D face models on facial images. Popular fitting techniques such as those based on statistical models of shape and appearance require a training stage based on a set of facial images and their corresponding facial landmarks, which have to be manually labeled. Therefore, new images in which to fit the model cannot differ too much in shape and appearance (including illumination variation, facial hair, wrinkles, etc.) from those used for training. By contrast, our approach can fit a generic face model in two steps: (1) the detection of facial features based on local image gradient analysis and (2) the backprojection of a deformable 3D face model through the optimization of its deformation parameters. The proposed approach can retain the advantages of both learning-free and learning-based approaches. Thus, we can estimate the position, orientation, shape and actions of faces, and initialize user-specific face tracking approaches, such as Online Appearance Models (OAMs), which have shown to be more robust than generic user tracking approaches. Experimental results show that our method outperforms other fitting alternatives under challenging illumination conditions and with a computational cost that allows its implementation in devices with low hardware specifications, such as smartphones and tablets. Our proposed approach lends itself nicely to many frameworks addressing semantic inference in face images and videos.     

Face recognition under arbitrary illumination using illuminated exemplars

Recently, the importance of face recognition has been increasingly emphasized since popular CCD cameras are distributed to various applications. However, facial images are dramatically changed by lighting variations, so that facial appearance changes caused serious performance degradation in face recognition. Many researchers have tried to overcome these illumination problems using diverse approaches, which have required a multiple registered images per person or the prior knowledge of lighting conditions. In this paper, we propose a new method for face recognition under arbitrary lighting conditions, given only a single registered image and training data under unknown illuminations. Our proposed method is based on the illuminated exemplars which are synthesized from photometric stereo images of training data. The linear combination of illuminated exemplars can represent the new face and the weighted coefficients of those illuminated exemplars are used as identity signature. We make experiments for verifying our approach and compare it with two traditional approaches. As a result, higher recognition rates are reported in these experiments using the illumination subset of Max-Planck Institute face database and Korean face database.     

融合参考图像的人脸超分辨率重构方法

基于深度学习的图像超分辨率重构方法对低分辨率人脸图像进行超分辨率重构时,通常存在重构图像模糊和重构图像与真实图像差异较大等问题.基于此问题,文中提出融合参考图像的人脸超分辨率重构方法,可以实现对低分辨率人脸图像的有效重构.参考图像特征提取子网提取参考图像的多尺度特征,保留人脸神态和重点部位的细节特征信息,去除人脸轮廓和面部表情等冗余信息.基于提取的参考图像多尺度特征,逐级超分主网络对低分辨率人脸图像特征进行逐次填充,最终重构生成高分辨率的人脸图像.在数据集上的实验表明,文中方法可以实现对低分辨率人脸图像的有效重构,具有良好的鲁棒性.     

Recognizing faces using Adaptively Weighted Sub-Gabor Array from a single sample image per enrolled subject

In this paper, we propose a new approach for face representation and recognition based on Adaptively Weighted Sub-Gabor Array (AWSGA) when only one sample image per enrolled subject is available. Instead of using holistic representation of face images which is not effective under different facial expressions and partial occlusions, the proposed algorithm utilizes a local Gabor array to represent faces partitioned into sub-patterns. Especially, in order to perform matching in the sense of the richness of identity information rather than the size of a local area and to handle the partial occlusion problem, the proposed method employs an adaptively weighting scheme to weight the Sub-Gabor features extracted from local areas based on the importance of the information they contain and their similarities to the corresponding local areas in the general face image. An extensive experimental investigation is conducted using AR and Yale face databases covering face recognition under controlled/ideal condition, different illumination condition, different facial expression and partial occlusion. The system performance is compared with the performance of four benchmark approaches. The promising experimental results indicate that the proposed method can greatly improve the recognition rates under different conditions.     

基于深度概率图模型的鲁棒人脸画像合成

针对基于数据驱动的人脸画像合成算法像素特征缺乏对光照变化和复杂背景的鲁棒性,常合成低质量的画像的问题,文中提出基于深度概率图模型的鲁棒人脸画像合成算法.采用预处理方法调整测试照片的光照亮度和人脸姿态,使之与训练照片一致.采用深度特征代替像素特征进行近邻匹配,采用深度概率图模型对画像重建权重和深度特征权重联合建模,得到合成画像的最佳重构表示.为了提高画像合成速度,提出快速近邻搜索方法.实验验证文中算法的鲁棒性和快速性.     

基于深度特征学习的复杂环境下陌生人脸匹配算法研究

复杂环境下的陌生人脸匹配,即在人脸存在光照、姿态干扰时,判断两张在训练集中从未出现过的人脸照片是否代表同一个人。在预处理阶段,采用多尺度视皮层算法,降低光照的影响,提出并采用基于PCA-SIFT特征的图片融合算法无监督地对齐人脸,降低人脸姿态的影响。在识别阶段,提出并采用半随机池化方法优化了局部卷积限制波尔兹曼机网络的稳定性,习得深度特征后采用基于信息熵的度量学习算法计算马氏距离并通过SVM分类识别。实验结果显示,提出的方法在LFW数据集上取得了78%的识别率,相比于采用相同训练模式的经典度量学习方法取得了7%的提高,验证了所提方法的有效性。     

结构化低秩字典学习的人脸识别

目的 现实中采集到的人脸图像通常受到光照、遮挡等环境因素的影响,使得同一类的人脸图像具有不同程度的差异性,不同类的人脸图像又具有不同程度的相似性,这极大地影响了人脸识别的准确性。为了解决上述问题对人脸识别造成的影响,在低秩矩阵恢复理论的基础上提出了具有识别力的结构化低秩字典学习的人脸识别算法。方法 该算法基于训练样本的标签信息将低秩正则化以及结构化稀疏同时引入到学习的具有识别力的字典上。在字典学习过程中,首先利用样本的重建误差约束样本与字典之间的关系;其次将Fisher准则应用到稀疏编码过程中,使其编码系数具有识别能力;由于训练样本中的噪声信息会影响字典的识别力,所以在低秩矩阵恢复理论的基础上将低秩正则化应用到字典学习过程中;接着,在字典学习过程中加入了结构化稀疏使其不丢失结构信息以保证对样本进行最优分类;最后再利用误差重构法对测试样本进行分类识别。结果 本文算法在AR以及ORL人脸数据库上分别进行了实验仿真。在AR人脸数据库中,为了分析样本不同维数对实验结果造成的影响,选取了第一时期拍摄的每人6幅图像,包括1幅围巾遮挡,2幅墨镜遮挡以及3幅脸部表情变化以及光照变化（未被遮挡）的图像作为训练样本,同时选取相同组合的样本图像作为测试样本,无论哪种方法,图像的维度越高识别率越高。对比SRC （sparse representation based on classification）算法与DKSVD （discriminative K-means singular value decomposition）算法的识别率可知,DKSVD算法通过字典学习减缓了训练样本中的不确定因素对识别结果的影响;对比DLRD_SR （discriminative low-rank dictionary learning for sparse representation）算法与FDDL （Fisher discriminative dictionary learning）算法的识别率可知,当图像有遮挡等噪声信息存在时,字典低秩化可以提高至少5.8%的识别率;对比本文算法与DLRD_SR算法可知,在字典学习的过程中加入Fisher准则后识别率显著提高,同时理想稀疏值能保证对样本进行最优的分类。当样本图像的维度达到500维时人脸图像在有围巾、墨镜遮挡的情况下识别率可达到85.2%;其中墨镜和围巾的遮挡程度分别可以看成是人脸图像的20%和40%,为了验证本文算法在不同脸部表情变化、光照改变以及遮挡情况下的有效性,根据训练样本的具体图像组合情况进行实验。无论哪种样本图像组合,本文算法在有遮挡存在的样本识别中具有显著优势。在训练样本只包含脸部表情变化、光照变化以及墨镜遮挡图像的情况下,本文算法的识别率高于其他算法至少2.7%,在训练样本只包含脸部表情变化、光照变化以及围巾遮挡图像的情况下,本文算法的识别率高于其他算法至少3.6%,在训练样本包含脸部表情变化、光照变化、围巾遮挡以及墨镜遮挡图像的情况下,其识别率高于其他算法至少1.9%。在ORL人脸数据库中,人脸图像在无遮挡的情况下识别率达到95.2%,稍低于FDDL算法的识别率;在随机块遮挡程度达到20%时,相比较于SRC算法、DKSVD算法、FDDL算法以及DLRD_SR算法,本文算法的识别率最高;当随机块遮挡程度达到50%时,以上算法的识别率均不高,但本文算法的其识别率仍然最高。结论 本文算法在人脸图像受到遮挡等因素的影响时具有一定的鲁棒性,实验结果表明该算法在人脸识别方面具有可行性。     

基于改进三维形变模型的三维人脸重建和密集人脸对齐方法

针对现在广泛使用的三维形变模型表达能力不够，导致重建出的三维人脸模型泛化性能不佳的问题，提出了一种在姿态、表情和光照未知的条件下的基于单张人脸图片的三维人脸重建和密集人脸对齐的新方法。首先，通过卷积神经网络对现有的三维形变模型进行改进，以提高三维人脸模型的表达能力；然后，基于人脸光滑性和图像相似性，在特征点和像素层面提出新的损失函数，并使用弱监督学习训练卷积神经网络模型；最后，通过训练出的网络模型进行三维人脸重建和密集人脸对齐。实验结果表明，对于三维人脸重建任务，所提模型在AFLW2000-3D上实现了2.25的归一化平均误差；对于密集人脸对齐任务，所提模型在AFLW2000-3D和AFLW-LFPA上分别实现了3.80和3.34的归一化平均误差。与原始使用三维形变模型的方法相比，所提模型在三维人脸重建和密集人脸对齐上的归一化平均误差分别降低了7.4%和7.8%。针对不同光照环境以及角度的人脸图片，该网络模型的重建准确，鲁棒性好，且具有较高的三维人脸重建和密集人脸对齐质量。