基于特征点表情变化的3维人脸识别

目的 为克服表情变化对3维人脸识别的影响,提出一种基于特征点提取局部区域特征的3维人脸识别方法。方法 首先,在深度图上应用2维图像的ASM(active shape model)算法粗略定位出人脸特征点,再根据Shape index特征在人脸点云上精确定位出特征点。其次,提取以鼻中为中心的一系列等测地轮廓线来表征人脸形状;然后,提取具有姿态不变性的Procrustean向量特征(距离和角度)作为识别特征;最后,对各条等测地轮廓线特征的分类结果进行了比较,并对分类结果进行决策级融合。结果 在FRGC V2.0人脸数据库分别进行特征点定位实验和识别实验,平均定位误差小于2.36 mm,Rank-1识别率为98.35%。结论 基于特征点的3维人脸识别方法,通过特征点在人脸近似刚性区域提取特征,有效避免了受表情影响较大的嘴部区域。实验证明该方法具有较高的识别精度,同时对姿态、表情变化具有一定的鲁棒性。     

结合加权局部旋度模式的3维人脸表情识别

目的 3维人脸的表情信息不均匀地分布在五官及脸颊附近,对表情进行充分的描述和合理的权重分配是提升识别效果的重要途径。为提高3维人脸表情识别的准确率,提出了一种基于带权重局部旋度模式的3维人脸表情识别算法。方法 首先,为了提取具有较强表情分辨能力的特征,提出对3维人脸的旋度向量进行编码,获取局部旋度模式作为表情特征;然后,提出将ICNP（interactive closest normal points）算法与最小投影偏差算法结合,前者实现3维人脸子区域的不规则划分,划分得到的11个子区域保留了表情变化下面部五官和肌肉的完整性,后者根据各区域对表情识别的贡献大小为各区域的局部旋度模式特征分配权重;最后,带有权重的局部旋度模式特征被输入到分类器中实现表情识别。结果 基于BU-3DFE 3维人脸表情库对本文提出的局部旋度模式特征进行评估,结果表明其分辨能力较其他表情特征更强;基于BU-3DFE库进行表情识别实验,与其他3维人脸表情识别算法相比,本文算法取得了最高的平均识别率,达到89.67%,同时对易混淆的“悲伤”、“愤怒”和“厌恶”等表情的误判率也较低。结论 局部旋度模式特征对3维人脸的表情有较强的表征能力; ICNP算法与最小投影偏差算法的结合,能够实现区域的有效划分和权重的准确计算,有效提高特征对表情的识别能力。试验结果表明本文算法对3维人脸表情具有较高的识别率,并对易混淆的相似表情仍具有较好的识别效果。     

结合像素模式和特征点模式的实时表情识别

目的 目前2D表情识别方法对于一些混淆性较高的表情识别率不高并且容易受到人脸姿态、光照变化的影响,利用RGBD摄像头Kinect获取人脸3D特征点数据,提出了一种结合像素2D特征和特征点3D特征的实时表情识别方法。方法 首先,利用3种经典的LBP（局部二值模式）、Gabor滤波器、HOG（方向梯度直方图）提取了人脸表情2D像素特征,由于2D像素特征对于人脸表情描述能力的局限性,进一步提取了人脸特征点之间的角度、距离、法向量3种3D表情特征,以对不同表情的变化情况进行更加细致地描述。为了提高算法对混淆性高的表情识别能力并增加鲁棒性,将2D像素特征和3D特征点特征分别训练了3组随机森林模型,通过对6组随机森林分类器的分类结果加权组合,得到最终的表情类别。结果 在3D表情数据集Face3D上验证算法对9种不同表情的识别效果,结果表明结合2D像素特征和3D特征点特征的方法有利于表情的识别,平均识别率达到了84.7%,高出近几年提出的最优方法4.5%,而且相比单独地2D、3D融合特征,平均识别率分别提高了3.0%和5.8%,同时对于混淆性较强的愤怒、悲伤、害怕等表情识别率均高于80%,实时性也达到了10~15帧/s。结论 该方法结合表情图像的2D像素特征和3D特征点特征,提高了算法对于人脸表情变化的描述能力,而且针对混淆性较强的表情分类,对多组随机森林分类器的分类结果加权平均,有效地降低了混淆性表情之间的干扰,提高了算法的鲁棒性。实验结果表明了该方法相比普通的2D特征、3D特征等对于表情的识别不仅具有一定的优越性,同时还能保证算法的实时性。     

基于非对称局部梯度编码的人脸表情识别

目的 针对局部梯度编码算子(LGC)只能在固定大小邻域内提取图像纹理特征的不足,提出了一种非对称邻域LGC算子(AR-LGC)多尺度融合的表情特征提取方法。方法 首先,对归一化的表情图像进行Gauss滤波处理;然后,对图像进行分块,对每个子块图像中每一像素点,采用不同邻域大小的AR-LGC算子得到两个二进制序列,将两个序列作按位逻辑异或得到一个新的序列,对此序列进行编码,计算每个子块的直方图分布,级联各子块直方图构成人脸表情的特征;最后用SVM分类器进行表情分类识别。结果 该算法在JAFFE库和CK库上进行实验,分别取得了95.24%和96.83%的平均识别率,并与CBP(中心化二值模式)、LBP(局部二值模式)、LGC和AR-LBP(非对称局部二值模式)算法进行了比较,在JAFFE库的平均识别率分别比CBP、LBP、LGC、AR-LBP高5.6%、4.85%、3.71%、2.40%,在CK库的平均识别率分别比CBP、LBP、LGC、AR-LBP高3.66%、2.50%、2.17%、1.66%,实验结果表明,该算法可以较准确地进行人脸表情识别。结论 本文所提的表情特征提取方法通过融合不同梯度不同尺度子邻域间的强度关系,可以很好地表达图像的局部特征和全局特征,与典型的特征提取算法的对比实验也表明了本文算法的有效性,表明本文算法适用于静态人脸表情图像的识别。     

复合时空特征的双模态情感识别

目的 针对体积局部二值模式应用到视频帧特征提取上,特征维数大,对光照及噪声鲁棒性差等问题,提出一种新的特征描述算法—时空局部三值模式矩（TSLTPM）。考虑到TSLTPM描述的仅是纹理特征,本文进一步融合3维梯度方向直方图（3DHOG）特征来增强对情感视频的描述。方法 首先对情感视频进行预处理获得表情和姿态序列;然后对表情和姿态序列分别提取TSLTPM和3DHOG特征,计算测试序列与已标记的情感训练集特征间的最小欧氏距离,并将其作为独立证据来构造基本概率分配;最后使用D-S证据联合规则得到情感识别结果。结果 在FABO数据库上进行实验,表情和姿态单模态分别取得83.06%和94.78%的平均识别率,在表情上分别比VLBP（体积局部二值模式）、LBP-TOP（三正交平面局部二值模式）、TSLTPM、3DHOG高9.27%、12.89%、1.87%、1.13%;在姿态上分别比VLBP、LBP-TOP、TSLTPM、3DHOG高24.61%、27.55%、1.18%、0.98%。将两种模态进行融合以后平均识别率达到96.86%,说明了融合表情和姿态进行情感识别的有效性。结论 本文提出的TSLTPM特征将VLBP扩展成时空三值模式,能够有效降低维数,减少光照和噪声对识别的影响,与3DHOG特征形成复合时空特征有效增强了情感视频的分类性能,与典型特征提取算法的对比实验也表明了本文算法的有效性。另外,与其他方法的对比实验也验证了本文融合方法的优越性。     

融合局部思想和协作表达的鲁棒分类

目的 协作表达分类算法在人脸识别实验上表现出较好的性能,但其未考虑样本的局部特性,且算法只能处理测试样本中的噪声,未能有效处理训练样本集中的噪声.针对这两个问题,提出融合局部思想和协作表达的鲁棒分类算法.方法 一方面,在训练集上,通过奇异值分解SVD得到其有效表达,丢弃一些噪声;另一方面,算法考虑数据的局部相似性,以保持测试样本与其相邻训练样本之间的相似性.结果 本文算法能得到一个闭式(closed-form),可避免稀疏表示分类算法中由于迭代引起的高时间复杂度问题,在ORL、扩展YALEB和PIE人脸库上的识别率分别可达91.4%,93.8%和93.2%,与同类算法相比识别率有较大幅度地提高;实验结果验证了算法所得到的系数具有较高的判别能力.结论 算法将训练样本进行奇异值分解得到“干净”的训练样本,能在一定程度上消除噪声的影响,且在协作表达的基础上,考虑测试样本和与之相邻的训练样本的局部相似性,相比原始的协作表达分类算法有更好的稳定性和鲁棒性.     

利用CNN和PCA约束优化模型实现稀疏表示分类

目的 传统的稀疏表示分类方法运用高维数据提升算法的稀疏分类能力,早已引起了广泛关注,但其忽视了测试样本与训练样本间的信息冗余,导致了不确定性的决策分类问题。为此,本文提出一种基于卷积神经网络和PCA约束优化模型的稀疏表示分类方法（EPCNN-SRC）。方法 首先通过深度卷积神经网络计算,在输出层提取对应的特征图像,用以表征原始样本的鲁棒人脸特征。然后在此特征基础上,构建一个PCA（principal component analysis）约束优化模型来线性表示测试样本,计算对应的PCA系数。最后使用稀疏表示分类算法重构测试样本与每类训练样本的PCA系数来完成分类。结果 本文设计的分类模型与一些典型的稀疏分类方法相比,取得了更好的分类性能,在AR、FERET、FRGC和LFW人脸数据库上的实验结果显示,当每类仅有一个训练样本时,EPCNN-SRC算法的识别率分别达到96.92%、96.15%、86.94%和42.44%,均高于传统的表示分类方法,充分验证了本文算法的有效性。同时,本文方法不仅提升了对测试样本稀疏表示的鲁棒性,而且在保证识别率的基础上,有效降低了算法的时间复杂度,在FERET数据库上的运行时间为4.92 s,均低于一些传统方法的运行时间。结论 基于卷积神经网络和PCA约束优化模型的稀疏表示分类方法,将深度学习特征与PCA方法相结合,不仅具有较好的识别准确度,而且对稀疏分类也具有很好的鲁棒性,尤其在小样本问题上优势显著。     

基于非凸低秩分解判别的叠加线性稀疏人脸识别

目的 针对因采集的人脸图像样本受到污染而严重干扰人脸识别及训练样本较少（小样本）时会由于错误的稀疏系数导致性能急剧下降从而影响人脸识别的问题,提出了一种基于判别性非凸低秩矩阵分解的叠加线性稀疏表示算法。方法 首先由γ范数取代传统核范数,克服了传统低秩矩阵分解方法求解核范数时因矩阵奇异值倍数缩放导致的识别误差问题;然后引入结构不相干判别项,以增加不同类低秩字典间的非相干性,达到抑制类内变化和去除类间相关性的目的;最后利用叠加线性稀疏表示方法完成分类。结果 所提算法在AR人脸库中的识别率达到了98.67±0.57%,高于SRC（sparse representation-based classification）、ESRC（extended SRC）、RPCA（robust principal component analysis）+SRC、LRSI（low rank matrix decomposition with structural incoherence）、SLRC（superposed linear representation based classification）-l₁等算法;同时,遮挡实验表明,算法对遮挡图像具有更好的鲁棒性,在不同遮挡比例下,相比其他算法均有更高的识别率。在CMU PIE人脸库中,对无遮挡图像添加0、10%、20%、30%、40%的椒盐噪声,算法识别率分别达到90.1%、85.5%、77.8%、65.3%和46.1%,均高于其他算法。结论 不同人脸库、不同比例遮挡和噪声的实验结果表明,所提算法针对人脸遮挡、表情和光照等噪声因素依然保持较高的识别率,鲁棒性更好。     

精确局部特征描述的表情识别

目的 针对传统局部特征提取方法在表情识别上的局限性,提出一种精确局部特征描述的表情识别方法。方法 首先将人的眉毛、眼睛和嘴巴3个对表情识别起关键作用的器官分割出来,使得特征描述更具有针对性。然后,构造充分矢量三角形以统计图像的轮廓特征与细节特征。最后,对于不同的表情器官采用不同尺度的充分矢量三角形描述,对于同种表情器官采用多种尺度的充分矢量三角形联合描述,从而充分描述关键器官的图像信息。结果 该算法在日本女性表情人脸库(JAFFE)、cohn-kanade库(CK)以及Pain expressions库上进行实验,分别取得了95.67%、97.83%、84.0%的平均识别率以及11.70 ms、30.23 ms、11.73 ms的平均特征提取时间,实验结果表明,精确局部特征描述的表情识别方法可以较快、较准确的进行人脸表情识别。结论 精确局部特征描述的表情识别方法通过器官的分割以及充分矢量三角形模式的构造与灵活运用,良好地表达了图像的局部特征且具有较低的时间复杂度,本文算法与目前典型的表情识别算法的实验对比结果也表明了本文算法的有效性。     

基于主动表观模型的稀疏聚类人脸识别算法

在复杂的非人脸成分干扰以及训练样本过大、训练样本之间相似度较高的条件下,原始稀疏表示分类(SRC)算法识别准确率较低。针对上述问题,提出一种基于主动表观模型的稀疏聚类(CS-AAM)人脸识别算法。首先,利用主动表观模型快速、准确地对人脸特征点进行定位,获取主要人脸信息;然后,对训练样本进行K-means聚类,将相似程度高的图像分为一类,计算聚类中心,将该中心作为原子构造过完备字典并进行稀疏分解;最后,计算稀疏系数和重构残差对人脸图像进行分类、识别。将该算法与最近邻(NN)、支持向量机(SVM)、稀疏表示分类(SRC)、协同表示分类(CRC)人脸识别算法在ORL和Extended Yale B人脸数据库上对不同样本数及不同维数的人脸图像分别进行识别率测试,在相同样本数或相同维数情况下CS-AAM算法识别率均高于其他算法。在ORL人脸库中选取样本数为210时,相同维数条件下CS-AAM算法识别率为95.2%;在Extended Yale B人脸库上选取样本数为600时,CS-AAM算法识别率为96.8%。实验结果表明,该算法能够有效地提高人脸图像的识别准确率。     

Gabor特征判别分析人脸识别方法的误配准鲁棒性分析

人脸识别领域中,Gabor特征人脸表示方法因其在应用中获得的高首选识别率而被认为是一种理想的人脸特征表示方法。文章用一种全新的量化评价方法,结合配准精度和识别率,从误配准鲁棒性角度评价Gabor特征在人脸识别中的优越性。实验表明,和图像灰度信息特征相比,Gabor特征不仅在精确配准时具有高识别率,而且对由于人脸特征定位不精确而导致的图像变化的鲁棒性也更强。     

基于Shearlet变换和均匀局部二值模式特征的协作表示人脸识别算法

为了获得人脸图像中更丰富的纹理特征以提高人脸识别率,提出了一种基于Shearlet变换和均匀局部二值模式(ULBP)算子提取特征(Shearlet_ULBP特征)的协作表示方法--Shearlet_ULBP CRC用于人脸识别。首先,人脸图像通过Shearlet变换分解,得到多尺度多方向的幅值域图谱,再经过简单的平均融合,获得融合后的幅值域图谱;然后,通过ULBP算子结合分块的方法获得该Shearlet变换后融合图像的直方图特征;最后,结合协作表示的方法来分类所提取到的特征。该方法可以提取到图像更丰富的边缘以及纹理信息,在ORL、Extended Yale B和AR人脸数据库上进行测试,在图像无遮挡的情况下识别率都达到了99%以上,在有遮挡情况下也都达到了91%以上的识别率。实验结果表明,所提方法不仅对于光照、姿态和表情变化具备较强的鲁棒性,同时能在一定程度上处理人脸图像中存在遮挡的情形。     

Combination of linear regression classification and collaborative representation classification

Classification using the l ₂-norm-based representation is usually computationally efficient and is able to obtain high accuracy in the recognition of faces. Among l ₂-norm-based representation methods, linear regression classification (LRC) and collaborative representation classification (CRC) have been widely used. LRC and CRC produce residuals in very different ways, but they both use residuals to perform classification. Therefore, by combining the residuals of these two methods, better performance for face recognition can be achieved. In this paper, a simple weighted sum based fusion scheme is proposed to integrate LRC and CRC for more accurate recognition of faces. The rationale of the proposed method is analyzed. Face recognition experiments illustrate that the proposed method outperforms LRC and CRC.     

Fast and robust face recognition via coding residual map learning based adaptive masking

Robust face recognition (FR) is an active topic in computer vision and biometrics, while face occlusion is one of the most challenging problems for robust FR. Recently, the representation (or coding) based FR schemes with sparse coding coefficients and coding residual have demonstrated good robustness to face occlusion; however, the high complexity of l₁-minimization makes them less useful in practical applications. In this paper we propose a novel coding residual map learning scheme for fast and robust FR based on the fact that occluded pixels usually have higher coding residuals when representing an occluded face image over the non-occluded training samples. A dictionary is learned to code the training samples, and the distribution of coding residuals is computed. Consequently, a residual map is learned to detect the occlusions by adaptive thresholding. Finally the face image is identified by masking the detected occlusion pixels from face representation. Experiments on benchmark databases show that the proposed scheme has much lower time complexity but comparable FR accuracy with other popular approaches.     

融合LBP和局部稀疏表示的人脸表情识别

为更好获取人脸局部表情特征,提出了一种融合局部二值模式（Local Binary Pattern,LBP）和局部稀疏表示的人脸表情特征与识别方法。为深入分析表情对人脸子区域的影响,根据五官特征对人脸进行非均匀分区,并提取局部LBP特征;为精细刻画人脸局部纹理,整合人脸局部特征,设计了人脸局部稀疏重构表示方法,并根据表情对各局部子区域的影响因子,加权融合局部重构残差进行人脸表情识别。在JAFFE2表情人脸库上的对比实验,验证了该方法的可行性和鲁棒性。     

基于Gabor特征与加权协同表示的人脸识别算法

针对基于稀疏表示分类方法的训练样本于与类别标签信息提取不足,特别是在训练样本和待测样本都受到噪声污染的情况下将会明显下降及算法复杂度较高的问题,提出以Gabor特征以及加权协同为基础的人脸识别算法;最初需要对人脸图像内所包含的各个尺度以及方向的Gabor特征完成提取,在稀疏表示中引入Gabor特征,将降维后的Gabor特征矩阵作为超完备字典,再用稀疏表示增强加权协同表示得到该字典下的的稀疏表示系数,然后利用增强系数与训练样本的标签矩阵完成对测试样本进行分类识别,从而得到Gabor特征以及加权的协同表示分类方法,在Yale人脸数据库、Extended Yale B和AR人脸数据库上以及在FERET人脸数据库对人脸姿态变化的实验表明新算法具有更好的识别率和较短的计算时间.     

基于对称Gabor特征和稀疏表示的人脸识别

受启发于人脸近似对称的先验知识,提出一种基于对称Gabor特征的稀疏表示算法并成功运用于人脸识别。首先把人脸图像进行镜像变换得到其镜像图像,进而将人脸分解为奇偶对称脸。在奇偶对称脸上分别提取Gabor特征,得到Gabor奇偶对称特征。通过一个加权因子,将奇偶特征融合生成新的特征。最后用这种新的特征构成超完备字典进行稀疏表示人脸分类。在人脸数据库AR和FERET上的实验结果表明所提算法在人脸有表情、姿势和光照变化情况下仍能获得较高的识别率。     

联合Gabor误差字典和低秩表示的人脸识别算法

针对人脸图片的遮挡、伪装、光照及表情变化等问题,根据Gabor特征对遮挡、伪装、光照及表情变化有着更强的鲁棒性的特点,提出了联合Gabor误差字典和低秩表示的人脸识别算法(GDLRR)。首先对训练样本和测试样本分别进行Gabor特征提取,并将这些特征组成待测试的特征字典;然后将一个单位阵进行Gabor特征提取并训练成一个更紧凑的Gabor误差字典;最后联合Gabor误差字典和训练特征字典对测试特征字典进行低秩表示后进行分类识别。各类实验表明,提出的改进算法对人脸识别的各类问题都有着更强的鲁棒性和更高的识别准确率。     

判别性双向协同表示的图像识别算法

基于协同表示的分类(CRC)以其卓越的协同能力成为人脸分类领域的一个突破。然而在实际应用中,通常只提供很少甚至是单个人脸图像来进行人脸识别,这导致了CRC无法很好地处理光照、表情、姿态和遮挡等问题。针对该问题,提出一种判别性双向协同表示的图像识别算法(DB-CRC)。首先通过引入判别式字典学习(FDDL)模型学习得到一个结构化字典,使得每个特定类的子字典对相关类的样本具有良好的表示能力,由此,较大的类间离散度和较小的类内离散度使得重构误差和编码系数都具有判别性;然后将学习得到的稀疏编码系数作为测试样本数据进行双向表达,建立快速逆向表示模型,利用双向表示策略估计每个测试样本与结构化字典之间的双向重构残差信息;最后利用竞争融合方法对来自双向表示模型的重构残差进行加权排名,实现最终的人脸分类。在AR、PIE、LFW等通用人脸数据库上的实验结果验证了该算法的有效性,特别是对小样本问题的鲁棒性。     

基于Gabor特征与投影字典对学习的人脸识别算法

为了提高人脸的识别率及其识别速度,提出了一种基于Gabor特征与投影字典对学习的人脸识别算法。由于Gabor特征对表情、光照和角度等变化具有较强的鲁棒性,首先提取人脸图像多方向多尺度的Gabor局部特征,并将经主成分分析降维后的增广Gabor特征作为训练数据,代替原始的训练样本。然后,根据训练数据同时学习综合字典与分析字典,综合字典具有重构能力,分析字典可以快速求出系数矩阵。最后,根据各类别的重构误差进行分类,以达到人脸识别的目的。在扩展的YaleB、ORL和AR人脸数据库上的实验结果表明,提出的算法不仅具有较高的识别率,而且能够有效地提高识别速度。