基于非对称局部梯度编码的人脸表情识别

目的 针对局部梯度编码算子(LGC)只能在固定大小邻域内提取图像纹理特征的不足,提出了一种非对称邻域LGC算子(AR-LGC)多尺度融合的表情特征提取方法。方法 首先,对归一化的表情图像进行Gauss滤波处理;然后,对图像进行分块,对每个子块图像中每一像素点,采用不同邻域大小的AR-LGC算子得到两个二进制序列,将两个序列作按位逻辑异或得到一个新的序列,对此序列进行编码,计算每个子块的直方图分布,级联各子块直方图构成人脸表情的特征;最后用SVM分类器进行表情分类识别。结果 该算法在JAFFE库和CK库上进行实验,分别取得了95.24%和96.83%的平均识别率,并与CBP(中心化二值模式)、LBP(局部二值模式)、LGC和AR-LBP(非对称局部二值模式)算法进行了比较,在JAFFE库的平均识别率分别比CBP、LBP、LGC、AR-LBP高5.6%、4.85%、3.71%、2.40%,在CK库的平均识别率分别比CBP、LBP、LGC、AR-LBP高3.66%、2.50%、2.17%、1.66%,实验结果表明,该算法可以较准确地进行人脸表情识别。结论 本文所提的表情特征提取方法通过融合不同梯度不同尺度子邻域间的强度关系,可以很好地表达图像的局部特征和全局特征,与典型的特征提取算法的对比实验也表明了本文算法的有效性,表明本文算法适用于静态人脸表情图像的识别。     

Dempster-Shafer证据融合金字塔韦伯局部特征的表情识别

目的 针对韦伯局部特征(WLD)在局部细节表征上的局限性,提出一种基于金字塔韦伯局部特征(PWLD)的人脸表情识别方法。方法 首先对人脸图像进行预处理,分割出表情显著区域;然后根据显著区域大小进行分层并加以分块,对每一层的不同块提取PWLD特征,将测试集与训练集的PWLD直方图的卡方距离归一化作为独立证据来构造基本概率分配(BPA);最后利用D-S(Dempster-Shafer)证据理论联合规则得到融合后的BPA,进而得出识别结果。结果 在JAFFE库与Cohn-Kanade库上进行交叉验证,平均识别率分别为95.81%和97.47%。结论 PWLD特征在局部细节表征上比WLD特征更具有优势。与目前典型的方法进行对比实验,验证该方法的有效性和容错性,同时证明该方法在噪声和光照条件下具有一定的鲁棒性。     

双空间局部方向模式的人脸识别

目的 针对传统局部方向模式（LDP）在特征提取的充分性、对光照和噪声等的鲁棒性以及识别时间长短这3方面不能同时取得一个很好的平衡效果,提出了一种双空间局部方向模式（DSLDP）的人脸识别方法。方法 首先,将图像3×3邻域像素灰度值与8个Kirsch模板算子卷积,得到8个方向的边缘响应值,然后,将近邻边缘响应值之间相应作差,对应8个方向的边缘响应差值,将两组值取绝对值,取各自最大值的方向编码成一个二位八进制数,产生DSLDP码。最后,在人脸描述阶段将人脸图像进行分块并把每块转换成DSLDP图,再对DSLDP图进行直方图统计,并利用信息熵对每块进行加权,将所有子块的直方图连接生成人脸特征,再通过PCA进行降维,用最近邻分类器分类识别。结果 在剑桥大学Olivetti实验室（ORL）、Aleix Martinez and Robert Benavente （AR）和中国科学院（CAS-PEAL）的人脸图像数据库进行实验,相比局部方向模式（LDP）、显著型局部方向模式（SLDP）、增强型局部方向模式（ELDP）、局部方向数字模式（LDN）、差值型局部方向模式（DLDP）、中心对称局部方向模式（CSLDP）和梯度中心对称局部方向模式（GCSLDP）,DSLDP具有更好的识别性能。5幅测试样本时,在ORL库上取得了97.82%的平均识别率,在AR光照、表情、遮挡A和遮挡B库分别取得了98.00%、98.33%、99.33%、87.67%的平均识别率,在CAS-PEAL光照、表情和饰物库分别取得了99.33%、95.33%、90.00%的平均识别率。结论 1）该方法既考虑了近邻边缘响应值的外在变化,也考虑了近邻边缘响应值之间的内在变化,通过将强度空间和梯度空间人脸特征信息结合使人脸特征得到更加充分的提取。2） DSLDP只考虑邻边缘响应值和边缘响应差值的最大值情况,突出了主要边缘梯度信息,同时又避免了不重要信息的干扰,相比同类基于局部方向模式的单一人脸识别算法,对光照、表情、噪声、遮挡等情况表现出更强的鲁棒性。3） DSLDP码是由二位八进制数构成,特征模式数降低到64,识别时间明显降低。因此,DSLDP算法能同时在识别效果,稳定性和识别时间上取得一个较好的平衡效果。     

加权局部二值模式的人脸特征提取

目的 为了能够得到图像更加丰富的纹理特征,提出一种新的自适应加权局部二值模式算法。方法 首先,将图像进行分块,利用新算法提取每个子块的局部二值模式的纹理直方图;然后,将各子图像的信息熵作为直方图的加权依据,对每个子块对应的直方图进行自适应加权,并将所有子块的直方图连接成最终的纹理特征。提取每个子块的局部纹理特征时的方法为:以某一像素点为中心取相邻的8个像素组成一个局部邻域,在该邻域内依据自适应设定的阈值分别比较3对水平方向和3对竖直方向像素值的大小,以此获得6位二进制码并将每位二进制码乘以相应的权重后相加,累加和即为该邻域新的局部二值模式纹理特征。结果 在两大人脸数据库上进行的实验结果表明,利用本文提出的方法提取纹理特征,并结合最近邻分类法可以得到85.29%和96.50%的正确识别率。结论 文中提出的自适应加权局部二值模式特征能够获取图像中更加丰富的纹理信息,因而具有较高的正确识别率,并且对于其他的物体识别也具有一定的参考价值。     

自适应中心对称局部三值模式的人脸识别

针对局部三值模式描述人脸图像纹理特征时直方图维数过高以及阈值不能自适应选取的缺陷,提出一种自适应中心对称局部三值模式方法。首先,用具有降低维数的中心对称局部三值模式算子对人脸图像编码,把邻域像素均值引入编码中以增强抗噪性能;其次,嵌入统计邻域均值与邻域像素的标准差作为阈值以自适应提取人脸特征,并统计特征直方图;最后用卡方距离度量训练样本特征直方图和测试样本特征直方图的相似度,采用最近邻分类器分类识别。所提算法在YALE、Extended Yale B人脸图像库上的最高正确识别率分别达到99.67%,99.33%;识别一张人脸的速度分别达到0.1984和0.3988 s。实验结果表明,所提算法对光照变化和噪声更加鲁棒,有效提高了人脸识别的精度和速度。     

加权信息熵与增强局部二值模式结合的人脸识别

针对人脸识别因光照、姿态、表情、遮挡及噪声等多种因素的影响而导致的识别率不高的问题，提出一种加权信息熵（IEw）与自适应阈值环形局部二值模式（ATRLBP）算子相结合的人脸识别方法（IE （w） ATR-LBP）。首先，从原始人脸图像分块提取信息熵，得到每个子块的IEw；然后，利用ATRLBP算子分别对每个人脸子块提取特征从而得到概率直方图；最后，将各个块的IEw与概率直方图相乘，再串联成为原始人脸图像最后的特征直方图，并利用支持向量机（SVM）对人脸进行识别。在AR人脸库的表情、光照、遮挡A和遮挡B四个数据集上，IE （w） ATR-LBP方法分别取得了98.37%、94.17%、98.20%和99.34%的识别率。在ORL人脸库上，IE （w） ATR-LBP方法的最大识别率为99.85%；而且在ORL人脸库5次不同训练样本的实验中，与无噪声时相比，加入高斯和椒盐噪声后的平均识别率分别下降了14.04和2.95个百分点。实验结果表明，IE （w） ATR-LBP方法能够有效提高人脸在受光照、姿态、遮挡等影响时的识别率，尤其是存在表情变化及脉冲类噪声干扰时的识别率。     

NSST与CSLDP相结合的人脸识别

针对人脸识别中姿态、光照和表情等变化造成的识别率不高的问题,提出一种非采样Shearlet变换（NSST）与中心对称局部方向模式相结合的人脸识别算法。采用NSST分解人脸图像,得到低频子带图像和高频子带图像,计算子带图像中心对称局部方向模式,分块统计直方图特征信息,将直方图串接起来作为人脸图像的特征向量,利用最近邻分类器分类识别。在ORL、YALE和CAS-PEAL-R1人脸库上进行测试,实验结果表明所提方法简单有效,且对姿态、光照和表情变化具有较好鲁棒性。     

局部均匀模式描述和双加权融合的人脸识别

目的 针对LBP算法对边缘及噪声信息比较敏感,提出一种统一化的局部均值模式(ULMP)描述算子。考虑到全局和局部特征在识别上的互补性,提出一种ULMP描述和双加权融合的人脸识别方法。方法 首先利用ULMP算法获得整幅图像的编码图,接着将其分块,统计每一子块的直方图获得局部纹理特征,并结合BP神经网络得到局部分类结果。引入云模型求取不同子块的权值,对局部分类结果进行加权融合。整体纹理特征的获取是将不同子块的直方图特征串联。在得到全局和局部的分类结果后,将两者加权集成,获得最终的识别结果。结果 在ORL和Yale人脸库上进行实验,ULMP具有很好的识别性能。5幅测试样本时,在ORL库上取得了95.9%的平均识别率,分别比局部二值模式(LBP)、MCT、局部方向模式(LGP)、统一的LBP(ULBP)和局部中心二值模式(CSLBP)高11.3%、10.6%、9.5%、8.9%和3.9%;在Yale库上取得了97.4%的识别率,分别比LBP、MCT、LGP、ULBP和CSLBP高19.9%、17.7%、10.7%和0.7%。在ORL和Yale人脸库上,本文提出的双加权融合模式分别取得了98.5%和98.34%的平均识别率,高于任何单一模块。结论 本文提出的纹理提取算法ULMP,具有很好的平滑噪声及边缘信息的作用,适用于面部纹理特征的提取。利用云模型求取的权值的方法能够较好地发挥局部分类器间的集成作用,最终有效地提高了系统的整体性能。双加权融合模式是一种精确且有效的人脸识别方法,适用于静态人脸图像的匹配识别。     

判别性完全局部二值模式人脸表情识别

针对完全局部二值模式（CLBP）存在直方图维数过高和特征冗余,会导致识别速度降低和识别率低的问题,提出基于有判别力的完全局部二值模式（Discriminative completed LBP,disCLBP）的人脸表情识别算法。首先,对人脸表情图像进行预处理获得表情子区域;然后提取表情子区域和整幅图像的disCLBP特征,针对不同的表情筛选出不同的表情特征,再将筛选出的表情子区域特征直方图融合;最后用最近邻分类器进行分类识别。该算法在CK人脸表情库上进行实验的平均识别率为97.3%。     

精确局部特征描述的表情识别

目的 针对传统局部特征提取方法在表情识别上的局限性,提出一种精确局部特征描述的表情识别方法。方法 首先将人的眉毛、眼睛和嘴巴3个对表情识别起关键作用的器官分割出来,使得特征描述更具有针对性。然后,构造充分矢量三角形以统计图像的轮廓特征与细节特征。最后,对于不同的表情器官采用不同尺度的充分矢量三角形描述,对于同种表情器官采用多种尺度的充分矢量三角形联合描述,从而充分描述关键器官的图像信息。结果 该算法在日本女性表情人脸库(JAFFE)、cohn-kanade库(CK)以及Pain expressions库上进行实验,分别取得了95.67%、97.83%、84.0%的平均识别率以及11.70 ms、30.23 ms、11.73 ms的平均特征提取时间,实验结果表明,精确局部特征描述的表情识别方法可以较快、较准确的进行人脸表情识别。结论 精确局部特征描述的表情识别方法通过器官的分割以及充分矢量三角形模式的构造与灵活运用,良好地表达了图像的局部特征且具有较低的时间复杂度,本文算法与目前典型的表情识别算法的实验对比结果也表明了本文算法的有效性。     

基于2维偏最小二乘法的图像局部特征提取及其在面部表情识别中的应用

为了更有效地提取图像的局部特征,提出了一种基于2维偏最小二乘法(two-dimensional partial leastsquare,2DPLS)的图像局部特征提取方法,并将其应用于面部表情识别中。该方法首先利用局部二元模式(localbinary pattern,LBP)算子提取一幅图像中所有子块的纹理特征,并将其组合成局部纹理特征矩阵。由于样本图像被转化为局部纹理特征矩阵,因此可将传统PLS方法推广为2DPLS方法,用来提取其中的判别信息。2DPLS方法通过对类成员关系矩阵的构造进行相应的修改,使其适应样本的矩阵形式,并能体现出人脸局部信息重要性的差异。同时,对于类成员关系协方差矩阵的奇异性问题,也推导出了其广义逆的解析解。基于JAFFE人脸表情库的实验结果表明,该方法不但可以有效地提取图像局部特征,并能取得良好的表情识别效果。     

基于Gabor和二值叠加CS-LBP特征的人脸表情识别

在表情识别中Gabor结合局部二值模式（LBP）的特征提取方法以及直方图统计降维虽然是较为局部化的方法,但LBP鲁棒性较差,识别精度不高,而且使用直方图统计来区分表情,其计算复杂度和特征维数依旧较高。中心对称局部二值模式（CS-LBP）与LBP相比具有较好的鲁棒性,但其对表情纹理细节的描述仍不够详细。因此提出基于Gabor结合改进的CS-LBP即二值叠加中心对称局部二值模式（二值叠加CS-LBP）的特征提取方法。用Gabor提取特征,同时用两种计算方式提取两个特征值并叠加,作为最终识别的特征;并通过离散余弦变换（DCT）降维,有效降低表情的特征维数。在JAFFE表情库中实验验证了该方法能有效提高识别精度。     

纹理谱描述符及其在图像检索中的应用

为了提高纹理谱描述符的性能并降低其特征维数,在中心对称局部二值模式纹理谱描述符的基础上,提出一种融合局部区域中心像素以及灰度均值的改进纹理描述模式.首先根据图像局部区域内中心像素与其邻域像素间的灰度变化关系,定义了新的局部纹理模式;然后通过比较局部区域内灰度均值与图像全局灰度均值的大小,对局部纹理模式进行了增强处理.采用不同纹理图像库及不同的性能评价准则进行实验的结果表明,文中方法在基于内容图像检索中取得了较好的效果.     

基于多尺度中心化二值模式的人脸表情识别

现有局部二值模式(LBP) 算子存在不足: 产生的直方图维数过长、鉴别力不高、对噪声反应敏感. 针对此类问题, 提出中心化二值模式(CBP) 算子, 其优点: 1) 通过比较邻域中近邻点对, 大大降低了直方图维数; 2) 考虑中心像素点的作用并赋予其最高权重, 实现鉴别力的提高; 3) 改变LBP算子的符号函数, 明显减弱白噪声对图像的影响.此外, 为提高识别率, 将多尺度CBP(MCBP) 直方图作为人脸表征. 为增强算法对表情图像中细小变形的鲁棒性, 引入图像欧式距离(IMED) 并将其嵌入MCBP方法. 在JAFFE和Cohn-Kanade表情库的实验结果表明: 所提方法优于其它表情识别方法, IMED可增强MCBP的表情识别能力.     

基于纹理特征融合的人脸表情识别

局部二值模式(LBP)和韦伯局部描述算子(WLD)是两种图像的纹理描述算子,在图像的特征提取方面有较强的能力。为了更加准确地对人脸表情进行识别与分类,针对LBP在特征提取的过程中只考虑了中心像素点与周围的其他像素点的灰度值之差,WLD仅考虑中心像素点与周围像素点灰度值之间的激励强度与梯度方向关系的问题,提出一种新的特征提取算法—局部二值韦伯模式(LBWP)。首先对图像进行预处理,检验人脸和裁剪有效的表情区域,接着对图像进行LBWP特征提取,在特征提取之后采用SVM的分类器对表情进行识别和分类。该算法在CK+数据集和JAFFE数据集上进行实验仿真,识别率分别达到了97.14%和95.77%。实验结果验证了LBWP算法在表情识别方面的有效性,且丰富了人脸图像特征提取方法。     

基于差值局部方向模式的人脸特征表示

提出一种基于差值局部方向模式的人脸特征表示方法(difference local directional pattern,简称DLDP):首先,通过Kirsch掩模卷积运算,为每个像素计算8个方向的边缘响应值;然后,计算8个相邻边缘响应值的强度差,前k个最突出的强度差对应的方向编码为1,其他方向编码为0,形成一个8位二进制数表示对应的DLDP模式;此外,针对高分辨率的Kirsch掩模单纯考虑方向性而没有考虑像素位置权重的问题,提出相应的掩模权值设计方法;最后,把每幅图像划分成多个不重叠的局部图像块,通过统计图像块上不同DLDP模式个数生成相应的子直方图,所有子直方图被串联起来表示一幅人脸图像.实验结果表明,该方法在光照、表情、姿态和遮挡方面获得了较好的结果,尤其针对遮挡情况,表现更为突出.     

基于完整LBP特征的人脸识别*

提出一种基于完整局部二值模式(CLBP)进行人脸识别的方法,CLBP算子包括三个部分:中心像素的LBP(CLBP_C)、符号部分的LBP(CLBP_S)、数值部分的LBP(CLBP_M)。该方法首先采用CLBP算子提取人脸灰度图像的直方图;然后融合成CLBP直方图,进行直方图相似性比较;最后根据最近邻原则进行识别。在ORL和YALE标准人脸数据库上的实验表明,该方法得到的结果比LBP效果更好,鲁棒性更高。