融合局部特征的面部遮挡表情识别

目的 针对人脸表情识别中存在局部遮挡的问题,提出一种融合局部特征的面部遮挡表情识别方法。方法 首先,为了减少噪声的影响,利用高斯滤波对归一化后的图像进行去噪处理;然后根据人脸不同部位对表情识别的不同贡献度,将图像划分为两个重要的子区域,并分别对该子区域进行不重叠分块处理;采用改进的中心对称局部二值模式（差值中心对称局部二值模式DCS-LBP）和改进的差值局部方向模式（梯度中心对称局部方向模式GCS-LDP）对各个子块提取相应的特征,并采用级联的方式得到图像的特征直方图;最后结合最近邻分类器对表情图像进行分类识别：利用卡方距离求取测试集图像与训练集图像特征直方图之间的距离,同时考虑到遮挡的干扰以及每个子块包含信息量的不同,利用信息熵对子块得到的卡方距离进行自适应加权。结果 在日本女性人脸表情库（JAFFE）和Cohn-Kanade（CK）人脸表情库上进行了3次交叉实验。在JAFFE库中随机遮挡、嘴部遮挡和眼部遮挡分别可以取得92.86%、94.76%和86.19%以上的平均识别率;在CK库中随机遮挡、嘴部遮挡和眼部遮挡分别可以取得99%、98.67%和99%以上的平均识别率。结论 该特征提取方法通过融合梯度方向上灰度值的差异以及梯度方向之间边缘响应值的差异来描述图像的特征,更加完整地提取了图像的细节信息。针对遮挡情况,本文采用的图像分割和信息熵自适应加权方法,有效地降低了遮挡对表情识别的干扰。在相同的实验环境下,与经典的局部特征提取方法以及遮挡问题处理方法的对比表明了该方法的有效性和优越性。     

融合LBP和局部稀疏表示的人脸表情识别

为更好获取人脸局部表情特征,提出了一种融合局部二值模式（Local Binary Pattern,LBP）和局部稀疏表示的人脸表情特征与识别方法。为深入分析表情对人脸子区域的影响,根据五官特征对人脸进行非均匀分区,并提取局部LBP特征;为精细刻画人脸局部纹理,整合人脸局部特征,设计了人脸局部稀疏重构表示方法,并根据表情对各局部子区域的影响因子,加权融合局部重构残差进行人脸表情识别。在JAFFE2表情人脸库上的对比实验,验证了该方法的可行性和鲁棒性。     

自适应加权完全局部二值模式的表情识别

为了有效地提取局部特征和全局特征以提高表情识别的性能,提出自适应加权的完全局部二值模式（Adaptively Weighted Compound Local Binary Pattern,AWCLBP）的人脸表情识别算法。首先对人脸表情图像进行预处理分离出表情子区域,与此同时生成表情子区域的贡献度图谱（Contribution Map,CM）;然后对表情子区域和整幅表情图像做完全局部二值模式变换提取三种特征（差值符号特征CLBP_S、差值幅值特征CLBP_M、中心像素特征CLBP_C）并连接三种特征生成级联直方图,并根据CM对表情子区域的级联直方图进行加权和整张图像的直方图进行融合;最后用卡方距离和最近邻方法进行分类识别。本算法在JAFFE库上做了实验并和LBP、Gabor小波、活动外观模型进行了比较,验证了本算法的有效性。     

融合DCT和LBP特征的表情识别

为了获得更好的面部表情特征,提出了一种融合离散余弦变换（Discrete Cosine Transform,DCT）特征和局部二值模式（Local Binary Pattern,LBP）特征的表情特征提取方法。该方法将人脸图像经过DCT后所获得的低频系数作为表情的整体特征;通过对人脸图像进行分块,计算每个子块的LBP直方图,将这些LBP直方图连接起来形成LBP特征,对该LBP特征使用拉普拉斯特征映射（Laplacian Eigenmaps,LE）降维后得到表情的局部特征。将得到的整体特征和局部特征进行加权融合,使用最近邻分类器进行分类。在JAFFE和Cohn-Kanade表情库上的实验结果表明,该方法比单独使用LBP或者DCT特征,具有更好的效果。     

自适应加权融合显著性结构张量和LBP的表情识别

针对局部二值模式（Local Binary Pattern，LBP）提取纹理特征时忽略了图像的局部结构信息问题，提出一种自适应加权融合显著性结构张量和LBP的表情识别算法。该算法通过对整幅图片进行显著性区域检测得到全局显著图来消除细小的纹理和噪声。在显著图的基础上进一步提取两种显著性纹理特征，根据每种特征信息熵的贡献度来作为特征向量的加权依据。利用支持向量机（Support Vector Machine，SVM）进行表情图像的分类。实验结果表明，自适应加权融合的两种纹理特征能够较好地描述人脸的特征，有效地提高表情识别率。     

基于局部二元模式的面部表情识别研究

提出了一种基于局部二元模式（Local Binary Pattern,LBP）与支持向量机（SVM）相结合的面部表情识别方法。使用LBP算子对图像进行处理,对图像的模式进行统计形成面部表情特征;使用线性判别分析对表情特征进行降维处理;采用支持向量机对面部表情进行分类。用Matlab实现了上述方法,并在日本女性人脸表情（JAFFE）数据库上测试,取得了70.95%的识别率。     

基于局部二元模式的人脸表情识别

提出了一种基于局部二元模式（LBP）和局部保全投影（LPP）相结合的面部表情识别方法。使用LBP算子对图像分块处理,综合人脸局部和整体的特征;再使用LPP对表情特征降维,最后采用支持向量机对面部表情分类。在日本女性人脸表情库上实验表明,本文提出的方法有更好的识别率和更快的识别速度。     

非对称方向性局部二值模式人脸表情识别

针对方向性局部二值模式（DLBP）在单尺度下获取图像纹理特征的不足,提出一种非对称方向性局部二值模式（AR-DLBP）多尺度多方向融合的表情识别算法。首先对人脸表情图像进行光照补偿预处理,消除光照、噪声的影响,分割出人脸及眉、眼、嘴局部表情关键区域,并计算出关键区域的贡献度（CM）;然后提取人脸及关键区域的异或-非对称方向性局部二值模式（XOR-AR-DLBP）直方图特征信息,并根据CM对关键区域直方图信息进行加权级联再与整幅人脸图像的特征信息进行融合;最后用SVM分类器进行表情分类识别。该算法在JAFFE库、CK库上仿真实验,分别取得95.71%、97.99%的平均识别率及112?ms、135?ms的平均识别时间,实验结果表明,该算法可以有效精确地完成人脸表情的分类识别。通过对表情图像光照补偿预处理及分割出表情的关键区域,并加权融合局部与整体特征,大大提高了特征的鉴别能力,与传统算法的对比实验,也表明该算法无论是在识别率还是在识别时间上,所得效果都是最好的。     

基于二维多尺度局部Gabor二进制模式特征的表情识别

为了在独立于个体身份的面部表情识别中取得更加理想的效果,提出了一种基于二维多尺度局部Gabor二进制模式（MB-LGBP）特征的识别方法。对于表情识别而言,MB-LGBP已被证明了是一种局部和整体上都具有很强表征能力的描绘子。将MB-LGBP与灰度共现矩阵(GLCM)结合起来得到了可以更好地描述局部纹理空间结构特性的二维MB-LGBP特征。在识别中,分别选择了支持向量机（SVM）和基于卡方距离的K-最近邻（KNN）分类器,并对结果进行了比较。实验结果证明了二维MB-LGBP特征相比于MB-LGBP以及其他一些主要的表情识别特征的优越性。     

结合LBP特征和深度学习的人脸表情识别

对于人脸表情识别,传统方法是先提取图像特征,再使用机器学习方法进行识别,这种方法不但特征提取过程复杂且泛化能力也差。为了达到更好的人脸表情识别效果,文中提出一种结合特征提取和卷积神经网络的人脸表情识别方法。首先使用基于Haar-like特征的AdaBoost算法对于数据库原始图片进行人脸区域检测,然后提取人脸区域局部二值模式（Local Binary Patterns,LBP）特征图,将其尺寸归一化后输入到改进的LeNet-5神经网络模型中进行识别。在CK+和JAFFE数据集上采用10折交叉验证方法进行实验,分别为98.19%和96.35%的准确率。实验结果表明该方法与其他主流方法相比在人脸表情识别上有一定的先进性和有效性。     

融合Gabor与局部切空间排列法的人脸识别算法

针对Gabor小波提取人脸特征存在维数高,计算复杂的问题,引入基于划分的局部切空间排列算法（Partitional Local Tangent Space Alignment）对得到的Gabor幅度特征（Gabor Magnitude Feature,GMF）进行降维,同时将主成分分析（PCA）和线性判别分析（LDA）引入到算法中,确定用最近邻分类器进行分类识别的最优投影子空间。通过在ORL人脸数据库上的实验证明了该算法的有效性,用Gabor小波提取特征对光照和表情变化等有良好的鲁棒性。     

判别性完全局部二值模式人脸表情识别

针对完全局部二值模式（CLBP）存在直方图维数过高和特征冗余,会导致识别速度降低和识别率低的问题,提出基于有判别力的完全局部二值模式（Discriminative completed LBP,disCLBP）的人脸表情识别算法。首先,对人脸表情图像进行预处理获得表情子区域;然后提取表情子区域和整幅图像的disCLBP特征,针对不同的表情筛选出不同的表情特征,再将筛选出的表情子区域特征直方图融合;最后用最近邻分类器进行分类识别。该算法在CK人脸表情库上进行实验的平均识别率为97.3%。     

融合HOG与PCA算法的人脸识别

为了进一步研究人脸识别问题文章融合HOG特征与PCA算法对人脸进行识别研究。首先计算人脸图像的方向梯度直方图（HOG）,将输出的每一个特征向量纵向堆叠为一个二维矩阵。然后使用主成分分析（PCA）进行特征降维,减少特征间的相关性和噪声。最后使用支持向量机（SVM）进行分类识别。整个算法模型在ORL人脸数据库中进行实验,最终结果显示识别准确率为96.0%;使用ROC曲线评价该方法的优劣得到曲线下的面积为0.9898。     

基于LMD的模态参数识别方法

采用局部均值分解（Local Mean Decomposition,LMD）方法来识别机械系统固有频率和阻尼比。局部均值分解（LMD）方法可以自适应地将一个复杂信号分解为若干个具有一定物理意义的PF（Production Function）分量之和,采用LMD方法对脉冲激励下机械系统的加速度响应信号进行分解,得到一列具有物理意义的PF分量,每一个PF分量可以对应于某一个模态下的振动响应,进而就可以通过拟合瞬时频率和瞬时幅值曲线识别模态固有频率和阻尼比。先采用仿真信号进行了分析,使用LMD方法和经验模态分解方法（Empirical Mode Decomposition,EMD）对梁的瞬态响应实验数据进行模态识别并同仿真结果进行对比研究,结果表明用LMD进行模态分析具有较好的效果。     

基于Gabor和二值叠加CS-LBP特征的人脸表情识别

在表情识别中Gabor结合局部二值模式（LBP）的特征提取方法以及直方图统计降维虽然是较为局部化的方法,但LBP鲁棒性较差,识别精度不高,而且使用直方图统计来区分表情,其计算复杂度和特征维数依旧较高。中心对称局部二值模式（CS-LBP）与LBP相比具有较好的鲁棒性,但其对表情纹理细节的描述仍不够详细。因此提出基于Gabor结合改进的CS-LBP即二值叠加中心对称局部二值模式（二值叠加CS-LBP）的特征提取方法。用Gabor提取特征,同时用两种计算方式提取两个特征值并叠加,作为最终识别的特征;并通过离散余弦变换（DCT）降维,有效降低表情的特征维数。在JAFFE表情库中实验验证了该方法能有效提高识别精度。     

局部定向模式在人脸识别中的应用

人脸识别是当今模式识别和人工智能领域的一个活跃研究方向。基于局部二值模式（LBP）算子提出局部定向模式（Local Directional Pattern,LDP）算子。对人脸图像进行分块,采用局部定向模式算子对每块图像进行特征提取并计算每块区域的特征直方图,对特征直方图采用Chi距离测度进行比较识别。实验证明,该方法在Yale人脸数据库和Yale B人脸数据库相比局部二值模式有更好的识别率,说明该方法对光照有良好的鲁棒性。     

基于深度学习模型的自发学习表情识别方法研究

课堂教学环境中,面部表情自动识别是获取学习者情绪状态的重要方式。针对传统方法提取特征不全面、融合特征维度较高等问题,提出一种融合局部与全局特征的学习表情自动识别方法。该方法提取并融合表情图像的局部几何特征、KPCA降维的CLBP全局浅层纹理特征和CNN全局深度网络特征。此外,还构建一个全新的自发学习表情数据库,将课堂学习中的情绪分为困惑、快乐、疲倦、惊讶和中性等5种类型,用于CNN模型的训练。对比实验表明,该方法的识别正确率在CK+库、中国情绪图片系统和自发学习表情数据库中分别达到96.3%、86.7%和95.6%,高于传统的面部表情识别方法。该方法能够有效获取课堂中学生情绪变化,帮助教师准确全面地掌握班级学生的整体情况,促进课堂教学质量的提高。     

面向表情识别的AVR和增强LBP特征选择方法

由于对局部纹理特征具有很强的描述能力,LBP（Local Binary Patterns）已经被广泛应用于模式识别、计算机视觉等相关领域,但传统的LBP在表情识别中的正确率并不高,提出了一种结合小波分解的改进LBP特征提取方法,首先使用Adaboost人脸检测算法和2D模型提取人脸图像并归一化,并使用小波分解的方法增强LBP特征,然后通过AVR（Augmented Variance Ratio）特征选取方法降维,最后使用SVM进行分类。JAFFE库上的实验证明了该方法的有效性。     

面向非特定表情的加权和稀疏分类方法

针对在非特定人脸表情识别中,表情纹理特征的利用率不高问题,提出了一种改进的加权局部二值模式（LBP）和稀疏表示相结合的人脸表情识别方法。为了有效利用面部器官的局部纹理信息,采用改进的加权LBP算子提取人脸局部纹理特征,然后用获取的特征值组成训练样本,最后根据稀疏表示理论进行表情分类。在 JAFFE和CK人脸库上的实验结果表明,该方法对非特定人脸表情的识别效果有了明显提高。