基于特征块主成分分析的人脸表情识别

使用特征块主成分分析(FBPCA)对人脸表情进行特征提取,然后输入最近邻分类器得到分类结果.同时,讨论了特征脸个数在实验中的影响,总结出了识别率与特征脸数量的关系.分别在JAFFE表情库上做了训练数据包含测试数据和训练数据不包含测试数据等情况的表情识别.     

Facial expression recognition based on shape and texture

In this paper, an efficient method for human facial expression recognition is presented. We first propose a representation model for facial expressions, namely the spatially maximum occurrence model (SMOM), which is based on the statistical characteristics of training facial images and has a powerful representation capability. Then the elastic shape-texture matching (ESTM) algorithm is used to measure the similarity between images based on the shape and texture information. By combining SMOM and ESTM, the algorithm, namely SMOM-ESTM, can achieve a higher recognition performance level. The recognition rates of the SMOM-ESTM algorithm based on the AR database and the Yale database are 94.5% and 94.7%, respectively.     

关键点深度特征驱动人脸表情识别

目的 人脸关键点检测和人脸表情识别两个任务紧密相关。已有对两者结合的工作均是两个任务的直接耦合,忽略了其内在联系。针对这一问题,提出了一个多任务的深度框架,借助关键点特征识别人脸表情。方法 参考inception结构设计了一个深度网络,同时检测关键点并且识别人脸表情,网络在两个任务的监督下,更加关注关键点附近的信息,使得五官周围的特征获得较大响应值。为进一步减小人脸其他区域的噪声对表情识别的影响,利用检测到的关键点生成一张位置注意图,进一步增加五官周围特征的权重,减小人脸边缘区域的特征响应值。复杂表情引起人脸部分区域的形变,增加了关键点检测的难度,为缓解这一问题,引入了中间监督层,在第1级检测关键点的网络中增加较小权重的表情识别任务,一方面,提高复杂表情样本的关键点检测结果,另一方面,使得网络提取更多表情相关的特征。结果 在3个公开数据集：CK+（Cohn-Kanade dataset）,Oulu（Oulu-CASIA NIR&VIS facial expression database）和MMI（MMI facial expression database）上与经典方法进行比较,本文方法在CK+数据集上的识别准确率取得了最高值,在Oulu和MMI数据集上的识别准确率比目前识别率最高的方法分别提升了0.14%和0.54%。结论 实验结果表明了引入关键点信息的有效性：多任务的卷积神经网络表情识别准确率高于单任务的传统卷积神经网络。同时,引入注意力模型也提升了多任务网络中表情的识别率。     

基于主动形状模型差分纹理和局部方向模式特征融合的人脸表情识别

针对人脸表情识别背景复杂性以及表情识别的鲁棒性问题,基于Dempster-Shafer(DS)证据理论,提出了一种融合主动形状模型(ASM)差分纹理特征和局部方向模式(LDP)特征的人脸表情识别方法。ASM差分纹理既能有效地屏蔽个体人脸之间的差异,又能保留人脸表情信息。LDP特征通过计算8个方向的边缘响应来对图像进行编码,因此具有很强的抗噪能力,能够捕捉人脸因表情而产生的细微变化。在DS证据理论融合时,针对不同的特征对表情的识别率,分别用不同的权重系数来计算概率分配值。通过对JAFFE和Cohn-Kanade混合数据库进行实验,表情识别的平均识别率为97.08%,比单特征LDP高出一个百分点,有效地提高了表情识别率和鲁棒性。     

基于矩阵模式的人脸表情识别

提出了一种基于矩阵模式的人脸表情识别方法。该算法直接将人脸表情图像矩阵作为矩阵模式,并结合传统PCA和FLDA进行表情特征提取,称之为MatPCA和MatFLDA。与2DPCA等不同,该算法既利用图像矩阵中的行向量间的信息,也充分利用列向量间的信息,尽可能地保留了原始的表情信息。基于JAFFE和CED-WYU（1.0）两个表情数据库的识别结果表明,基于矩阵模式的特征提取方法能有效地提高识别率并节省计算时间。     

基于动态序列特征的人脸表情识别方法

基于静态灰度图特征识别表情的方法简单、快捷,在进行特定人表情识别时可以取得很好的识别结果,但在进行非特定人表情识别时却容易受到肤色、光照等因素的影响,识别效果较差。通过动态序列提取的运动特征能有效地反映表情运动的形变过程,用于非特定人表情识别时可以取得较好的识别结果。研究了通过光流和帧间灰度差两类方法提取表情序列动态特征,再与支持向量机（SVM）和隐马尔柯夫模型（HMM）两种分类器组合,进行非特定人表情识别,并分析比较了两类方法的特点与优劣,说明了利用运动特征识别人脸表情的有效性。     

基于Curvelet的边缘纹理特征提取及表情识别

针对小波变换在提取图像边缘特征上的局限性,提出一种使用Curvelet变换进行边缘纹理特征提取的表情识别方法。Curvelet变换在表达图像的边缘曲线上的奇异性时比小波变换更能得到稀疏的图像表示。在表情识别中,对表情图像使用Curvelet变换得到Curvelet系数作为边缘纹理特征能更好地反映表情的变化,使用K最邻近结点算法进行了识别。结果表明在表情识别中该方法比小波变换更有效。     

基于多尺度核特征卷积神经网络的实时人脸表情识别

针对人脸表情识别的泛化能力不足、稳定性差以及速度慢难以满足实时性要求的问题,提出了一种基于多尺度核特征卷积神经网络的实时人脸表情识别方法。首先,提出改进的MobileNet结合单发多盒检测器（MSSD）轻量化人脸检测网络,并利用核相关滤波（KCF）模型对检测到的人脸坐标信息进行跟踪来提高检测速度和稳定性;然后,使用三种不同尺度卷积核的线性瓶颈层构成三条支路,用通道合并的特征融合方式形成多尺度核卷积单元,利用其多样性特征来提高表情识别的精度;最后,为了提升模型泛化能力和防止过拟合,采用不同的线性变换方式进行数据增强来扩充数据集,并将FER-2013人脸表情数据集上训练得到的模型迁移到小样本CK+数据集上进行再训练。实验结果表明,所提方法在FER-2013数据集上的识别率达到73.0%,较Kaggle表情识别挑战赛冠军提高了1.8%,在CK+数据集上的识别率高达99.5%。对于640×480的视频,人脸检测速度达到每秒158帧,是主流人脸检测网络多任务级联卷积神经网络（MTCNN）的6.3倍,同时人脸检测和表情识别整体速度达到每秒78帧。因此所提方法能够实现快速精确的人脸表情识别。     

Facial expression recognition based on two-dimensional discriminant locality preserving projections

In this paper, a novel method called two-dimensional discriminant locality preserving projections (2D-DLPP) is proposed. By introducing between-class scatter constraint and label information into two-dimensional locality preserving projections (2D-LPP) algorithm, 2D-DLPP successfully finds the subspace which can best discriminate different pattern classes. So the subspace obtained by 2D-DLPP has more discriminant power than 2D-LPP, and is more suitable for recognition tasks. The proposed method was applied to facial expression recognition tasks on JAFFE and Cohn-Kanade database and compared with other three widely used two-dimensional methods: 2D-PCA, 2D-LDA and 2D-LPP. The high recognition rates show the effectiveness of the proposed algorithm.     

基于图像优化局部保留投影的人脸表情识别

提出了一种基于图像优化局部保留投影的人脸表情识别方法。该算法在降维过程中将图像结构信息融入到LPP目标函数中,称之为GOLPP。与LPP不同,GOLPP通过降维处理,获得图像结构信息的同时将投影最优化,这样可从原始表情数据中提取更具判决性的表情信息。基于JAFFE和CED-WYU（1.0）两个表情数据库的识别结果表明,基于GOLPP的特征提取方法能有效地提高识别率。     

基于火焰彩色纹理复杂度特征的转炉炼钢吹炼状态识别

在基于火焰图像识别的转炉吹炼状态识别过程中,针对已有方法存在火焰彩色纹理信息利用不充分和状态识别率仍需提高的问题,提出一种基于火焰彩色纹理复杂度特征的转炉吹炼状态识别方法.首先,将火焰图像转化到HSI颜色空间下并作非均匀量化;然后,计算H分量和S分量的共生矩阵从而融入火焰图像的颜色信息;其次,利用得到的颜色共生矩阵计算火焰纹理复杂度的特征描述子;最后,应用Canberra距离作为相似度度量准则对吹炼状态进行分类和识别.实验结果表明,与已有的转炉火焰灰度共生矩阵和灰度差分统计方法相比,在满足吹炼识别实时性要求的前提下,所提方法的识别率分别提高了28.33%和3.33%.     

基于细菌觅食算法和支持向量机的表情识别

为正确选择应用于人脸表情识别的支持向量机相关参数,提高表情识别准确率,提出一种应用于表情识别的基于细菌觅食算法的支持向量机参数选择方法。利用细菌觅食算法,通过模拟细菌觅食行为的趋向性操作、复制操作和迁移操作对应用于表情识别的支持向量机的参数进行寻优,避免寻优陷入局部最优,实现参数优化。实验结果表明,采用该方法能够使人脸表情识别分类结果具有更高的准确率。     

基于多级纹理频谱特征与PCA的人脸识别算法

针对主成分分析(PCA)算法在人脸识别中识别率低的问题,提出一种图像纹理频谱特征与PCA相结合的人脸识别算法。该算法利用纹理单元算子提取人脸图像纹理频谱特征,然后用PCA对所提取的特征降维,最后利用最近邻(KNN)分类器进行人脸识别。在ORL人脸库和Yale人脸库上对所提出的算法进行了测试,识别率均高于PCA、模块化二维PCA(M2DPCA)等方法,分别为96.5%和95%。实验结果表明了该算法的有效性和准确性。     

融合时空域特征的人脸表情识别

目的 人脸表情识别是计算机视觉的核心问题之一。一方面,表情的产生对应着面部肌肉的一个连续动态变化过程,另一方面,该运动过程中的表情峰值帧通常包含了能够识别该表情的完整信息。大部分已有的人脸表情识别算法要么基于表情视频序列,要么基于单幅表情峰值图像。为此,提出了一种融合时域和空域特征的深度神经网络来分析和理解视频序列中的表情信息,以提升表情识别的性能。方法 该网络包含两个特征提取模块,分别用于学习单幅表情峰值图像中的表情静态“空域特征”和视频序列中的表情动态“时域特征”。首先,提出了一种基于三元组的深度度量融合技术,通过在三元组损失函数中采用不同的阈值,从单幅表情峰值图像中学习得到多个不同的表情特征表示,并将它们组合在一起形成一个鲁棒的且更具辩识能力的表情“空域特征”;其次,为了有效利用人脸关键组件的先验知识,准确提取人脸表情在时域上的运动特征,提出了基于人脸关键点轨迹的卷积神经网络,通过分析视频序列中的面部关键点轨迹,学习得到表情的动态“时域特征”;最后,提出了一种微调融合策略,取得了最优的时域特征和空域特征融合效果。结果 该方法在3个基于视频序列的常用人脸表情数据集CK+(the e...     

结合像素模式和特征点模式的实时表情识别

目的 目前2D表情识别方法对于一些混淆性较高的表情识别率不高并且容易受到人脸姿态、光照变化的影响,利用RGBD摄像头Kinect获取人脸3D特征点数据,提出了一种结合像素2D特征和特征点3D特征的实时表情识别方法。方法 首先,利用3种经典的LBP（局部二值模式）、Gabor滤波器、HOG（方向梯度直方图）提取了人脸表情2D像素特征,由于2D像素特征对于人脸表情描述能力的局限性,进一步提取了人脸特征点之间的角度、距离、法向量3种3D表情特征,以对不同表情的变化情况进行更加细致地描述。为了提高算法对混淆性高的表情识别能力并增加鲁棒性,将2D像素特征和3D特征点特征分别训练了3组随机森林模型,通过对6组随机森林分类器的分类结果加权组合,得到最终的表情类别。结果 在3D表情数据集Face3D上验证算法对9种不同表情的识别效果,结果表明结合2D像素特征和3D特征点特征的方法有利于表情的识别,平均识别率达到了84.7%,高出近几年提出的最优方法4.5%,而且相比单独地2D、3D融合特征,平均识别率分别提高了3.0%和5.8%,同时对于混淆性较强的愤怒、悲伤、害怕等表情识别率均高于80%,实时性也达到了10~15帧/s。结论 该方法结合表情图像的2D像素特征和3D特征点特征,提高了算法对于人脸表情变化的描述能力,而且针对混淆性较强的表情分类,对多组随机森林分类器的分类结果加权平均,有效地降低了混淆性表情之间的干扰,提高了算法的鲁棒性。实验结果表明了该方法相比普通的2D特征、3D特征等对于表情的识别不仅具有一定的优越性,同时还能保证算法的实时性。     

基于改进特征袋模型的奶牛识别算法

针对特征袋（BOF）模型中存在特征计算耗时、识别精度低的不足,提出一种新的改进BOF模型以提高其目标识别的精度和效率,并将其应用于奶牛个体识别。该算法首先引入优化方向梯度直方图（HOG）特征对图像进行特征提取和描述,然后利用空间金字塔匹配原理（SPM）生成图像基于视觉词典的直方图表示,最后自定义直方图交叉核作为分类器核函数。该算法在项目组自行拍摄的数据集（包含15类奶牛、共7500张奶牛头部图像）上的实验结果表明,使用基于SPM的BOF模型将算法的识别率平均提高2个百分点;使用直方图交叉核相比使用高斯核将算法的识别率平均提高2.5个百分点;使用优化HOG特征,相比使用传统HOG特征将算法识别率平均提高21.3个百分点,运算效率为其1.68倍;相比使用尺度不变特征变换（SIFT）特征,在保证平均识别精度达95.3%的基础上,运算效率为其7.10倍。分析结果可知,该算法在奶牛个体识别领域具有较好的鲁棒性和实用性。     

基于典型相关分析特征融合的人脸表情识别方法

针对目前大部分人脸表情识别算法中仅提取图像的某一类特征,导致特征参数不能全面反映脸部情感信息的问题,提出了一种基于特征融合和离散隐马尔可夫模型（HMM）识别的人脸表情识别方法。对同一个图像序列分别使用离散小波变换(DWT)和标准正交非负矩阵分解(ONMF)提取纹理信息,使用改进的主动表观模型(AAM)提取几何形变信息,再使用高维小样本下典型相关分析(CCA)对提取的两种特征进行特征融合,最后使用离散HMM来进行表情分类识别。实验结果表明,经过特征融合后,在较少特征向量维数下该方法能够达到较高的识别率和较快的识别速度。     

基于纹理基元空间分布特征的图像检索算法*

针对纹理统计法和结构法各自存在的问题,提出了一种基于纹理基元空间分布特征的图像检索算法。首先借鉴方块编码的思想来定义图像的纹理基元,然后在对纹理基元的统计分布研究的基础上,针对每一种纹理基元构造纹理基元空间分布图,提出采用纹理基元空间分布特征矢量对图像内容进行描述。实验结果表明,该算法既有效利用了图像的纹理信息,又考虑了纹理的空间分布信息,具有较好的检索效果。     

基于协作低秩分层稀疏和LC-KSVD的人脸表情识别

为了降低人脸表情识别对待识别个体的依赖程度,控制识别字典规模,增加识别准确度,提出了一种基于协作低秩和分层稀疏的表情识别字典构建方法.通过协作低秩和分层稀疏表示(C-HiSLR)有效分离与待识别个体相关部分,保留表情变化部分,并结合标签一致区分字典学习(LC-KSVD)算法,进行相应待训练表情序列的重构识别和对应类别字典的区分程度的优化学习.该方法在CK+数据集上进行验证,识别效果较一般基于稀疏表示模型算法有明显的提升.     

基于小波分解和优选的VLBP特征的表情识别方法*

提出一种基于小波分解和优选的VLBP特征的表情识别方法。该方法首先通过小波分解将原始图像分为几个不同频率的子图像来增强图像信息,然后用VLBP算子对不同频率的子图像运用不同的分块大小提取特征,采用神经网络贡献分析对特征进行选择,最后用SVM分类器进行识别。实验表明,该方法比单纯从原图像中提取VLBP特征更加有效,识别率更高,并且VLBP特征的提取速度快,可用于实时的人脸表情识别。