特征点LBP信息在表情识别中的应用

提出一种基于特征点LBP信息的表情识别方法。在分析了表情识别中的LBP特征之后,选择含有丰富表情信息的上半脸眼部周围和下半脸嘴部周围的特征点,计算每个特征点邻域的LBP信息作为表情特征进行表情识别。实验表明,基于特征点LBP信息的方法不需要对人脸进行预配准,较传统的LBP特征更有利于表情识别的实现。     

融合LBP和局部稀疏表示的人脸表情识别

为更好获取人脸局部表情特征,提出了一种融合局部二值模式（Local Binary Pattern,LBP）和局部稀疏表示的人脸表情特征与识别方法。为深入分析表情对人脸子区域的影响,根据五官特征对人脸进行非均匀分区,并提取局部LBP特征;为精细刻画人脸局部纹理,整合人脸局部特征,设计了人脸局部稀疏重构表示方法,并根据表情对各局部子区域的影响因子,加权融合局部重构残差进行人脸表情识别。在JAFFE2表情人脸库上的对比实验,验证了该方法的可行性和鲁棒性。     

融合DCT和LBP特征的表情识别

为了获得更好的面部表情特征,提出了一种融合离散余弦变换（Discrete Cosine Transform,DCT）特征和局部二值模式（Local Binary Pattern,LBP）特征的表情特征提取方法。该方法将人脸图像经过DCT后所获得的低频系数作为表情的整体特征;通过对人脸图像进行分块,计算每个子块的LBP直方图,将这些LBP直方图连接起来形成LBP特征,对该LBP特征使用拉普拉斯特征映射（Laplacian Eigenmaps,LE）降维后得到表情的局部特征。将得到的整体特征和局部特征进行加权融合,使用最近邻分类器进行分类。在JAFFE和Cohn-Kanade表情库上的实验结果表明,该方法比单独使用LBP或者DCT特征,具有更好的效果。     

面向表情识别的AVR和增强LBP特征选择方法

由于对局部纹理特征具有很强的描述能力,LBP（Local Binary Patterns）已经被广泛应用于模式识别、计算机视觉等相关领域,但传统的LBP在表情识别中的正确率并不高,提出了一种结合小波分解的改进LBP特征提取方法,首先使用Adaboost人脸检测算法和2D模型提取人脸图像并归一化,并使用小波分解的方法增强LBP特征,然后通过AVR（Augmented Variance Ratio）特征选取方法降维,最后使用SVM进行分类。JAFFE库上的实验证明了该方法的有效性。     

人脸表情的LBP特征分析

为了有效提取面部表情特征,提出了一种新的基于LBP（局部二值模式）特征的人脸表情识别特征提取方法。首先用均值方差法对表情图像进行灰度规一化,通过对图像进行积分投影,定位出眉毛、眼睛、鼻和嘴巴这些关键特征点,进而划分出各特征部件所在子区域,然后对子区域进行分块,提取各个子区域的分块LBP直方图特征。为了验证所提出的方法的合理性,最后在JAFFE表情库上进行了实验,结果表明提出的方法能够有效地描述表情的特征。     

结合改进的LBP和LDP的人脸表情识别

提出了一种结合改进的LBP（局部二值模式）和LDP（局部定向模式）的人脸表情特征提取方法。改进的LBP维数明显降低,更多地考虑了空间结构信息且计算速度得到了提高。LDP方法具有很强的抗噪能力,更好地提取边缘信息。基于两种方法可以优势互补,先对图像分块子区域用改进的LBP进行特征提取,再用LDP对脸部子区域进行特征提取,最后把改进的LBP提取的特征和LDP提取的特征按顺序串接起来作为总特征,用最近邻进行分类。在JAFFE表情库进行了实验,证明提出的方法能够有效地提高人脸表情的识别率。     

基于局部SVM分类器的表情识别方法

提出了一种新的视频人脸表情识别方法. 该方法将识别过程分成人脸表情特征提取和分类2个部分,首先采用基于点跟踪的活动形状模型(ASM)从视频人脸中提取人脸表情几何特征;然后,采用一种新的局部支撑向量机分类器对表情进行分类. 在Cohn2Kanade数据库上对KNN、SVM、KNN2SVM和LSVM 4种分类器的比较实验结果验证了所提出方法的有效性.     

基于四元数局部编码和卷积网络的表情识别

为充分利用彩色图像的颜色信息和通道之间的关联性,提出一种联合四元数矩阵相位信息和幅值信息的特征提取方法,结合卷积神经网络(CNN)进行表情识别。将彩色表情图像表示为纯四元数矩阵并进行Clifford平移,对相位和幅值分别进行局部二值模式(LBP)编码,提取多尺度融合的图像特征,将特征输入CNN进行训练并分类。实验结果表明,该算法在RafD和MMI表情库上的识别率分别为79.42%和93.28%,相比其它表情识别算法,识别率更高且识别效果稳定。     

融合时空域特征的人脸表情识别

目的 人脸表情识别是计算机视觉的核心问题之一。一方面,表情的产生对应着面部肌肉的一个连续动态变化过程,另一方面,该运动过程中的表情峰值帧通常包含了能够识别该表情的完整信息。大部分已有的人脸表情识别算法要么基于表情视频序列,要么基于单幅表情峰值图像。为此,提出了一种融合时域和空域特征的深度神经网络来分析和理解视频序列中的表情信息,以提升表情识别的性能。方法 该网络包含两个特征提取模块,分别用于学习单幅表情峰值图像中的表情静态“空域特征”和视频序列中的表情动态“时域特征”。首先,提出了一种基于三元组的深度度量融合技术,通过在三元组损失函数中采用不同的阈值,从单幅表情峰值图像中学习得到多个不同的表情特征表示,并将它们组合在一起形成一个鲁棒的且更具辩识能力的表情“空域特征”;其次,为了有效利用人脸关键组件的先验知识,准确提取人脸表情在时域上的运动特征,提出了基于人脸关键点轨迹的卷积神经网络,通过分析视频序列中的面部关键点轨迹,学习得到表情的动态“时域特征”;最后,提出了一种微调融合策略,取得了最优的时域特征和空域特征融合效果。结果 该方法在3个基于视频序列的常用人脸表情数据集CK+(the e...     

人脸样貌独立判别的协作表情识别算法

为了降低样貌、姿态、眼镜以及表情定义不统一等因素对人脸表情识别的影响,提出一种人脸样貌独立判别的协作表情识别算法。首先,采用自动的人脸检测算法定位、对齐视频每帧的人脸区域,并从人脸视频序列中选择峰值表情的人脸;然后,采用峰值人脸与某个表情类内的所有人脸产生表情类内差异人脸信息,并通过计算峰值表情人脸与表情类内差异人脸的差异信息获得协作的表情表示;最终,采用基于稀疏的分类器与表情表示决定每个人脸表情的标签。采用欧美与亚洲人脸的数据库进行仿真实验,结果表明本算法获得了较好的表情识别准确率,对不同样貌、佩戴眼镜的人脸样本也具有较好的识别效果。     

ASM及其改进的人脸面部特征定位算法

为了提高主动形状模型(ASM)算法的性能,提出一种改进的ASM算法.首先,精确定位出瞳孔的位置用作平均形状模型的初始化;其次,采用全局形状模型、面部显著特征区域成分形状模型以及人脸面部的相似性构形相结合的办法来共同约束特征点的定位结果;最后,特征点周围采用Log-Gabor小波系数进行描述,并建立局部纹理模型,提高了算法对光照和噪声的鲁棒性.实验结果表明,与传统的ASM算法相比,该算法特征点定位精确度有显著的提高.     

基于图像的面部表情识别方法综述

近年来,面部表情识别在教育、医学、心理分析以及商业领域得到了广泛关注。针对目前表情识别方法不够系统、概念模糊的问题,对面部表情识别的步骤及其方法进行了综述探讨。首先,介绍了目前常用的人脸表情数据集,并回顾了面部表情识别的发展历程;然后,介绍了人脸表情识别的面部表情编码和面部表情识别过程这两个方面,归纳了人脸面部表情识别的四个过程,重点总结了特征提取和表情分类两个过程中的经典算法以及这些算法的基本原理和优劣比较;最后,指出了目前面部表情识别存在的问题和未来可能的发展趋势。     

LBP与鉴别模式结合的热红外人脸识别

为了提取具有鉴别能力的红外人脸图像局部结构特征,提出一种基于LBP(local binary pattern)鉴别模式的红外人脸识别方法。传统的LBP均匀模式,提取自然图像中占主导地位的信息用于识别,但占主导地位的信息不一定是最适合识别的。为了提取有效的鉴别模式特征,基于监督学习的思想,在LBP模式下引入可分性标准,对不同LBP模式进行有效的模式选择,从而抽取适合识别的鉴别模式。最后,为了利用人脸的空间位置信息,结合分块和直方图技术得到最后的识别特征。实验结果表明,本文鉴别模式可以提取更适合识别的特征,识别性能优于传统的基于均匀模式的LBP方法。     

基于改进主动形状模型的人脸表情识别

主动形状模型（ASM）是面部特征定位、人脸识别和表情识别等模式识别领域中常用的一种方法。但受到初始情况、光照等诸多因素的影响,其性能会有所下降。研究了一种改进的主动形状模型,改进主要体现在两个方面：第一,首先用点轮廓检测算法（PCDM）检测到双眼的位置,为ASM中的点分布模型粗略地定位好初始位置;第二,从ASM原始的思想出发,充分挖掘标定点之间的联系,提出一种构建局部纹理模型的新方法。在JAFFE人脸数据库中进行验证,结果表明,改进ASM方法提高了搜索速度与特征点定位的精度。最终构造神经网络分类器进行人脸表情识别实验,得到了较好的识别率。     

基于局部纹理ASM模型的人脸表情识别

针对主动形状模型(ASM)迭代过程容易陷入局部最优解的不足,提出了一种基于局部纹理模型的改进ASM算法,即EWASM.在局部纹理模型构建中,以每个特征点的中垂线方向搜索其邻域信息以确定最佳匹配位置,对衡量匹配程度的马氏距离加以推广,进而得到改进的扩展加权局部纹理模型,它由中心局部纹理模型、前局部纹理模型和后局部纹理模型共3个子模型加权组成,并对加权参数进行实验优化,使各个特征点之间的联系更加紧密,模型的鲁棒性更好.通过表情识别实验对提出的EWASM算法和传统ASM算法进行对比,选用RBF神经网络分类器进行表情分类,实验结果表明EWASM算法收敛速度更快,识别率也得以提高,并解决了局部最小问题,能更有效地表征表情.     

关键点深度特征驱动人脸表情识别

目的 人脸关键点检测和人脸表情识别两个任务紧密相关。已有对两者结合的工作均是两个任务的直接耦合,忽略了其内在联系。针对这一问题,提出了一个多任务的深度框架,借助关键点特征识别人脸表情。方法 参考inception结构设计了一个深度网络,同时检测关键点并且识别人脸表情,网络在两个任务的监督下,更加关注关键点附近的信息,使得五官周围的特征获得较大响应值。为进一步减小人脸其他区域的噪声对表情识别的影响,利用检测到的关键点生成一张位置注意图,进一步增加五官周围特征的权重,减小人脸边缘区域的特征响应值。复杂表情引起人脸部分区域的形变,增加了关键点检测的难度,为缓解这一问题,引入了中间监督层,在第1级检测关键点的网络中增加较小权重的表情识别任务,一方面,提高复杂表情样本的关键点检测结果,另一方面,使得网络提取更多表情相关的特征。结果 在3个公开数据集：CK+（Cohn-Kanade dataset）,Oulu（Oulu-CASIA NIR&VIS facial expression database）和MMI（MMI facial expression database）上与经典方法进行比较,本文方法在CK+数据集上的识别准确率取得了最高值,在Oulu和MMI数据集上的识别准确率比目前识别率最高的方法分别提升了0.14%和0.54%。结论 实验结果表明了引入关键点信息的有效性：多任务的卷积神经网络表情识别准确率高于单任务的传统卷积神经网络。同时,引入注意力模型也提升了多任务网络中表情的识别率。     

基于局部二值模式和级联AdaBoost的多模态人脸识别

提出了一种基于局部二值模式(LBP)和 级联AdaBoost的多模态人脸识别方法。采用级联AdaBoost算法分别从人脸深度图像和灰度图像的大量区域LBP直方图(RLBPH)中选出最有利于分类的少量特征,并连接成一个直方图向量,再分别用线性判别分析构建相应的线性子空间,用余弦相似度作为投影向量的相似度量,用求和规则进行信息融合。在FRGC数据库上的实验结果表明,提出的方法采用少量的特征取得了很好的识别效果,等错误率仅为1.40%。     

融合局部特征的面部遮挡表情识别

目的 针对人脸表情识别中存在局部遮挡的问题,提出一种融合局部特征的面部遮挡表情识别方法。方法 首先,为了减少噪声的影响,利用高斯滤波对归一化后的图像进行去噪处理;然后根据人脸不同部位对表情识别的不同贡献度,将图像划分为两个重要的子区域,并分别对该子区域进行不重叠分块处理;采用改进的中心对称局部二值模式（差值中心对称局部二值模式DCS-LBP）和改进的差值局部方向模式（梯度中心对称局部方向模式GCS-LDP）对各个子块提取相应的特征,并采用级联的方式得到图像的特征直方图;最后结合最近邻分类器对表情图像进行分类识别：利用卡方距离求取测试集图像与训练集图像特征直方图之间的距离,同时考虑到遮挡的干扰以及每个子块包含信息量的不同,利用信息熵对子块得到的卡方距离进行自适应加权。结果 在日本女性人脸表情库（JAFFE）和Cohn-Kanade（CK）人脸表情库上进行了3次交叉实验。在JAFFE库中随机遮挡、嘴部遮挡和眼部遮挡分别可以取得92.86%、94.76%和86.19%以上的平均识别率;在CK库中随机遮挡、嘴部遮挡和眼部遮挡分别可以取得99%、98.67%和99%以上的平均识别率。结论 该特征提取方法通过融合梯度方向上灰度值的差异以及梯度方向之间边缘响应值的差异来描述图像的特征,更加完整地提取了图像的细节信息。针对遮挡情况,本文采用的图像分割和信息熵自适应加权方法,有效地降低了遮挡对表情识别的干扰。在相同的实验环境下,与经典的局部特征提取方法以及遮挡问题处理方法的对比表明了该方法的有效性和优越性。     

基于动态序列特征的人脸表情识别方法

基于静态灰度图特征识别表情的方法简单、快捷,在进行特定人表情识别时可以取得很好的识别结果,但在进行非特定人表情识别时却容易受到肤色、光照等因素的影响,识别效果较差。通过动态序列提取的运动特征能有效地反映表情运动的形变过程,用于非特定人表情识别时可以取得较好的识别结果。研究了通过光流和帧间灰度差两类方法提取表情序列动态特征,再与支持向量机（SVM）和隐马尔柯夫模型（HMM）两种分类器组合,进行非特定人表情识别,并分析比较了两类方法的特点与优劣,说明了利用运动特征识别人脸表情的有效性。     

基于生成对抗网络和网络集成的面部表情识别方法EE-GAN

由于现实生活场景差异大,人类在不同场景中表现的情感也不尽相同,导致获取到的情感数据集标签分布不均衡;同时传统方法多采用模型预训练和特征工程来增强与表情相关特征的表示能力,但没有考虑不同特征表达之间的互补性,限制了模型的泛化性和鲁棒性.针对上述问题,提出了一种包含网络集成模型Ens-Net的端到端深度学习框架EE-GAN...