判别性完全局部二值模式人脸表情识别

针对完全局部二值模式（CLBP）存在直方图维数过高和特征冗余,会导致识别速度降低和识别率低的问题,提出基于有判别力的完全局部二值模式（Discriminative completed LBP,disCLBP）的人脸表情识别算法。首先,对人脸表情图像进行预处理获得表情子区域;然后提取表情子区域和整幅图像的disCLBP特征,针对不同的表情筛选出不同的表情特征,再将筛选出的表情子区域特征直方图融合;最后用最近邻分类器进行分类识别。该算法在CK人脸表情库上进行实验的平均识别率为97.3%。     

结合LBP特征和深度学习的人脸表情识别

对于人脸表情识别,传统方法是先提取图像特征,再使用机器学习方法进行识别,这种方法不但特征提取过程复杂且泛化能力也差。为了达到更好的人脸表情识别效果,文中提出一种结合特征提取和卷积神经网络的人脸表情识别方法。首先使用基于Haar-like特征的AdaBoost算法对于数据库原始图片进行人脸区域检测,然后提取人脸区域局部二值模式（Local Binary Patterns,LBP）特征图,将其尺寸归一化后输入到改进的LeNet-5神经网络模型中进行识别。在CK+和JAFFE数据集上采用10折交叉验证方法进行实验,分别为98.19%和96.35%的准确率。实验结果表明该方法与其他主流方法相比在人脸表情识别上有一定的先进性和有效性。     

基于Faster R-CNN的人脸面部情感识别方法

常规人脸面部情感识别方法不准确,存在识别后的情感反馈误差大的问题,为此提出基于更快的区域卷积神经网络（Faster Region-Convolutional Neural Network,Faster R-CNN）的人脸面部情感识别方法。首先,采集人脸图像数据,通过面部检测、面部对齐、面部数据增强、面部归一化4个步骤预处理面部图像;其次,基于多尺度特征融合算法提取表情特征,生成情感识别数据标签;最后,利用FasterR-CNN构建人脸面部情感识别模型,并识别人脸面部情感。实验结果表明,基于FasterR-CNN的人脸面部情感识别方法在6种基本表情中均具有90%以上的识别准确率。     

自适应加权完全局部二值模式的表情识别

为了有效地提取局部特征和全局特征以提高表情识别的性能,提出自适应加权的完全局部二值模式（Adaptively Weighted Compound Local Binary Pattern,AWCLBP）的人脸表情识别算法。首先对人脸表情图像进行预处理分离出表情子区域,与此同时生成表情子区域的贡献度图谱（Contribution Map,CM）;然后对表情子区域和整幅表情图像做完全局部二值模式变换提取三种特征（差值符号特征CLBP_S、差值幅值特征CLBP_M、中心像素特征CLBP_C）并连接三种特征生成级联直方图,并根据CM对表情子区域的级联直方图进行加权和整张图像的直方图进行融合;最后用卡方距离和最近邻方法进行分类识别。本算法在JAFFE库上做了实验并和LBP、Gabor小波、活动外观模型进行了比较,验证了本算法的有效性。     

融合LBP和BP神经网络的人脸表情识别

提出了一种融合局部二值模式(Local Binary Pattern,LBP)和BP神经网络的人脸表情识别方法。通过把人脸表情图像划分成若干区域,分别提取人脸子区域的LBP特征,然后把各个区域的LBP特征串联成一个完整的特征向量,该特征向量就可以表征该表情图像。构造BP神经网络人脸表情识别模型,通过在Cohn-Kanade人脸表情库的实验,验证了该方法的鲁棒性性和可行性。     

非对称方向性局部二值模式人脸表情识别

针对方向性局部二值模式（DLBP）在单尺度下获取图像纹理特征的不足,提出一种非对称方向性局部二值模式（AR-DLBP）多尺度多方向融合的表情识别算法。首先对人脸表情图像进行光照补偿预处理,消除光照、噪声的影响,分割出人脸及眉、眼、嘴局部表情关键区域,并计算出关键区域的贡献度（CM）;然后提取人脸及关键区域的异或-非对称方向性局部二值模式（XOR-AR-DLBP）直方图特征信息,并根据CM对关键区域直方图信息进行加权级联再与整幅人脸图像的特征信息进行融合;最后用SVM分类器进行表情分类识别。该算法在JAFFE库、CK库上仿真实验,分别取得95.71%、97.99%的平均识别率及112?ms、135?ms的平均识别时间,实验结果表明,该算法可以有效精确地完成人脸表情的分类识别。通过对表情图像光照补偿预处理及分割出表情的关键区域,并加权融合局部与整体特征,大大提高了特征的鉴别能力,与传统算法的对比实验,也表明该算法无论是在识别率还是在识别时间上,所得效果都是最好的。     

融合全局和局部特征并基于神经网络的表情识别

在表情中含有最多特征信息的是面部眉毛、眼睛和嘴巴这三个区域,为充分利用这些特征,减少图像中无用信息在识别过程中对计算机内存的占用,提高人脸表情识别系统的准确率和速度,首先采用haar 和 adaboost人脸检测算法,对图像中的人脸进行识别,获得人脸图像并提取眉毛、眼睛和嘴巴,生成局部(眉毛、眼睛、嘴巴)二值化图,利用PCA方法对人脸图像降维,降维后的全局和局部灰度特征值组成一个列向量。样本由表情数据库产生,经过神经网络样本训练后,进行表情识别。结果表明,该系统对人脸表情识别速度明显快于Gabor 小波算法;识别的准确率高于单独使用PCA算法和神经网络算法;消耗内存比用Gabor 小波算法少,运行较流畅。得出结论：因为提取出包含表情特征信息集中区的眉毛、眼睛和嘴巴,尽可能地多保留了这些局部特征信息,因而提高了表情识别准确率,同时,采用PCA方法对原始图像进行降维处理,有效的减少了信息冗余。     

基于混合注意力机制的动态人脸表情识别

针对自然环境中存在人脸遮挡、姿势变化等复杂因素,以及卷积神经网络（CNN）中的卷积滤波器由于空间局部性无法学习大多数神经层中不同面部区域之间的长程归纳偏差的问题,提出一种用于动态人脸表情识别（DFER）的混合注意力机制模型（HA-Model）,以提升DFER的鲁棒性和准确性。HA-Model由空间特征提取和时序特征处理两部分组成：空间特征提取部分通过两种注意力机制——Transformer和包含卷积块注意力模块（CBAM）的网格注意力模块,引导网络从空间角度学习含有遮挡、姿势变化的鲁棒面部特征并关注人脸局部显著特征;时序特征处理部分通过Transformer引导网络学习高层语义特征的时序联系,用于学习人脸表情特征的全局表示。实验结果表明,HA-Model在DFEW和AFEW基准上的准确率分别达到了67.27%和50.41%,验证了HA-Model可以有效提取人脸特征并提升动态人脸表情识别的精度。     

融合关键点属性与注意力表征的人脸表情识别

人脸的表情变化非常细微,通常表现在图像中某些局部点区域的改变,现有的人脸表情识别方法难以捕捉到表情的细微变化,对非表情区域干扰不具有鲁棒性。为了获得描述人脸表情变化的高效特征表示,提出了一种融合关键点属性与注意力表征的人脸表情识别方法。通过添加通道注意力和空间注意力的神经网络提取人脸图像中的关键点信息,实现不同维度和位置的权重分配,有效避免非表情区域的干扰,捕获图像中局部关键点的特征表征。引入Transformer模块学习不同关键点之间的相关联系,引导网络构建对表情类型更具分辨力的特征表示,从而实现精准识别。通过在CK+、JAFFE、FER2013三种公开数据集上进行实验的结果表明：提出算法的识别准确率分别达到了99.22%、96.57%、73.37%。     

基于分块CBP特征和稀疏表示的三维人脸表情识别

在三维人脸表情识别中,基于局部二值模式（LBP）算子算法与传统的特征提取算法相比具有特征提取准确、精细、光照不变性等优点,但也有直方图维数高、判别能力差、冗余信息大的缺点.本文提出一种通过对整幅图像进行多尺度分块提取CBP特征的CBP算法,能够更有效的提取分类特征.再结合使用稀疏表达分类器实现对特征进行分类和识别.经实验结果表明,与传统LBP算法和SVM分类识别算法对比,文中算法用于人脸表情的识别的识别率得到大幅度提高.