多尺度局部二值模式傅里叶直方图特征的表情识别

针对表情识别的简便快捷问题,提出一种多尺度局部二值模式傅里叶直方图(LBP-HF)和主动形状模型(ASM)相结合的人脸表情识别方法。该方法首先利用ASM检测并分割人脸区域,减少不相关区域的影响; 然后提取多尺度LBP-HF特征形成识别向量; 最后采用最近邻分类方法进行表情识别。通过提取不同尺度的LBP-HF特征,研究各个尺度LBP-HF特征对表情识别的影响,最终结合多尺度LBP-HF特征实现表情识别,获得更有效的表情特征。通过与Gabor特征的实验结果进行对比,验证该方法的简便可行性,最高平均识别率达到93.5%。实验结果表明,该方法可以用于人机交互中。     

A novel approach for multimodal facial expression recognition using deep learning techniques

Multimedia Tools and Applications - Nowadays, digital protection has become greater prominence for daily digital activities. It’s far vital for people to keep new passwords in their minds and...     

基于局部二元模式的面部表情识别研究

提出了一种基于局部二元模式（Local Binary Pattern,LBP）与支持向量机（SVM）相结合的面部表情识别方法。使用LBP算子对图像进行处理,对图像的模式进行统计形成面部表情特征;使用线性判别分析对表情特征进行降维处理;采用支持向量机对面部表情进行分类。用Matlab实现了上述方法,并在日本女性人脸表情（JAFFE）数据库上测试,取得了70.95%的识别率。     

Reliable facial expression recognition for multi-scale images using weber local binary image based cosine transform features

Multimedia Tools and Applications - Accurate recognition of facial expression is a challenging problem especially from multi-scale and multi orientation face images. In this article, we propose a...     

非对称方向性局部二值模式人脸表情识别

针对方向性局部二值模式（DLBP）在单尺度下获取图像纹理特征的不足,提出一种非对称方向性局部二值模式（AR-DLBP）多尺度多方向融合的表情识别算法。首先对人脸表情图像进行光照补偿预处理,消除光照、噪声的影响,分割出人脸及眉、眼、嘴局部表情关键区域,并计算出关键区域的贡献度（CM）;然后提取人脸及关键区域的异或-非对称方向性局部二值模式（XOR-AR-DLBP）直方图特征信息,并根据CM对关键区域直方图信息进行加权级联再与整幅人脸图像的特征信息进行融合;最后用SVM分类器进行表情分类识别。该算法在JAFFE库、CK库上仿真实验,分别取得95.71%、97.99%的平均识别率及112?ms、135?ms的平均识别时间,实验结果表明,该算法可以有效精确地完成人脸表情的分类识别。通过对表情图像光照补偿预处理及分割出表情的关键区域,并加权融合局部与整体特征,大大提高了特征的鉴别能力,与传统算法的对比实验,也表明该算法无论是在识别率还是在识别时间上,所得效果都是最好的。     

Micro-expression recognition using local binary pattern from five intersecting planes

Multimedia Tools and Applications - Micro-expression recognition has important research value and huge research difficulties. Local Binary Pattern from Three Orthogonal Planes (LBP-TOP) is a common...     

非采样Contourlet变换与局部二值模式相结合的人脸识别

针对人脸识别中姿态、光照和表情变化带来的识别率有限的问题,提出了一种基于非采样Contourlet变换(NSCT)与局部二值模式（LBP）的人脸特征提取方法。首先对人脸图像进行非采样Contourlet变换,得到多尺度、多方向的子带系数矩阵,然后利用LBP算子从每个子带系数矩阵上抽取局部邻域关系,得到各子带的LBP特征图谱,最后将这些图谱分块统计并级联后作为人脸的识别特征。利用多通道最近邻分类器的分类结果表明,所提方法能有效提高识别率,所提取的特征对光照、表情和姿态等变化具有更好的鲁棒性。     

基于局部Gabor自适应三值模式的人脸识别

提出一种融合Gabor特征和局部三值模式（LTP）的人脸识别方法,并在算法中对局部三值模式（LTP）进行改进,提出能够自适应阈值的LATP算子。对归一化后的人脸图像进行多尺度、多方向的Gabor滤波提取其对应的幅值特征,在每个幅值图像上进行LATP运算,抽取局部邻域关系模式,这些模式的区域直方图再经过信息熵加权并串联得到最终的人脸描述,识别过程使用[χ2]距离对特征直方图进行相似度匹配。在ORL和Yale人脸数据库上实验,结果表明提出的算法对人脸表情和光照变化具有更好的适应性,对噪声干扰具有更强的鲁棒性。     

A novel technique for image classification using short-time Fourier transform and local binary pattern

Multimedia Tools and Applications - Machine Learning (ML) has been widely used for Image processing. The pertinent feature extraction and feature selection techniques can help us to accomplish many...     

A novel 2D and 3D multimodal approach for in-the-wild facial expression recognition

This study proposes a novel deep learning approach for the fusion of 2D and 3D modalities in in-the-wild facial expression recognition (FER). Different from other studies, we exploit the 3D facial information in in-the-wild FER. In particular, in-the-wild 3D FER dataset is not widely available; therefore, 3D facial data are constructed from available 2D datasets thanks to recent advances in 3D face reconstruction. The 3D facial geometry features are then extracted by deep learning technique to exploit the mid-level details, which provides meaningful expression for the recognition. In addition, to demonstrate the potential of 3D data on FER, the 2D projected images of 3D faces are taken as additional input to FER. These features are then jointly fused with 2D features obtained from the original input. The fused features are then classified by support vector machines (SVMs). The results show that the proposed approach achieves state-of-the-art recognition performances on Real-World Affective Faces (RAF) and Static Facial Expressions in the Wild (SFEW 2.0), and AffectNet dataset. This approach is also applied to a 3D FER dataset, i.e. BU-3DFE, to compare the effectiveness of reconstructed and available 3D face data for FER. This is the first time such a deep learning combination of 3D and 2D facial modalities is presented in the context of in-the-wild FER.     

A novel advanced local binary pattern for image-based coral reef classification

Multimedia Tools and Applications - High computational burden and low accuracy in non-uniform textures are the two main challenges of coral reef classification frameworks. To overcome these...     

精确局部特征描述的表情识别

目的 针对传统局部特征提取方法在表情识别上的局限性,提出一种精确局部特征描述的表情识别方法。方法 首先将人的眉毛、眼睛和嘴巴3个对表情识别起关键作用的器官分割出来,使得特征描述更具有针对性。然后,构造充分矢量三角形以统计图像的轮廓特征与细节特征。最后,对于不同的表情器官采用不同尺度的充分矢量三角形描述,对于同种表情器官采用多种尺度的充分矢量三角形联合描述,从而充分描述关键器官的图像信息。结果 该算法在日本女性表情人脸库(JAFFE)、cohn-kanade库(CK)以及Pain expressions库上进行实验,分别取得了95.67%、97.83%、84.0%的平均识别率以及11.70 ms、30.23 ms、11.73 ms的平均特征提取时间,实验结果表明,精确局部特征描述的表情识别方法可以较快、较准确的进行人脸表情识别。结论 精确局部特征描述的表情识别方法通过器官的分割以及充分矢量三角形模式的构造与灵活运用,良好地表达了图像的局部特征且具有较低的时间复杂度,本文算法与目前典型的表情识别算法的实验对比结果也表明了本文算法的有效性。     

基于LBP特征的人脸图像识别

提出了一种基于LBP算子和Isomap相结合的人脸图像识别算法。利用[ε]-LBP算子提取人脸图像纹理特征,然后用Isomap对高维的纹理特征进行数据降维,得到人脸数据的本质几何结构。最后将降维后的数据作为分类器的输入进行人脸分类识别。实验结果表明,该算法能够对人脸图像进行良好的分类识别,尤其是小样本的情况下。     

Improved color texture recognition using multi-channel orthogonal moments and local binary pattern

Multimedia Tools and Applications - The texture is an essential characteristic of the image. So, recognition of texture is increasingly becoming a major topic in many image processing applications...     

基于完整LBP特征的人脸识别*

提出一种基于完整局部二值模式(CLBP)进行人脸识别的方法,CLBP算子包括三个部分:中心像素的LBP(CLBP_C)、符号部分的LBP(CLBP_S)、数值部分的LBP(CLBP_M)。该方法首先采用CLBP算子提取人脸灰度图像的直方图;然后融合成CLBP直方图,进行直方图相似性比较;最后根据最近邻原则进行识别。在ORL和YALE标准人脸数据库上的实验表明,该方法得到的结果比LBP效果更好,鲁棒性更高。