局部梯度DT-CWT主方向模式的表情识别

提出一种采用局部梯度双树复小波变换(dual-tree complex wavelet transform,DT-CWT)主方向模式(dominant direction pattern,DDP)的人脸表情识别方法。首先,对归一化后的表情图像进行4层DT-CWT,每一层得到8个方向的DT-CWT特征图像,其中包括6个高频方向和2个低频方向,构建一种新的主方向模式(IDDP)对每个DT-CWT特征图像进行编码;然后按照基于梯度方向的融合规则将每一层上IDDP编码特征图融合到一起,将融合图进一步划分为若干个不重叠且大小相等的子块,分别计算每个子块区域的直方图分布,将其联合起来得到人脸表情图像的特征;最后,采用基于Fisher加权的Chi平方概率统计最近邻方法进行分类识别。大量实验表明,算法在识别率和识别时间上都体现出了一定的优势。     

复合时空特征的双模态情感识别

目的 针对体积局部二值模式应用到视频帧特征提取上,特征维数大,对光照及噪声鲁棒性差等问题,提出一种新的特征描述算法—时空局部三值模式矩（TSLTPM）。考虑到TSLTPM描述的仅是纹理特征,本文进一步融合3维梯度方向直方图（3DHOG）特征来增强对情感视频的描述。方法 首先对情感视频进行预处理获得表情和姿态序列;然后对表情和姿态序列分别提取TSLTPM和3DHOG特征,计算测试序列与已标记的情感训练集特征间的最小欧氏距离,并将其作为独立证据来构造基本概率分配;最后使用D-S证据联合规则得到情感识别结果。结果 在FABO数据库上进行实验,表情和姿态单模态分别取得83.06%和94.78%的平均识别率,在表情上分别比VLBP（体积局部二值模式）、LBP-TOP（三正交平面局部二值模式）、TSLTPM、3DHOG高9.27%、12.89%、1.87%、1.13%;在姿态上分别比VLBP、LBP-TOP、TSLTPM、3DHOG高24.61%、27.55%、1.18%、0.98%。将两种模态进行融合以后平均识别率达到96.86%,说明了融合表情和姿态进行情感识别的有效性。结论 本文提出的TSLTPM特征将VLBP扩展成时空三值模式,能够有效降低维数,减少光照和噪声对识别的影响,与3DHOG特征形成复合时空特征有效增强了情感视频的分类性能,与典型特征提取算法的对比实验也表明了本文算法的有效性。另外,与其他方法的对比实验也验证了本文融合方法的优越性。