复合时空特征的双模态情感识别

目的 针对体积局部二值模式应用到视频帧特征提取上，特征维数大，对光照及噪声鲁棒性差等问题，提出一种新的特征描述算法—时空局部三值模式矩（TSLTPM）。考虑到TSLTPM描述的仅是纹理特征，本文进一步融合3维梯度方向直方图（3DHOG）特征来增强对情感视频的描述。方法 首先对情感视频进行预处理获得表情和姿态序列；然后对表情和姿态序列分别提取TSLTPM和3DHOG特征，计算测试序列与已标记的情感训练集特征间的最小欧氏距离，并将其作为独立证据来构造基本概率分配；最后使用D-S证据联合规则得到情感识别结果。结果 在FABO数据库上进行实验，表情和姿态单模态分别取得83.06%和94.78%的平均识别率，在表情上分别比VLBP（体积局部二值模式）、LBP-TOP（三正交平面局部二值模式）、TSLTPM、3DHOG高9.27%、12.89%、1.87%、1.13%；在姿态上分别比VLBP、LBP-TOP、TSLTPM、3DHOG高24.61%、27.55%、1.18%、0.98%。将两种模态进行融合以后平均识别率达到96.86%，说明了融合表情和姿态进行情感识别的有效性。结论 本文提出的TSLTPM特征将VLBP扩展成时空三值模式，能够有效降低维数，减少光照和噪声对识别的影响，与3DHOG特征形成复合时空特征有效增强了情感视频的分类性能，与典型特征提取算法的对比实验也表明了本文算法的有效性。另外，与其他方法的对比实验也验证了本文融合方法的优越性。

Dual-modality emotion recognition based on composite spatio-temporal features