复合层次融合的多模态情感分析

针对传统情感分析方法无法解决短视频情感表达问题以及现有多模态情感分析方法准确率不高、不同模态信息之间交互性差等问题，通过对多模态情感分析方法进行研究，结合时域卷积网络（TCN）和软注意力机制建立了复合层次融合的多模态情感分析模型。该模型首先将视频中提取到的文本特征、视频面部特征和音频特征进行维度均衡，然后将得到的不同模态的信息特征进行复合式融合，即先将单模态信息进行融合得到双模态特征信息，再将得到的三个双模态信息进行融合，得到最终的三模态信息，最后将得到的三模态信息和每个单模态信息进行融合得到最终的多模态情感特征信息。每次融合的特征信息都经过TCN网络层进行序列特征的提取，将最终得到的多模态特征信息通过注意力机制进行筛选过滤后用于情感分类，从而得到预测结果。在数据集CMU-MOSI和CMU-MOSEI上的实验表明，该模型能够充分利用不同模态间的交互信息，有效提升多模态情感分析的准确率。