基于多任务学习与注意力机制的多层次音频特征情感识别研究

传统音频分类任务仅仅是从单层次音频提取特征向量进行分类，即便使用过大的模型，其过多的参数也会造成特征之间的耦合，不符合特征提取“高聚类，低耦合”的原则。由于注意到一些与情绪相关的协变量并没有得到充分利用，本文在模型中加入性别先验知识；将多层次音频特征分类问题转化为多任务问题进行处理，从而对多层次特征进行解耦再进行分类；针对特征分布的再优化方面设计了一个中心损失模块。通过在IEMOCAP数据集上的实验结果表明，本文提出模型的加权精度(WA)和未加权精度(UA)分别达到了71.94%和73.37%,与原本的多层次模型相比，WA和UA分别提升了1.38%和2.35%。此外，还根据Nlinear和Dlinear算法设计了两个单层次音频特征提取器，在单层次音频特征分类实验中取得了较好的结果。