基于RCBA模型的多模态讽刺识别

目前，大多数讽刺识别模型都是针对文本数据进行研究，推文中包含的图像数据未得到有效利用，导致讽刺识别任务准确度不高.针对这一问题，提出一种结合注意力机制的联合神经网络模型RCBA,用于图文混合的多模态讽刺识别任务.RCBA模型首先利用结合空间注意力机制和通道注意力机制的深度残差网络(ResNet101)进行图像特征自适应提取；同时，使用图像属性分类器提取图像属性特征；其次，将图像属性特征作为双向长短时记忆神经网络(Bi-LSTM)的初始状态，完成文本特征的提取；随后，通过两层神经网络融合图像特征、图像属性特征和文本特征；最后使用两层的反向传播网络(BP)作为分类器，完成讽刺识别.该模型在图文Twitter讽刺公开数据集上进行实验，与图文讽刺识别任务的基线模型相比，准确率和F1值分别提升了6.19%、5.29%.实验结果表明RCBA模型能够有效提取多模态数据特征，在讽刺识别任务上具有更好的性能.