一种基于多模态深度特征融合的视觉问答模型

大数据时代，随着多源异构数据的爆炸式增长，多模态数据融合问题备受研究者的关注，其中视觉问答因需要图文协同处理而成为当前多模态数据融合研究的热点。视觉问答任务主要是对图像和文本两类模态数据进行特征关联与融合表示，最后进行推理学习给出结论。传统的视觉问答模型在特征融合时容易缺失模态关键信息，且大多数方法停留在数据之间浅层的特征关联表示学习，较少考虑深层的语义特征融合。针对上述问题，提出了一种基于图文特征跨模态深度交互的视觉问答模型。该模型利用卷积神经网络和长短时记忆网络分别获取图像和文本两种模态数据特征，然后利用元注意力单元组合建立的新型深度注意力学习网络，实现图文模态内部与模态之间的注意力特征交互式学习，最后对学习特征进行多模态融合表示并进行推理预测输出。在VQA-v2.0数据集上进行了模型实验和测试，结果表明，与基线模型相比，所提模型的性能有明显提升。