基于自适应门控信息融合的多模态情感分析 |
| |
引用本文: | 陈真,普园媛,赵征鹏,徐丹,钱文华.基于自适应门控信息融合的多模态情感分析[J].计算机科学,2023(3):298-306. |
| |
作者姓名: | 陈真 普园媛 赵征鹏 徐丹 钱文华 |
| |
作者单位: | 1. 云南大学信息学院;2. 云南省高校物联网技术及应用重点实验室 |
| |
基金项目: | 国家自然科学基金(62162068,61271361,61761046,62061049);;云南省应用基础研究面上项目(2018FB100);;云南省科技厅应用基础研究计划重点项目(202001BB050043,2019FA044)~~; |
| |
摘 要: | 多模态情感分析的目标是使用由多种模态提供的互补信息来实现可靠和稳健的情感分析。近年来,通过神经网络提取深层语义特征,在多模态情感分析任务中取得了显著的效果。而多模态信息的不同层次的特征融合也是决定情感分析效果的重要环节。因此,提出了一种基于自适应门控信息融合的多模态情感分析模型(AGIF)。首先,通过门控信息融合网络将Swin Transformer和ResNet提取的不同层次的视觉和色彩特征根据对情感分析的贡献进行有机融合。其次,由于情感的抽象性和复杂性,图像的情感往往由多个细微的局部区域体现,而迭代注意可以根据过去的信息精准定位这些情感判别区域。针对Word2Vec和GloVe无法解决一词多义的问题,采用了最新的ERNIE预训练模型。最后,利用自动融合网络“动态”融合各模态特征,解决了(拼接或TFN)确定性操作构建多模态联合表示所带来的信息冗余问题。在3个公开的真实数据集上进行了大量实验,证明了该模型的有效性。
|
关 键 词: | 多模态情感分析 门控信息融合网络 迭代注意 ERNIE 自动融合网络 |
|
|