基于门控机制的联合关系推理视觉问答模型

与问题相关的视觉对象提取准确度不够，以及视觉对象之间的关系推理能力不足，是现有视觉问答模型视觉推理能力不足的主要原因。针对这两个方面的问题，本文提出一种基于门控机制的联合关系推理视觉问答模型(VARG)。该模型利用视觉注意力机制关注多个与问题相关的区域，通过筛选机制提取与问题最相关的前N个区域，并在此基础上建立视觉关系特征进行视觉关系推理，引入门控选择机制，动态的控制视觉特征和视觉关系特征对于答案的贡献，以此提升模型视觉推理能力。经在VQA V2数据集上进行实验，证明了模型的有效性。