基于知识增强与注意力机制的双通道图像描述研究

图像描述方法中在信息输入时只将图像作为输入,在端到端训练过程中,内部参数变化难以获取,很有可能造成错误.为进一步减小图像描述的不确定性,在图像描述任务中应用知识增强方法,即在输入端输入图像中的主题信息,将图像描述的范围确定化.提出了一种新的双通道图像描述架构,该架构包括主题通道与图像通道两部分,主题通道提取语义信息,并将其作为主题信息对图像信息进行知识增强;图像通道实现经典图像描述任务功能.两个通道都由极快速区域神经网络进行编码提取特征,采用注意力机制进行特征筛选,由长短期记忆网络进行解码预测信息.最后再使用一个长短期记忆网络综合两个通道的信息,实现主体通道对图像通道的知识增强并生成描述.该方法在数据集Flickr与MS COCO上测试,与一般的图像描述方法相比准确率获得了提高.     

基于物体检测及关系推理的视觉问答方法研究

大多数图像描述及视觉问答任务中,主要工作是对图像数据的拟合分类,而缺乏图像中物体之间的关系推理,导致描述图像或回答问题时准确率不高.为解决该问题,本文提出一种基于物体检测及关系推理的视觉问答模型.该模型由上游网络和下游网络两部分组成,上游网络采用极快速区域卷积神经网络,下游网络由多层感知机组成的多模态特征融合推理网络构成.上游网络对图像进行物体检测与特征提取,利用长短期记忆网络对提问的问题进行信息提取以嵌入下游网络;下游网络对问题和图像的特征进行融合和推理,进而得出答案.采用数据集CLEVR进行模型训练与视觉问答测试,实验结果表明,本模型与其他已有模型相比,图像中物体之间关系推理的准确率获得了提高,达到98.96%.