| 结合新颖的互注意力和门控机制的图像标题生成 |
| |
| 引用本文： | 胡卫兵,米金鹏,吴旭明,刘丹,杨芳艳.结合新颖的互注意力和门控机制的图像标题生成[J].小型微型计算机系统,2023(8):1785-1791. |
| |
| 作者姓名： | 胡卫兵 米金鹏 吴旭明 刘丹 杨芳艳 |
| |
| 作者单位： | 1. 上海理工大学机器智能研究院;2. 上海理工大学机械工程学院;3. 上海理工大学光电信息与计算机工程学院 |
| |
| 基金项目： | 国家自然科学基金项目(62106026)资助；;重庆自然科学基金项目(cstc2021jcyj-msxm0210)资助；;中国博士后科学基金项目(2020M683243)资助； |
| |
| 摘 要： | 图像标题生成是通过机器产生描述图像的语句，属于多模态领域的重要研究方向之一.现有的工作大多数有两点不足：1)采用单一的图像特征，导致在非结构化场景中无法完全描述图像中更加细粒度的内容信息；2)模型大多数完全依赖图像的特征生成句子，而没有引入外部知识作为辅助信息.针对上述两点，提出一种互注意力和门控机制的方法.在MSCOCO2014数据集上和Flickr 30k数据集上分别进行实验，结果在各项指标上相较于主流模型均有一定的提升，表明该方法对图像内容的理解更加全面且生成的句子更加丰富.
|
| 关 键 词： | 图像标题生成 外部知识 互注意力 门控机制 |
|
|
