| 基于空间关联性注意力的图像描述生成方法 |
| |
| 引用本文： | 张红良,李广明. 基于空间关联性注意力的图像描述生成方法[J]. 计算机应用研究, 2023, 40(4): 1275-1280 |
| |
| 作者姓名： | 张红良 李广明 |
| |
| 作者单位： | 东莞理工学院 计算机科学与技术学院,东莞理工学院 计算机科学与技术学院 |
| |
| 基金项目： | 国家自然科学基金青年科学基金资助项目(62106046);广东省自然科学基金资助项目(2016A030313135);广东大学生科技创新培育专项资金资助项目(Pdjh2002a0505) |
| |
| 摘 要： | 图像中物体间的关联性能够有效提升图像描述的效果，但是直接使用全局特征表示物体间的关系无法准确捕获图像的关联性特征。为准确捕获图像的关联性特征以提高描述的准确性，提出了一种基于空间关联性的图像描述生成方法。该方法使用Faster R-CNN提取图像的视觉特征和物体的空间位置信息，再将视觉特征与空间位置信息在高维空间融合后指导Transformer捕获图像的关联性特征；最后将视觉特征和关联性特征分别作为视觉注意力和空间关联性注意力的高层语义输入指导单词序列的生成。使用COCO数据集进行实验验证，在BLEU＿4和CIDEr上分别得分38.1%和124.8%,相较于基线模型提升了1.8%和4.7%,证明了该方法的可行性。
|
| 关 键 词： | 图像描述 空间位置信息 关联性特征 空间关联性注意力 Transformer |
| 收稿时间： | 2022-07-18 |
| 修稿时间： | 2023-03-25 |
Image caption generation method based on spatial correlation attention |
| |
| Zhang Hongliang and Li Guangming. Image caption generation method based on spatial correlation attention[J]. Application Research of Computers, 2023, 40(4): 1275-1280 |
| |
| Authors: | Zhang Hongliang and Li Guangming |
| |
| Affiliation: | School of Computer Science and Technology,Dongguan University of Technology,Guangdong Dongguan 523000, |
| |
| Abstract: | |
| |
| Keywords: | image caption spatial position information correlation feature spatial correlation attention Transformer |
|
| 点击此处可从《计算机应用研究》浏览原始摘要信息 |
|
点击此处可从《计算机应用研究》下载全文 |
