| 结合全局-局部特征和注意力的图像描述方法 |
| |
| 引用本文： | 谢琦彬,陈平华. 结合全局-局部特征和注意力的图像描述方法[J]. 计算机工程与应用, 2022, 58(12): 218-225. DOI: 10.3778/j.issn.1002-8331.2011-0025 |
| |
| 作者姓名： | 谢琦彬 陈平华 |
| |
| 作者单位： | 广东工业大学 计算机学院，广州 510006 |
| |
| 摘 要： | 为了进一步提高图像描述生成文本的精度，提出一种结合全局-局部特征和注意力机制的图像描述方法。该方法在传统的编码器-解码器模型上进行改进，从整体角度来看，编码器阶段使用残差网络ResNet101提取图像的全局特征和局部特征，以避免对象丢失或对象预测错误问题，在解码器阶段采用嵌入改进后的注意力机制的双向[GRU]生成文本序列。从局部角度来看，该模型提出的注意力机制是一种独立的循环结构，通过计算图像局部特征向量与语义向量之间的相似度来获取注意力权重，增强图像特征与语义信息之间的映射。在MSCOCO数据集上的实验结果显示，该算法在BLEU、CIDEr、METEOR等评价指标上均获得了不同程度的提升，表明使用该模型生成的描述文本准确度高且细节丰富。
|
| 关 键 词： | 图像描述 注意力机制 编码器-解码器框架 全局特征 局部特征 |
Image Caption Combining Global-Local Features and Attention |
| |
| XIE Qibin,CHEN Pinghua. Image Caption Combining Global-Local Features and Attention[J]. Computer Engineering and Applications, 2022, 58(12): 218-225. DOI: 10.3778/j.issn.1002-8331.2011-0025 |
| |
| Authors: | XIE Qibin CHEN Pinghua |
| |
| Affiliation: | School of Computers, Guangdong University of Technology, Guangzhou 510006, China |
| |
| Abstract: | |
| |
| Keywords: | image caption attetion mechanism encoder-decoder framework global features local features |
|
| 点击此处可从《计算机工程与应用》浏览原始摘要信息 |
|
点击此处可从《计算机工程与应用》下载免费的PDF全文 |
