| 基于全局?局部特征和自适应注意力机制的图像语义描述算法 |
| |
| 引用本文： | 赵小虎,尹良飞,赵成龙.基于全局?局部特征和自适应注意力机制的图像语义描述算法[J].浙江大学学报(自然科学版 ),2020,54(1):126-134. |
| |
| 作者姓名： | 赵小虎 尹良飞 赵成龙 |
| |
| 作者单位： | 1. 中国矿业大学 矿山互联网应用技术国家地方联合工程实验室，江苏 徐州 2210082. 中国矿业大学 信息与控制工程学院，江苏 徐州 221116 |
| |
| 基金项目： | 国家重点研发计划资助项目（2017YFC0804400） |
| |
| 摘 要： | 为了探究图像底层视觉特征与高层语义概念存在的差异，提出可以确定图像关注重点、挖掘更高层语义信息以及完善描述句子的细节信息的图像语义描述算法. 在图像视觉特征提取时提取输入图像的全局-局部特征作为视觉信息输入，确定不同时刻对图像的关注点，对图像细节的描述更加完善；在解码时加入注意力机制对图像特征加权输入，可以自适应选择当前时刻输出的文本单词对视觉信息与语义信息的依赖权重，有效地提高对图像语义描述的性能. 实验结果表明，该方法相对于其他语义描述算法效果更有竞争力，可以更准确、更细致地识别图片中的物体，对输入图像进行更全面地描述；对于微小的物体的识别准确率更高.
|
| 关 键 词： | 图像语义描述 图像关注点 高层语义信息 描述句子细节 全局-局部特征提取 自适应注意力机制 |
Image captioning based on global-local feature and adaptive-attention |
| |
| Xiao-hu ZHAO,Liang-fei YIN,Cheng-long ZHAO.Image captioning based on global-local feature and adaptive-attention[J].Journal of Zhejiang University(Engineering Science),2020,54(1):126-134. |
| |
| Authors: | Xiao-hu ZHAO Liang-fei YIN Cheng-long ZHAO |
| |
| Abstract: | |
| |
| Keywords: | |
| 本文献已被 CNKI 等数据库收录！ |
| 点击此处可从《浙江大学学报(自然科学版 )》浏览原始摘要信息 |
|
点击此处可从《浙江大学学报(自然科学版 )》下载全文 |
