| 结合视觉注意机制与递归神经网络的图像检索 |
| |
| 引用本文： | 李军,吕绍和,陈飞,阳国贵,窦勇.结合视觉注意机制与递归神经网络的图像检索[J].中国图象图形学报,2017,22(2):241-248. |
| |
| 作者姓名： | 李军 吕绍和 陈飞 阳国贵 窦勇 |
| |
| 作者单位： | 国防科学技术大学计算机学院, 长沙 410073,国防科学技术大学计算机学院, 长沙 410073,国防科学技术大学计算机学院, 长沙 410073,国防科学技术大学计算机学院, 长沙 410073,国防科学技术大学计算机学院, 长沙 410073 |
| |
| 基金项目： | 国家自然科学基金项目(U1435219) |
| |
| 摘 要： | 目的 图像检索是计算机视觉的一项重要任务。图像检索的关键是图像的内容描述，复杂图像的内容描述很具有挑战性。传统的方法用固定长度的向量描述图像内容，为此提出一种变长序列描述模型，目的是丰富特征编码的信息表达能力，提高检索精度。方法 本文提出序列描述模型，用可变长度特征序列描述图像。序列描述模型首先用CNN(convolutional neural network)提取底层特征，然后用中间层LSTM(long short-term memory)产生局部特征的相关性表示，最后用视觉注意LSTM(attention LSTM)产生一组向量描述一幅图像。通过匈牙利算法计算图像之间的相似性完成图像检索任务。模型采用标签级别的triplet loss函数进行端对端的训练。结果 在MIRFLICKR-25K和NUS-WIDE数据集上进行图像检索实验，并和相关算法进行比较。相对于其他方法，本文模型检索精度提高了512个百分点。相对于定长的图像描述方式，本文模型在多标签数据集上能够显著改善检索效果。结论 本文提出了新的图像序列描述模型，可以显著改善检索效果，适用于多标签图像的检索任务。
|
| 关 键 词： | 图像检索 序列描述模型 特征提取 匈牙利算法 卷积神经网络 LSTM |
| 收稿时间： | 2016/8/4 0:00:00 |
| 修稿时间： | 2016/9/17 0:00:00 |
Image retrieval by combining recurrent neural network and visual attention mechanism |
| |
| Li Jun,Lyu Shaohe,Chen Fei,Yang Guogui and Dou Yong.Image retrieval by combining recurrent neural network and visual attention mechanism[J].Journal of Image and Graphics,2017,22(2):241-248. |
| |
| Authors: | Li Jun Lyu Shaohe Chen Fei Yang Guogui and Dou Yong |
| |
| Affiliation: | College of Computer, National University of Defense Technology, Changsha 410073, China,College of Computer, National University of Defense Technology, Changsha 410073, China,College of Computer, National University of Defense Technology, Changsha 410073, China,College of Computer, National University of Defense Technology, Changsha 410073, China and College of Computer, National University of Defense Technology, Changsha 410073, China |
| |
| Abstract: | |
| |
| Keywords: | |
|
| 点击此处可从《中国图象图形学报》浏览原始摘要信息 |
|
点击此处可从《中国图象图形学报》下载免费的PDF全文 |
|
