| 基于条件生成对抗网络的图像描述生成方法 |
| |
| 引用本文： | 黄远,白琮,李宏凯,张敬林,陈胜勇.基于条件生成对抗网络的图像描述生成方法[J].计算机辅助设计与图形学学报,2020,32(6):911-918. |
| |
| 作者姓名： | 黄远 白琮 李宏凯 张敬林 陈胜勇 |
| |
| 作者单位： | 浙江工业大学计算机科学与技术学院 杭州 310023;南京信息工程大学大气科学学院 南京 210044;天津理工大学计算机科学与工程学院 天津 300384 |
| |
| 摘 要： | 图像描述,即利用电脑自动描述图像的语义内容一直是计算机视觉领域的一项重要研究任务.尽管使用卷积神经网络(convolutional neural networks, CNN)和长短期记忆网络(long short-term memory, LSTM)的组合框架在生成图像描述方面解决了梯度消失和梯度爆炸问题,但是基于LSTM的模型依赖序列化的生成描述,无法在训练时并行处理,且容易在生成描述时遗忘先前的信息.为解决这些问题,提出将条件生成对抗网络(conditionalgenerativeadversarial network, CGAN)引入到描述生成模型训练中,即采用CNN来生成图像描述.通过对抗训练来生成句子描述,并结合注意力机制提升描述的质量.在MSCOCO数据集上进行测试,实验结果表明,与基于CNN的其他方法相比,文中方法在语义丰富程度指标CIDEr上取得了2%的提升,在准确性指标BLEU上有1%左右的性能提升;同时,其在部分指标,尤其是语义指标上超过了基于LSTM模型的图像描述方法的性能;证明该方法生成的图像描述更接近图像的真实描述,并且语义内容更加丰富.
|
| 关 键 词： | 图像描述 卷积神经网络 生成对抗网络 注意力机制 |
Image Captioning Based on Conditional Generative Adversarial Nets |
| |
| Huang Yuan,Bai Cong,Li Hongkai,Zhang Jinglin,Chen Shengyong.Image Captioning Based on Conditional Generative Adversarial Nets[J].Journal of Computer-Aided Design & Computer Graphics,2020,32(6):911-918. |
| |
| Authors: | Huang Yuan Bai Cong Li Hongkai Zhang Jinglin Chen Shengyong |
| |
| Affiliation: | (College of Computer Science and Technology,Zhejiang University of Technology,Hangzhou 310023;School of Atmospheric Science,Nanjing University of Information Science and Technology,Nanjing 210044;College of Computer Science and Engineering,Tianjin University of Technology,Tianjin 300384) |
| |
| Abstract: | |
| |
| Keywords: | image captioning convolutional neural network(CNN) generative adversarial network attention mechanism |
| 本文献已被 CNKI 维普 万方数据 等数据库收录！ |
|
