| 多场景融合的细粒度图像描述生成算法 |
| |
| 引用本文： | 李欣晔,张承强,周雄图,郭太良,张永爱.多场景融合的细粒度图像描述生成算法[J].计算机与现代化,2021,0(9):1-6. |
| |
| 作者姓名： | 李欣晔 张承强 周雄图 郭太良 张永爱 |
| |
| 作者单位： | 福州大学物理与信息工程学院,福建 福州 350108 |
| |
| 基金项目： | 国家自然科学基金资助项目(61775038); 国家自然科学青年基金资助项目(61904031) |
| |
| 摘 要： | 针对图像描述生成任务在不同场景下表现不佳的缺点，提出一种融合卷积神经网络和先验知识的多场景注意力图像描述生成算法。该算法通过卷积神经网络生成视觉语义单元，使用命名实体识别对图像场景进行识别和预测，并使用该结果自动调整自注意力机制的关键参数并进行多场景注意力计算，最后将得到的区域编码和语义先验知识插入Transformer文本生成器中指导句子的生成。结果表明，该算法有效解决了生成的描述缺少关键场景信息的问题。在MSCOCO和Flickr30k数据集上对模型进行评估，其中MSCOCO数据集的CIDEr得分达到1.210，优于同类图像描述生成模型。
|
| 关 键 词： | 图像描述生成 卷积神经网络 命名实体识别 多场景注意力 Transformer结构 |
| 收稿时间： | 2021-09-14 |
Multi-scene Fusion Algorithm for Fine-grained Image Caption |
| |
| LI Xin-ye,ZHANG Cheng-qiang,ZHOU Xiong-tu,GUO Tai-liang,ZHANG Yong-ai.Multi-scene Fusion Algorithm for Fine-grained Image Caption[J].Computer and Modernization,2021,0(9):1-6. |
| |
| Authors: | LI Xin-ye ZHANG Cheng-qiang ZHOU Xiong-tu GUO Tai-liang ZHANG Yong-ai |
| |
| Abstract: | |
| |
| Keywords: | image caption CNN NER multi-scene attention Transformer structure |
| 本文献已被 万方数据 等数据库收录！ |
| 点击此处可从《计算机与现代化》浏览原始摘要信息 |
|
点击此处可从《计算机与现代化》下载全文 |
