| 基于多模态学习的空间科学实验图像描述 |
| |
| 引用本文： | 李沛卓,万雪,李盛阳.基于多模态学习的空间科学实验图像描述[J].光学精密工程,2021,29(12):2944-2955. |
| |
| 作者姓名： | 李沛卓 万雪 李盛阳 |
| |
| 作者单位： | 中国科学院大学中国科学院空间应用工程与技术中心中国科学院太空应用重点实验室,北京100094 |
| |
| 摘 要： | 为了让科学家快速定位实验关键过程,获取更为详细的实验过程信息,需要对空间科学实验自动添加描述性文字内容.针对空间科学实验目标较小且数据样本较少的问题,本文提出了基于多模态学习的空间科学实验图像描述算法模型,主要分为四部分:基于改进U-Net的语义分割模型,基于语义分割的空间科学实验词汇候选,自下而上的通用场景图像特征向量提取和基于多模态学习的描述语句生成.此外,本文构建了空间科学实验目标数据集,包括语义掩码标注和图像描述标注,来对空间科学实验进行图像描述.实验结果表明:相对于经典的图像描述模型Neuraltalk2,本文提出的算法在精度评定方面,METEOR结果平均提升了0.089,SPICE结果平均提升了0.174;解决了空间科学实验目标较小、样本较少的难点,构建基于多模态学习的空间科学实验图像描述模型,满足对空间科学实验场景进行专业性、精准性的描述要求,实现从低层次感知到深层场景理解的能力.
|
| 关 键 词： | 空间科学实验 图像描述 语义分割 多模态学习 |
Image caption of space science experiment based on multi-modal learning |
| |
| LI Pei-zhuo,WAN Xue,LI Sheng-yang.Image caption of space science experiment based on multi-modal learning[J].Optics and Precision Engineering,2021,29(12):2944-2955. |
| |
| Authors: | LI Pei-zhuo WAN Xue LI Sheng-yang |
| |
| Abstract: | |
| |
| Keywords: | |
| 本文献已被 万方数据 等数据库收录！ |
|
