| 空间约束下自相互注意力的RGB-D显著目标检测 |
| |
| 引用本文： | 袁晓,肖云,江波,汤进.空间约束下自相互注意力的RGB-D显著目标检测[J].模式识别与人工智能,2022(6):526-535. |
| |
| 作者姓名： | 袁晓 肖云 江波 汤进 |
| |
| 作者单位： | 1. 安徽大学计算机科学与技术学院多模态认知计算安徽省重点实验室;2. 安徽大学人工智能学院;3. 合肥综合性国家科学中心人工智能研究院 |
| |
| 基金项目： | 国家自然科学基金项目(No.62076004,62006002)；;安徽省自然科学基金青年项目(No.1908085QF264)； |
| |
| 摘 要： | 针对RGB-D显著目标检测问题，提出空间约束下自相互注意力的RGB-D显著目标检测方法.首先，引入空间约束自相互注意力模块，利用多模态特征的互补性，学习具有空间上下文感知的多模态特征表示，同时计算两种模态查询位置与周围区域的成对关系以集成自注意力和相互注意力，进而聚合两个模态的上下文特征.然后，为了获得更互补的信息，进一步将金字塔结构应用在一组空间约束自相互注意力模块中，适应不同空间约束下感受野不同的特征，学习到局部和全局的特征表示.最后，将多模态融合模块嵌入双分支编码-解码网络中，解决RGB-D显著目标检测问题.在4个公开数据集上的实验表明，文中方法在RGB-D显著目标检测任务上具有较强的竞争性.
|
| 关 键 词： | RGB-D显著目标检测 多模态融合 自注意力机制 卷积神经网络 |
|
