多级上采样融合的强监督RGBD显著性目标检测

有效的多模态特征融合在RGBD显著性目标检测领域中发挥着重要的作用,但如何学习到有效的多模态特征融合在目前仍然是一个挑战性的任务。不同于利用多模态显著图加权融合的传统方法,基于卷积神经网络的方法使用简单的卷积操作融合多模态特征,但这对于大量的跨模态数据融合来说是不够的。为了解决这个问题,提出了一种新颖的上采样融合模块,它不仅具有多尺度的感知能力,还同时进行全局和局部上下文推理,此外强监督残差模块增强了网络训练的稳定和有效性。与现有的方法相比,提出的方法能够提供更稳定、更灵活的融合流,从而实现了RGB和Depth信息充分、高效的融合。在三个广泛使用的RGBD显著性目标检测数据集上的大量实验证明了该方法的有效性。