基于通道注意力机制的室内场景深度图补全

在深度相机获取的室内场景深度图中,部分像素点缺失深度信息;为补全深度信息,设计了端对端的场景深度图补全网络,在此基础上提出了一种基于通道注意力机制的室内场景深度图补全方法。该方法将场景彩色图与缺失部分深度信息的场景深度图作为场景深度图补全网络的输入,首先提取场景彩色图和深度图的联合特征,并根据通道注意力机制将提取到的联合特征进行解码,得到初始预测深度图;然后借助非局部区域上的传播算法逐步优化场景深度的预测信息,得到完整的场景深度图;最后在Matterport3D等数据集上进行实验,并将该方法与典型方法进行比较分析。实验结果表明,该方法融合了场景彩色图和深度图特征信息,通过注意力机制提高了深度图补全网络的性能,有效补全了深度相机拍摄室内场景时缺失的深度信息。     

基于通道多尺度融合的场景深度图超分辨率网络

针对传统消费级深度相机采集的场景深度图通常存在分辨率低、深度图模糊等缺陷,利用场景高分辨率彩色图引导,提出一种基于通道多尺度融合的场景深度图超分辨率网络——CMSFN.为了有效地利用场景深度图的多尺度信息,CMSFN采用金字塔多尺度结构,在金字塔各层级上,通过对低分辨率深度图进行通道多尺度上采样,并结合残差学习提升深度图分辨率.首先,在超分辨率网络金字塔结构每一层级上对深度特征图与同尺度彩色特征图通过密集连接进行融合,使场景彩色-深度图特征得到复用并能够充分融合场景结构信息;其次,对融合后的深度特征图进行通道多尺度划分,使网络能获得不同大小的感受野,并在不同尺度上有效捕捉特征信息;最后,在CMSFN中加入全局与局部残差结构,使网络在恢复场景深度图高频残差信息的同时缓解梯度消失.对于Middlebury数据集A组, CMSFN方法超分辨率均方根误差平均为1.33,与MFR和PMBANet方法相比,分别降低了6.99%和26.92%;对于Middlebury数据集B组, CMSFN方法超分辨率均方根误差平均为1.41,与MFR和PMBANet方法相比,分别降低了9.03%和17.05%.实...