基于CNN特征提取和加权深度迁移的单目图像深度估计

单目图像的深度估计可以从相似图像及其对应的深度信息中获得。然而,图像匹 配歧义和估计深度的不均匀性问题制约了这类算法的性能。为此,提出了一种基于卷积神经网 络(CNN)特征提取和加权深度迁移的单目图像深度估计算法。首先提取 CNN 特征计算输入图像 在数据集中的近邻图像;然后获得各候选近邻图像和输入图像间的像素级稠密空间形变函数; 再将形变函数迁移至候选深度图像集,同时引入基于 SIFT 的迁移权重 SSW,并通过对加权迁 移后的候选深度图进行优化获得最终的深度信息。实验结果表明,该方法显著降低了估计深度 图的平均误差,改善了深度估计的质量。     

双路融合的深度估计神经网络方法研究

从单目视觉中恢复深度信息是计算机视觉领域的经典问题,结合传统算法的深度学习方法是近年来的研究热点,但在神经网络的算法融合、参照物标定和应用场景上还有限制。提出了一种双路融合深度估计神经网络结构,分别基于深度与深度梯度的语义信息进行网络训练,对特征融合后再次训练得到最终的细节特征,并通过单次标定的方法解决真实参照物标定工作量大的问题。该网络结构能根据单张RGB图片推测出富有细节的深度信息,网络模型基于KITTI的深度图数据集训练,实验包括KITTI测试集和部分实际场景图集,结果表明该方法在深度信息细节的重建上优于对比深度估计方案,在大视场场景下的鲁棒性优良。     

Transformer与多尺度注意力的自监督单目图像深度估计

针对现有自监督学习的单目图像深度估计在分辨率较大情况下存在边缘模糊、物体轮廓不清晰等问题，本文提出一种结合视觉Transformer的多尺度通道注意力融合单目图像深度估计网络.首先，设计编码器-解码器模型，将视觉Transformer结构作为编码器在多个尺度上提取特征.其次，设计残差通道注意力融合的解码器，优化提取到的多尺度特征并实现上下级特征融合以提高上下文信息的利用率.最后，在多个尺度下对单目图像进行深度估计.本文提出的算法在KITTI数据集上进行实验.实验结果表明，所提出算法的深度图像质量和物体轮廓信息均高于现有算法，其绝对相对误差、平方相对误差和均方根误差分别达到了0.119、0.857和4.571,在不同阈值下的准确度达到了0.959、0.995和0.999,验证了所提算法的正确性和有效性.     

语义级深度迁移的2D转3D算法

海量视频数据推动了基于数据驱动的单目图像深度估计研究.针对现有方法存在不同对象深度分配层次感不够的问题,在相似场景具有相似深度的假设前提下,提出一种基于语义级分割和深度迁移的单目图像2D转3D的方法.首先使用分割迁移模型将输入图像的像素进行语义级分类;然后通过语义级分类结果对场景匹配进行约束;再次利用SIFT流建立输入图像和匹配图像间像素级对应关系,并由此将匹配图像的深度迁移到输入图像上;最后通过语义级分割约束的最优化深度融合模型为不同对象区域分配深度值.Make3D测试数据的实验结果表明,该方法估计的深度质量比现有深度迁移方法更高,与最优化融合深度迁移算法相比,平均对数误差和平均相对误差分别降低0.03和0.02个点.     

融合2D激光雷达的室内单目深度估计

在室内单目视觉导航任务中,场景的深度信息十分重要.但单目深度估计是一个不适定问题,精度较低.目前, 2D激光雷达在室内导航任务中应用广泛,且价格低廉.因此,本文提出一种融合2D激光雷达的室内单目深度估计算法来提高深度估计精度.本文在编解码结构上增加了2D激光雷达的特征提取,通过跳跃连接增加单目深度估计结果的细节信息,并提出一种运用通道注意力机制融合2D激光雷达特征和RGB图像特征的方法.本文在公开数据集NYUDv2上对算法进行验证,并针对本文算法的应用场景,制作了带有2D激光雷达数据的深度数据集.实验表明,本文提出的算法在公开数据集和自制数据集中均优于现有的单目深度估计.     

遮挡场景的光场图像深度估计方法

光场相机通过单次拍摄可获取立体空间中的4维光场数据,利用光场的多视角特性可从中提取全光场图像的深度信息.然而,现有深度估计方法很少考虑场景中存在遮挡的情况,当场景中有遮挡时,提取深度信息的精度会明显降低.对此,提出一种新的基于多线索融合的光场图像深度提取方法以获取高精度的深度信息.首先分别利用自适应散焦算法和自适应匹配算法提取场景的深度信息;然后用峰值比作为置信以加权融合两种算法获取的深度;最后,用具有结构一致性的交互结构联合滤波器对融合深度图进行滤波,得到高精度深度图.合成数据集和真实数据集的实验结果表明,与其他先进算法相比,所提出的算法获取的深度图精度更高、噪声更少、图像边缘保持效果更好.     

重新下降M估计子约束的深度图超分辨率算法

现有的深度图超分辨率增强算法大多借助于同场景彩色图像提供的辅助信息,而不同传感器信号间的结构差异将会引入质量损伤.为此,将图像引导的深度近邻关系视为误差,并利用重新下降M估计子进行误差的测度,从而有效抑制彩色图像和深度图像间结构差异的问题.首先根据相似颜色具有相似深度的假设建立深度近邻约束;其次利用重新下降M估计子度量深度邻域约束,将深度超分辨率增强转换成一个最优化问题;最后通过广义迭代重新加权最小二乘法予以求解.实验结果表明,该算法可有效地保持深度图的对象边缘,定性和定量指标均优于现有的代表性算法.     

基于车载单目图像的3维地平面估计

提出了一种由车载摄像头获取的单目图像估计场景的3维地平面以及深度信息的算法.该算法首先融合图像的散焦信息、饱和度信息以及暗通道先验,得到场景的相对深度图.然后在基于地平线分段平滑的假设下,进行双边中值滤波推断出3维地平面.最后在此基础上利用成像几何原理计算出绝对深度图.为了验证算法的有效性,不仅在离线计算机上进行了大量的对比实验,而且还将该算法应用于机器人小车的室外自主避障.实验结果表明本文算法可以较好地估计出3维地平面和场景深度,机器人小车可以利用这些信息成功检测并躲避障碍物.     

自适应多尺度特征融合的单目图像深度估计

在基于深度学习的单目图像深度估计方法中, 卷积神经网络在下采样过程中会出现图像深度信息丢失的情况, 导致物体边缘深度估计效果不佳. 提出一种多尺度特征融合的方法, 并采用自适应融合的策略, 根据特征数据动态调整不同尺度特征图的融合比例, 实现对多尺度特征信息的充分利用. 由于空洞空间金字塔池化(ASPP)在单目深度估计任务中, 会丢失图像中的像素点信息, 影响小物体的预测结果. 通过在对深层特征图使用ASPP时融合浅层特征图的丰富特征信息, 提高深度估计结果. 在NYU-DepthV2室内场景数据集的实验结果表明, 本文所提方法在物体边缘处有更准确的预测, 并且对小物体的预测有明显的提升, 均方根误差(RMSE)达到0.389, 准确率(δ <1.25)达到0.897, 验证了方法的有效性.     

基于像素自适应特征融合的单目深度估计

场景深度估计是场景理解的一项基本任务,其准确率反映了计算机对场景的理解程度。单目深度估计任务本身是一个不适定问题,因此在很大程度上依赖于场景的先验知识和其他辅助信息,语义信息能够有效地帮助深度估计更好地进行预测。针对单目深度估计任务的特有问题,提出了一种基于融合语义特征的深度神经网络模型,通过像素自适应卷积将目标图像的语义信息融合到深度网络,以提高深度估计的准确性。为了充分利用多尺度图像特征,引入DenseNet模型的基础模块,自适应融合各尺度的有效特征。在NYU-DepthV2室内场景数据集的实验结果显示,验证了模型和方法的有效性,提出的方法在定性和定量评价方面都取得了具有竞争力的结果。     

Realtime Object-aware Monocular Depth Estimation in Onboard Systems

This paper proposes the object depth estimation in real-time, using only a monocular camera in an onboard computer with a low-cost GPU. Our algorithm estimates scene depth from a sparse feature-based visual odometry algorithm and detects/tracks objects’ bounding box by utilizing the existing object detection algorithm in parallel. Both algorithms share their results, i.e., feature, motion, and bounding boxes, to handle static and dynamic objects in the scene. We validate the scene depth accuracy of sparse features with KITTI and its ground-truth depth map made from LiDAR observations quantitatively, and the depth of detected object with the Hyundai driving datasets and satellite maps qualitatively. We compare the depth map of our algorithm with the result of (un-) supervised monocular depth estimation algorithms. The validation shows that our performance is comparable to that of monocular depth estimation algorithms which train depth indirectly (or directly) from stereo image pairs (or depth image), and better than that of algorithms trained with monocular images only, in terms of the error and the accuracy. Also, we confirm that our computational load is much lighter than the learning-based methods, while showing comparable performance.

     

引入生成对抗网络的室外场景单目深度估计

生成对抗网络（GAN）算法在室外场景的深度估计任务中准确率较低,对于物体边界判断不准确。针对该问题,提出基于循环生成对抗网络（CycleGAN）的单目深度估计算法,将单幅图像映射到深度图像的过程拆分为两个子阶段。第一阶段中,网络学习图像的基本空间特征,得到粗糙尺度下的深度图像;第二阶段在前者的基础上,通过细节上的差异对比,优化深度图像,得到精细尺度下的深度图像。为了进一步提高深度估计的精度,在损失函数中引入了L1距离,让网络可以学习像素到像素的映射关系,避免出现较大的偏差与失真。在公开的室外场景数据集Make3D上的实验结果表明,与同类型算法相比,该算法的平均相对误差、均方根误差取得更好的效果。     

基于LLOM的单目图像深度图估计算法

针对计算机视觉理解单目图像立体结构的问题,进行了单目图像深度估计算法的研究。提出了一种基于监督学习方法的室外单目图像深度估计算法,其采用语义标注信息指导深度估计过程,融合绝对深度特征、相对深度特征以及位置特征作为深度特征向量,采用LLOM学习深度特征向量与深度值之间的关系。实验结果显示,该算法对路面、草地以及建筑物类等深度渐进变化的图像块,可获得较满意的深度估计结果。本算法为单目图像深度估计开辟了一个全新的有效途径。     

基于采样汇集网络的场景深度估计

针对现有场景深度估计方法中,由于下采样操作引起的复杂物体边界定位不准确,而造成物体边界处的场景深度估计模糊的问题,受密集网络中特征汇集过程的启发,本文提出一种针对上;下采样过程的汇集网络模型.在下采样过程中,使用尺度特征汇集策略,兼顾不同尺寸物体的估计;在上采样过程中,使用上采样反卷积恢复图像分辨率;同时,引入采样跨层汇集策略,提供下采样过程中保存的物体边界的有效定位信息.本文提出的采样汇集网络(Sampling aggregate network,SAN)中使用的尺度特征汇集和采样跨层汇集,都可以有效缩短特征图到输出损失之间的路径,从而有利于避免模型的参数优化时陷入局部最优解.在公认场景深度估计NYU-Depth-v2数据集上的实验说明,本文方法能够有效改善复杂物体边界等干扰情况下的场景深度估计效果,并在深度估计误差和准确性上,优于当前场景深度估计的主流方法.     

抗遮挡的单目深度估计算法

目前利用自监督单目深度估计方法对城市街道进行深度估计时,由于物体间存在遮挡和运动,导致估计的深度图结果模糊以及出现边界伪影。针对上述问题,通过对损失函数进行设计,提出了一种抗遮挡的单目深度估计方法。该方法采用最小化光度重投影函数,对目标图像前后帧中选择最小误差进行匹配,忽略掉损失较高的被遮挡像素,同时采用自动掩蔽损失来处理物体运动造成的边界伪影。在KITTI数据集上的对比实验结果表明,所提方法估计的深度图结果更加清晰,并能有效减少深度图中的边界伪影。     

基于多尺度特征融合的红外单目测距算法

由于MonoDepth2的提出,无监督单目测距在可见光领域取得了重大发展;然而在某些场景例如夜间以及一些低能见度的环境,可见光并不适用,而红外热成像可以在夜间和低能见度条件下获得清晰的目标图像,因此对于红外图像的深度估计显得尤为必要.由于可见光和红外图像的特性不同,直接将现有可见光单目深度估计算法迁移到红外图像是不合理...     

深度学习单目深度估计研究进展

单目深度估计是从单幅图像中获取场景深度信息的重要技术,在智能汽车和机器人定位等领域应用广泛,具有重要的研究价值。随着深度学习技术的发展,涌现出许多基于深度学习的单目深度估计研究,单目深度估计性能也取得了很大进展。本文按照单目深度估计模型采用的训练数据的类型,从3个方面综述了近年来基于深度学习的单目深度估计方法:基于单图像训练的模型、基于多图像训练的模型和基于辅助信息优化训练的单目深度估计模型。同时,本文在综述了单目深度估计研究常用数据集和性能指标基础上,对经典的单目深度估计模型进行了性能比较分析。以单幅图像作为训练数据的模型具有网络结构简单的特点,但泛化性能较差。采用多图像训练的深度估计网络有更强的泛化性,但网络的参数量大、网络收敛速度慢、训练耗时长。引入辅助信息的深度估计网络的深度估计精度得到了进一步提升,但辅助信息的引入会造成网络结构复杂、收敛速度慢等问题。单目深度估计研究还存在许多的难题和挑战。利用多图像输入中包含的潜在信息和特定领域的约束信息,来提高单目深度估计的性能,逐渐成为了单目深度估计研究的趋势。