基于深度学习的单目深度估计方法综述

深度估计是一种从单张或者多张图像预测场景深度信息的技术,是计算机视觉领域非常热门的研究方向,在三维重建、场景理解、环境感知等任务中起到了关键作用.当前深度估计技术可以分为多目深度估计和单目深度估计.因为单目摄像头具有成本低、设备较普及、图像获取方便等优点,与多目深度估计技术相比,从单目图像估计深度信息是当前更为热门和更具挑战的技术.近年来,随着深度学习的迅速发展,基于深度学习的单目深度估计方法被广泛研究.本文对基于深度估计的单目深度估计方法进行综述,首先给出单目深度估计问题的定义、介绍常用于训练的数据集与模型评价指标,然后根据不同的训练方式对国内外相关技术进行分析总结,将现有方法分为基于监督学习、无监督学习和半监督学习三大类,对每种类型方法的产生思路、优缺点进行详细分析,最后梳理、总结该技术的发展趋势与关键技术.     

基于编解码卷积神经网络的单张图像深度估计

摘 要：针对传统方法在单目视觉图像深度估计时存在鲁棒性差、精度低等问题,提出一 种基于卷积神经网络(CNN)的单张图像深度估计方法。首先,提出层级融合编码器-解码器网络, 该网络是对端到端的编码器-解码器网络结构的一种改进。编码器端引入层级融合模块,并通过 对多层级特征进行融合,提升网络对多尺度信息的利用率。其次,提出多感受野残差模块,其 作为解码器的主要组成部分,负责从高级语义信息中估计深度信息。同时,多感受野残差模块 可灵活地调整网络感受野大小,提高网络对多尺度特征的提取能力。在 NYUD v2 数据集上完 成网络模型有效性验证。实验结果表明,与多尺度卷积神经网络相比,该方法在精度 δ<1.25 上 提高约 4.4%,在平均相对误差指标上降低约 8.2%。证明其在单张图像深度估计的可行性。     

基于DSPP的单目图像深度估计

空洞空间金字塔池化（ASPP）在深度学习各种任务中均有应用,传统ASPP模块只考虑了提升卷积感受视野,但ASPP中的每次空洞卷积选取的像素点分散,会丢失大量像素点间的信息,而深度估计属于密集预测任务。针对ASPP模块这一弊端提出了一种动态密集的DSPP模块。该模块用一种动态卷积代替空洞卷积,结合ASPP的思想,采用不同大小的卷积尺寸,并结合通道注意力充分利用每一层的特征,解决了ASPP丢失信息的问题,与ASPP相比在大大减小模块参数量的前提下,提升了整体模型的准确率。在NYU Depth v2数据集上与主流算法相比深度图在均方根误差（RMSE）上降低了12.5%,到0.407,并且准确率（δ<1.25）提高了3.4%,达到0.875,验证了算法的有效性。     

基于高分辨率网络的自监督单目深度估计方法

使用深度学习方法进行单目深度估计时,由于使用多级下采样会出现重建结果细节信息缺失、边缘轮廓模糊等问题.为此,提出一种基于高分辨率网络的自监督单目深度估计方法.首先,通过并行连接使得特征图在编码过程中始终保持高分辨率表示,以充分地保留细节信息;其次,为了提高编码器的学习能力,在编码部分引入注意力模块,对图像特征进行筛选和提炼;最后,针对深度估计的多义性问题,利用非相邻帧图像之间的一致性,设计了一种有效的损失函数,并使用可靠性掩膜来消除动点和遮挡点的干扰.在TensorFlow框架下采用KITTI和Cityscapes数据集进行实验,实验结果表明,与已有深度估计方法相比,该方法不仅能够保留预测深度的边缘信息,而且能够提高预测深度的准确性,可达到0.119的平均相对误差.     

基于深度学习的超低空景深估计方法研究

利用单目深度估计辅助飞行器超低空飞行的制导与控制是一个非常重要的发展方向。基于此在自监督学习框架下研究了一种基于单目图像的超低空景深估计方法：以立体图像对为训练集,采用左右一致性原则,有效提高网络准确率,并通过多尺度统一,改善了深度图中的空洞问题。在KITTI数据集和自制的超低空样本集上的实验结果表明论文所提方法能有效应用于超低空场景下的深度估计。     

自适应多尺度特征融合的单目图像深度估计

在基于深度学习的单目图像深度估计方法中, 卷积神经网络在下采样过程中会出现图像深度信息丢失的情况, 导致物体边缘深度估计效果不佳. 提出一种多尺度特征融合的方法, 并采用自适应融合的策略, 根据特征数据动态调整不同尺度特征图的融合比例, 实现对多尺度特征信息的充分利用. 由于空洞空间金字塔池化(ASPP)在单目深度估计任务中, 会丢失图像中的像素点信息, 影响小物体的预测结果. 通过在对深层特征图使用ASPP时融合浅层特征图的丰富特征信息, 提高深度估计结果. 在NYU-DepthV2室内场景数据集的实验结果表明, 本文所提方法在物体边缘处有更准确的预测, 并且对小物体的预测有明显的提升, 均方根误差(RMSE)达到0.389, 准确率(δ <1.25)达到0.897, 验证了方法的有效性.     

深度学习单目深度估计研究进展

单目深度估计是从单幅图像中获取场景深度信息的重要技术,在智能汽车和机器人定位等领域应用广泛,具有重要的研究价值。随着深度学习技术的发展,涌现出许多基于深度学习的单目深度估计研究,单目深度估计性能也取得了很大进展。本文按照单目深度估计模型采用的训练数据的类型,从3个方面综述了近年来基于深度学习的单目深度估计方法:基于单图像训练的模型、基于多图像训练的模型和基于辅助信息优化训练的单目深度估计模型。同时,本文在综述了单目深度估计研究常用数据集和性能指标基础上,对经典的单目深度估计模型进行了性能比较分析。以单幅图像作为训练数据的模型具有网络结构简单的特点,但泛化性能较差。采用多图像训练的深度估计网络有更强的泛化性,但网络的参数量大、网络收敛速度慢、训练耗时长。引入辅助信息的深度估计网络的深度估计精度得到了进一步提升,但辅助信息的引入会造成网络结构复杂、收敛速度慢等问题。单目深度估计研究还存在许多的难题和挑战。利用多图像输入中包含的潜在信息和特定领域的约束信息,来提高单目深度估计的性能,逐渐成为了单目深度估计研究的趋势。     

基于CNN特征提取和加权深度迁移的单目图像深度估计

单目图像的深度估计可以从相似图像及其对应的深度信息中获得。然而,图像匹 配歧义和估计深度的不均匀性问题制约了这类算法的性能。为此,提出了一种基于卷积神经网 络(CNN)特征提取和加权深度迁移的单目图像深度估计算法。首先提取 CNN 特征计算输入图像 在数据集中的近邻图像;然后获得各候选近邻图像和输入图像间的像素级稠密空间形变函数; 再将形变函数迁移至候选深度图像集,同时引入基于 SIFT 的迁移权重 SSW,并通过对加权迁 移后的候选深度图进行优化获得最终的深度信息。实验结果表明,该方法显著降低了估计深度 图的平均误差,改善了深度估计的质量。     

轻量化自监督单目深度估计

目前, 大多数的增强现实和自动驾驶应用不仅会使用到深度网络估计的深度信息, 还会使用到位姿网络估计的位姿信息. 将位姿网络和深度网络同时集成到嵌入式设备上, 会极大地消耗内存. 为解决这一问题, 提出一种深度网络和位姿网络共用特征提取器的方法, 使模型保持在一个轻量级的尺寸. 此外, 通过带有线性结构的深度可分离卷积轻量化深度网络, 使网络在不丢失过多细节信息前提下还可获得更少的参数量. 最后, 通过在KITTI数据集上的实验表明, 与同类算法相比, 该位姿网络和深度网络参数量只有的 35.33 MB. 同时, 恢复深度图的平均绝对误差也保持在0.129.     

基于全卷积编解码网络的单目图像深度估计

针对传统方法在单目图像深度估计时精度低、速度慢等问题,提出一种全卷积编码-解码网络模型,该模型将稀疏的深度样本集和RGB图像作为输入,编码层由Resnet和一个卷积层组成,解码层由两个上采样层和一个双线性上采样层组成,上采样层采用上卷积模块和上投影模块交叉使用,有效降低了棋盘效应并保留了预测深度图像的边缘信息.同时,模...     

基于卷积神经网络的单目深度估计

针对利用深度学习方法对街道图像进行深度估计，提出采用语义分割的方法解决深度图出现边界模糊等问题；估计深度通过左右视角图生成视差图进行无监督的训练。在网络模型中添加语义分割层，采取多个空洞卷积并行的结构增加感受野，同时减少了图像下采样的次数，降低了由于下采样带来的信息损失，使得的结果更加准确。这也是在深度估计中首次与空洞卷积相结合增加准确率。通过对KITTI街道数据集进行训练，与现有结果相比，除了增加检测准确性，降低错误率之外，使得效果图中的物体更加清晰，并且在效果图中还保留了一些原模型中被忽视掉的细节信息，将原始图像更加完整的表现出来。     

基于密集卷积网络的单目图像深度估计方法

为解决目前单目图像深度估计方法存在的精度低、网络结构复杂等问题,提出一种密集卷积网络结构,该网络采用端到端的编码器和解码器结构。编码器引入密集卷积网络DenseNet,将前面每一层的输出作为本层的输入,在加强特征重用和前向传播的同时减少参数量和网络计算量,从而避免梯度消失问题发生。解码器结构采用带有空洞卷积的上投影模块和双线性插值模块,以更好地表达由编码器所提取的图像特征,最终得到与输入图像相对应的估计深度图。在NYU Depth V2室内场景深度数据集上进行训练、验证和测试,结果表明,该密集卷积网络结构在δ<1.25时准确率达到0.851,均方根误差低至0.482。     

基于神经网络的电动汽车电池SOC估算研究

论文首先分析了当前电动汽车电池管理系统中存在的问题,特别是电池电压的精确测量和剩余电量的准确预测问题一直亟待突破,因此,论文在分析电池荷电状态(SOC)影响因素的基础上,进行了动力电池的充放电实验,建立了BP网络电池模型,通过对网络进行训练,应用神经网络模型进行SOC估算,实验表明:建立的BP网络具有较好的适应性,能有效预测锂离子动力电池电压、电流和放电容量间的映射关系。可以准确地对电动汽车电池进行SOC估算。     

基于人工神经网络的配电网距离保护方法研究

基于神经网络技术提出了一种新的配电网距离保护方法,用于提高距离继电器在配电网中抗开路故障的性能。给出了保护方法的详细数学模型。该方案采用的人工神经网络结构简单,只需离线训练,不会对距离继电器的工作时间造成大的时延,也不需要特殊的通信辅助手段。测试结果表明,采用该方案的距离继电器不仅能够检测电网线路中的开路情况,而且无论故障前的电流负载如何,都能够定位故障位置,验证了所提方法的有效性。     

基于DenseNet的单目图像深度估计

深度信息的获取是场景解析中是非常重要的环节,主要分为传感器获取与图像处理两种方法。传感器技术对环境要求很高,因此图像处理为更通用的方法。传统的方法通过双目立体标定,利用几何关系得到深度,但仍因为环境因素限制诸多。因此,作为最贴近实际情况的方法,单目图像深度估计具有极大研究价值。为此,针对单目图像深度估计,提出了一种基于DenseNet的单目图像深度估计方法,该方法利用多尺度卷积神经网络分别采集全局特征、局部特征;加入了DenseNet结构,利用DenseNet强特征传递、特征重用等特点,优化特征采集过程。通过NYU Depth V2数据集上验证了模型的有效性,实验结果表明,该方法的预测结果平均相对误差为0.119,均方根误差为0.547,对数空间平均误差为0.052。