基于局部注意力和位姿迭代优化的自监督单目深度估计算法

自监督单目深度估计在自动驾驶、智能制造等领域有着广泛的应用。然而由于自监督训练存在大量训练噪声,其估计精度受到了极大限制。针对自监督单目深度估计算法中深度估计精度有限的问题,本文提出了一种基于局部注意力机制和迭代调优的自监督单目深度估计框架。首先,对于深度估计网络,基于局部像素间深度值的高度相关性,本文设计了一种局部注意力机制来融合高分辨率特征图的局部特征,提升深度估计的准确性;其次,对于位姿估计网络,本文设计了一种迭代调优的位姿估计结构,利用残差优化的方式降低位姿估计难度,提升位姿估计的准确性进而提升深度估计网络的性能。实验表明,本文提出的改进自监督单目深度估计算法有效提升了深度估计的精度。      

基于CBAM的深度序数回归方法

本文针对单目深度估计模型深度序数回归算法中全图像编码器易丢失较大像素值像素特征信息和位置信息的缺点,提出一种基于CBAM的深度序数回归方法.首先,将CBAM嵌入到深度序数回归算法中作为全图像编码器,依次采用通道注意力机制和空间注意力机制来捕获图像完整的特征信息和位置信息,通过获得的注意力图重新调整原始特征;其次,对像素的深度值进行离散,将深度估计重新转化为序数回归问题;最后,使用回归损失函数对网络进行训练.实验结果表明,相比于其他有监督学习、半监督学习和无监督学习的方法,该方法在KITTI数据集上取得更好的效果.     

基于层级特征融合的单目深度估计算法

MonoDepth2的提出使自监督单目深度估计取得了 重大的进展,但该网络在大的无语义区域和边界处预测效果并不理想, 主要原因是基础的U-Net框架没有充分利用多尺度特征信息,导致来自于大梯度区域的深 度估计较差。针对此问题,本文提出 了一个改进的DepthNet,层级特征融合网络(hierarchical integration net,HINet)。优 化了U-Net网络结构,使编码器端在每一层 都能产生不同尺度的特征信息,从而让解码器端在每一层都能够充分融合多尺度特征。由于 不同尺度的特征信息对于特定的解 码器层都有不同程度的贡献,本文提出的层级特征融合算法还增加了通道注意力模块,提升 重要特征尺度的权重。当采用立体 图像对进行训练时,本文对数据进行了预处理,并增加了立体对的深度暗示损失函数。在KI TTI 数据集上的实验结果表明,所 有指标均获得了不同程度的提升,其中绝对相对误差减少了0.09,平 方相对误差减少了0.093。     

融合多尺度特征和语义信息的单目深度估计

针对目前的无监督学习方法在单目图像深度估计中存在深度估计不准确、边缘模糊的问题,提出了一种融合多尺度特征信息和语义信息的无监督单目深度估计网络。该网络不仅引入了从编码器到解码器的跳层连接来实现不同尺度特征的提取和融合,还在编码器和解码器之间引入多个空洞卷积并行的语义层来增加感受野,使得结果更加准确。最后在KITTI数据集上进行了训练和测试,误差指标均低于目前的无监督学习方法,图像预测的准确率在3个比例阈值下分别达到了91%,96.8%和98.7%,超过了所有的监督和无监督的方法,使场景中各目标的边缘更清晰,层次也更分明。     

基于深度估计的雾天模拟方法

针对雾天图像数据集匮乏问题，提出一种基于深度估计的雾天模拟方法。自适应调整亮度与饱和度对清晰原图像进行预处理，采用自监督单目深度挖掘网络生成图像的深度图，利用引导滤波优化深度图，设定模拟图像能见度获得透射率图，通过暗通道图区分天空区域并估计大气光值，最终由大气散射模型得到设定能见度下的雾天模拟图像。实验数据显示，该方法有效改善了模拟图像目标不清晰、雾气边缘锐化问题，在模拟能见度为2000 m以下的雾天图像时效果稳定，其雾天模拟图像与真实雾天图像的特征评价指标平均误差率为6.28%，表明该方法具有可行性，可对自然环境下清晰图像进行雾天模拟以解决雾天图像数据集匮乏与能见度数据缺失的问题。     

基于SVM模型的单目红外图像深度估计

提出一种通过非线性学习模型来估计单目红外图像深度的算法。该算法首先通过逐步线性回归和独立成分分析(ICA)寻找对于红外图像深度相关性较强的特征,然后以具有核函数的非线性支持向量机(SVM)为模型基础,采用监督学习的方法对红外图像深度特征进行回归分析并训练,在训练过程中通过已知数据回归后的最小均方误差对模型参数进行修正,训练后的模型可对单目红外图像的深度分布进行估计。实验结果证明,利用该模型能较一致地估计单目红外图像的深度信息。     

基于金字塔池化网络的道路场景深度估计方法

针对从单目视觉图像中估计深度信息时存在的预测精度不够准确的问题,该文提出一种基于金字塔池化网络的道路场景深度估计方法。该方法利用4个残差网络块的组合提取道路场景图像特征,然后通过上采样将特征图逐渐恢复到原始图像尺寸,多个残差网络块的加入增加网络模型的深度;考虑到上采样过程中不同尺度信息的多样性,将提取特征过程中各种尺寸的特征图与上采样过程中相同尺寸的特征图进行融合,从而提高深度估计的精确度。此外,对4个残差网络块提取的高级特征采用金字塔池化网络块进行场景解析,最后将金字塔池化网络块输出的特征图恢复到原始图像尺寸并与上采样模块的输出一同输入预测层。通过在KITTI数据集上进行实验,结果表明该文所提的基于金字塔池化网络的道路场景深度估计方法优于现有的估计方法。     

基于密集特征融合的无监督单目深度估计

针对无监督单目深度估计生成深度图质量低、边界模糊、伪影过多等问题,该文提出基于密集特征融合的深度网络编解码结构。设计密集特征融合层(DFFL)并将其以密集连接的形式填充U型编解码器,同时精简编码器部分,实现编、解码器的性能均衡。在训练过程中,将校正后的双目图像输入给网络,以重构视图的相似性约束网络生成视差图。测试时,根据已知的相机基线距离与焦距将生成的视差图转换为深度图。在KITTI数据集上的实验结果表明,该方法在预测精度和误差值上优于现有的算法。     

多尺度循环注意力网络运动模糊图像复原方法

在图像采集过程中,由于拍摄对象运动或相机自身运动造成的图像模糊对于后续的高级视觉任务会产生很不利的影响。针对当前深度学习图像去模糊方法不能兼顾去模糊效果和效率的问题,提出了一种多尺度循环注意力网络,使用深度可分离卷积降低参数量,改进注意力模块合理分配计算资源,对卷积层进行密集型连接提高参数利用效率,引入边缘损失提升生成图像边缘细节信息。经过实验验证,所提方法具有良好的泛化性能和鲁棒性,在Lai数据集和K?hler数据集上的SSIM和PSNR较近年典型方法的最佳效果分别提升了约1.15%、0.86%和0.91%、1.04%,在GoPro数据集上的平均单帧运行速度较同类方法提升约2.5倍。     

基于密集特征融合的无监督单目深度估计

针对无监督单目深度估计生成深度图质量低、边界模糊、伪影过多等问题,该文提出基于密集特征融合的深度网络编解码结构.设计密集特征融合层(DFFL)并将其以密集连接的形式填充U型编解码器,同时精简编码器部分,实现编、解码器的性能均衡.在训练过程中,将校正后的双目图像输入给网络,以重构视图的相似性约束网络生成视差图.测试时,根据已知的相机基线距离与焦距将生成的视差图转换为深度图.在KITTI数据集上的实验结果表明,该方法在预测精度和误差值上优于现有的算法.     

基于通道注意力机制的单目深度估计

现有单目深度估计（Monocular depth estimation）算法存在细节估计不准确、同一平面距离估计错误的问题。深度信息是通过图像像素的三通道信息估计出来的,目前已有的算法中很少考虑特征图通道之间的相互关系对深度信息的影响。因此本文提出了一种SE-DenseDepth网络,在网络的编码器中嵌入通道注意力机制,依据不同通道对深度信息的贡献度差异,对通道进行编码,提高编码器对图像特征的表征能力。为了获得图像精细的深度信息,网络建立编码器到解码器的跳连接,引入了更多的低层信息。本文在通用室内数据集NYU-Depth V2上训练,并在真实数据上测试。实验结果表明,本文提出的方法在深度突然变化的细节区域表现更好,在远距离大平面的情况下不会出现深度的断层,与其他主流算法相比可以获得较好的深度估计性能。     

Depth completion towards different sensor configurations via relative depth map estimation and scale recovery

Depth completion, which combines additional sparse depth information from the range sensors, substantially improves the accuracy of monocular depth estimation, especially using the deep-learning-based methods. However, these methods can hardly produce satisfactory depth results when the sensor configuration changes at test time, which is important for real-world applications. In this paper, the problem is tackled by our proposed novel two-stage mechanism, which decomposes depth completion into two subtasks, namely relative depth map estimation and scale recovery. The relative depth map is first estimated from a single color image with our designed scale-invariant loss function. Then the scale map is recovered with the additional sparse depth. Experiments on different densities and patterns of the sparse depth input show that our model always produces satisfactory depth results. Besides, our approach achieves state-of-the-art performance on the indoor NYUv2 dataset and performs competitively on the outdoor KITTI dataset, demonstrating the effectiveness of our method.     

采用KPCA和BP神经网络的单目车载红外图像深度估计

提出一种基于监督学习得到深度估计模型的单目车载红外图像深度估计方法。首先用核主成分分析法（KPCA）筛选红外图像特征。将最初提取的红外图像特征用核函数非线性映射到一个线性可分的高维特征空间,再完成主成分分析（PCA）,得到降维后的红外图像特征。然后以BP神经网络为模型基础,对红外图像特征和深度值进行训练,训练后的深度估计模型可对单目车载红外图像的深度分布进行估计。实验结果证明,利用该模型估计的单目车载红外图像的深度信息与原红外图像的深度信息一致。     

Depth estimation of supervised monocular images based on semantic segmentation

In recent years, the research method of depth estimation of target images using Convolutional Neural Networks (CNN) has been widely recognized in the fields of artificial intelligence, scene understanding and three-dimensional (3D) reconstruction. The fusion of semantic segmentation information and depth estimation will further improve the quality of acquired depth images. However, how to deeply combine image semantic information with image depth information and use image edge information more accurately to improve the accuracy of depth image is still an urgent problem to be solved. For this purpose, we propose a novel depth estimation model based on semantic segmentation to estimate the depth of monocular images in this paper. Firstly, a shared parameter model of semantic segmentation information and depth estimation information is built, and the semantic segmentation information is used to guide depth acquisition in an auxiliary way. Then, through the multi-scale feature fusion module, the feature information contained in the neural network on different layers is fused, and the local feature information and global feature information are effectively used to generate high-resolution feature maps, so as to achieve the goal of improving the quality of depth image by optimizing the semantic segmentation model. The experimental results show that the model can fully extract and combine the image feature information, which improves the quality of monocular depth vision estimation. Compared with other advanced models, our model has certain advantages.     

Accurate 3D hand pose estimation network utilizing joints information

In this paper, a method is proposed to improve the accuracy of 3D hand pose estimation. The existing methods make poor use of the depth information of hand joints and have difficulties of estimating the 3D coordinates accurately. To solve this problem, a method that utilizing the information between adjacent joints of each finger is proposed to estimate the depth coordinates of joints. In order to make full use of 2D information for depth estimation, this paper divides hand pose estimation into two sub-tasks (2D hand joints estimation and depth estimation). In depth estimation, a multi-stage network is proposed. We first estimate the depth of a part of hand joints, and then with the help of it and 2D information, the depth coordinates of adjacent joints can be well estimated. The method proposed in this paper has been proved to be effective on three public hand pose datasets through Self-comparisons. Compared with the methods that based on 2D CNN, our method achieves state-of-the-art performance on ICVL and NYU datasets, and also has a good result on MSRA dataset.     

基于空间金字塔匹配的单目热成像深度估计

热成像能够反映场景的温度分布,对热成像进行深度估计,可以恢复出场景的三维温度场,在故障诊断、夜视导航等领域具有重要意义。本文提出一种面向单目热成像深度估计的非参深度采样方法。为了克服热像纹理缺乏、轮廓模糊的缺点,使用了空间金字塔匹配(Spatial Pyramid Matching,SPM)来进行热像的特征分析。首先,基于SPM特征匹配,从数据库中筛选出与待估计深度的热像具有相似场景的候选热像;然后,采用SIFT Flow变形算法对候选热像的深度图进行采样,并将深度信息传递给待估计的热像。实验结果表明,这种方法能够对单目热像进行有效的深度估计,与同类算法相比具有明显优势。     

基于时频感知神经网络的语音频带扩展

为了进一步提高基于深度学习的语音频带扩展性能,提出了一种基于编解码器的神经网络结构,编码器对数据进行深度特征提取,解码器进行宽带语音重构,并在编解码器中间设计了局部敏感哈希自注意力层,用于增强模型对深度特征的有效选择。编解码器内部使用了时间卷积网络,有效提升了模型对语音时序数据上下文依赖关系的学习能力。为了促进模型朝更加准确的方向训练,还提出了一种时频感知损失函数,有利于模型在时域、频域以及感知域获取窄带语音到宽带语音的最优映射解。通过主观和客观实验结果表明,该方法优于传统方法和近几年基于深度神经网络的语音频带扩展方法。