基于自注意力机制的多阶段无监督单目深度估计网络

单幅图像的深度估计是场景几何理解过程中的一个重要步骤,但由于尺度模糊,也被计算机视觉领域普遍认为是一个典型的不适定问题。近年来,尽管监督学习方法在单目深度估计中取得了基本令人满意的效果,但需要对数据集进行大量真实深度值的标记,这是一项成本较高的工作。此外,由于物体的运动、遮挡、光照等常见问题,单目深度估计的表现并不尽如人意,尤其是在物体边缘和弱纹理区域。为了解决这些问题,本文提出了一种基于自注意力的多阶段无监督单目深度估计网络。该方法具有以下特点:1)多阶段网络结构对训练过程中的深度估计具有较强的约束和监督作用;2)通过掩模加权重构损失和左右视差一致性损失对网络进行优化;3)采用自注意力机制捕捉更多上下文信息,进而提升预测结果。实验结果表明,该方法在KITTI数据集上的深度估计效果达到甚至超过了已有方法。      

基于通道注意力机制的单目深度估计

现有单目深度估计（Monocular depth estimation）算法存在细节估计不准确、同一平面距离估计错误的问题。深度信息是通过图像像素的三通道信息估计出来的,目前已有的算法中很少考虑特征图通道之间的相互关系对深度信息的影响。因此本文提出了一种SE-DenseDepth网络,在网络的编码器中嵌入通道注意力机制,依据不同通道对深度信息的贡献度差异,对通道进行编码,提高编码器对图像特征的表征能力。为了获得图像精细的深度信息,网络建立编码器到解码器的跳连接,引入了更多的低层信息。本文在通用室内数据集NYU-Depth V2上训练,并在真实数据上测试。实验结果表明,本文提出的方法在深度突然变化的细节区域表现更好,在远距离大平面的情况下不会出现深度的断层,与其他主流算法相比可以获得较好的深度估计性能。     

基于自监督深度学习的全景图像深度估计研究

深度估计在虚拟现实、场景重建、自动驾驶和目标检测等领域发挥着重要作用。全景图像包含全向视野信息,逐渐成为深度估计领域的研究热点。但是,全景图像存在图像畸变的问题,而且深度数据采集、标注较为困难。对此,提出采用自监督方式,利用自监督深度学习算法,引入通道优化多空间融合注意力机制,增强远距离特征提取,以获取全局和局部信息。同时,引入全景感受野块,扩充感受野以获取多尺度信息。     

基于局部深度一致性的自监督手部姿态估计

基于深度图的3D手部姿态估计通常需要大量人工标注数据以达到高精确度和鲁棒性,然而关节点标注过程冗杂且存在一定误差.现有研究工作使用自监督方法解决对标注数据的依赖,通过在虚拟数据集上预训练网络,并在无标注的真实数据集上进行模型拟合,实现3D姿态估计.自监督方法的关键在于设计模型拟合的能量函数以减小模型在真实数据集上的精度下降程度.为了减小模型拟合难度,本文提出局部深度一致性损失,依据初始姿态估计结果,提取输入与输出深度图的局部表征,将深度图显式地解耦为以关节点为中心的不同区域.通过有针对性地对不同关节点进行局部优化,减少虚拟与真实深度图之间的固有领域误差对网络学习的影响,增加训练的稳定性.本文方法在NYU数据集上相比基础方法平均关节点误差提升了21.9%.     

基于层级特征融合的单目深度估计算法

MonoDepth2的提出使自监督单目深度估计取得了重大的进展,但该网络在大的无语义区域和边界处预测效果并不理想,主要原因是基础的U-Net框架没有充分利用多尺度特征信息,导致来自于大梯度区域的深度估计较差。针对此问题,本文提出了一个改进的DepthNet,层级特征融合网络(hierarchical integration net,HINet)。优化了U-Net网络结构,使编码器端在每一层都能产生不同尺度的特征信息,从而让解码器端在每一层都能够充分融合多尺度特征。由于不同尺度的特征信息对于特定的解码器层都有不同程度的贡献,本文提出的层级特征融合算法还增加了通道注意力模块,提升重要特征尺度的权重。当采用立体图像对进行训练时,本文对数据进行了预处理,并增加了立体对的深度暗示损失函数。在KITTI数据集上的实验结果表明,所有指标均获得了不同程度的提升,其中绝对相对误差减少了0.09,平方相对误差减少了0.093。     

基于SVM模型的单目红外图像深度估计

提出一种通过非线性学习模型来估计单目红外图像深度的算法。该算法首先通过逐步线性回归和独立成分分析(ICA)寻找对于红外图像深度相关性较强的特征,然后以具有核函数的非线性支持向量机(SVM)为模型基础,采用监督学习的方法对红外图像深度特征进行回归分析并训练,在训练过程中通过已知数据回归后的最小均方误差对模型参数进行修正,训练后的模型可对单目红外图像的深度分布进行估计。实验结果证明,利用该模型能较一致地估计单目红外图像的深度信息。     

基于OPA的时空约束单目视觉位姿估计算法

针对单目视觉系统中载体纯旋转运动引起的估计退化问题,结合运动参数约束条件,提出了一种基于OPA的时空约束单目视觉位姿估计方法。该方法利用OPA算法在估计本质矩阵和平移方向之前判断载体的运动形式,检测修正估计退化问题,并结合摄像机在运动过程中的时间相关约束及图像特征点在空间中的相关约束,实现单目视觉系统的位姿估计。两组对比实验结果分析表明,新算法相比于传统的估计算法具有更高的精度和稳定性。     

基于双摄像机的位姿估计迭代融合算法研究

提出了采用双摄像机配置实现的正交迭代算法.把两个摄像机作为整体实现迭代计算旋转矩阵R,使两个相机总的目标空间误差最小,将单相机每次迭代解算出的平移向量t进行均值融合,能进一步提高测量精度和鲁棒性.仿真结果表明,该算法能大大缩短运行时间,在计算精度,实时性,抗噪声性能方面对于共面标志点情况大大提高,对于非共面标志点情况也略有提高.     

基于扩展正交迭代的快速加权的相机位姿估计

相机位姿估计算法多基于参考点而较少利用图像中的直线信息,本文对于相机位姿估计算法的抗干扰性和实时性,在扩展正交迭代的基础上,提出了一种基于点和直线段结合的快速加权的相机位姿估计算法,该算法以加权共线性误差和加权共面性误差之和为误差函数,根据计算初值的深度信息和重投影误差确定权重系数,并对整体进行加速优化,将每次迭代计算的时间复杂度从O(n)降到了O(1)。仿真实验结果表明算法可以抑制异常点的干扰,减少计算时间,旋转矩阵计算误差比传统正交迭代算法减少48.31%,平移向量计算误差减少48.79%,加速优化后的计算时间为加速前的47.11%。实物实验表明该算法可以充分利用检测到的参考点和参考直线信息,提高计算精度,有较高的实际应用价值。     

二值加权正交迭代相机位姿估计算法

在相机位姿估计算法的实际应用中,由于2D像点与3D参考点的错误匹配,参考点中往往含有异常值。针对现有算法抗异常值能力较弱的问题,提出了一种基于正交迭代的二值加权算法。该算法在正交迭代算法的基础上,引入包含两个阈值的加权系统来衡量参考点的可靠性。选取重投影误差的四分位数中的最大值作为阈值之一,另外引入一个与重投影误差和焦距相关的阈值来加速异常值比例较低时的收敛速度。最终选取两阈值的最大值对目标函数进行二值加权,降低了异常值对估计结果的影响。实验表明,该方法提升了正交迭代算法的抗异常值能力,具有较强的鲁棒性。     

基于DRF-MAP模型的单目图像深度估计的改进算法

图像深度信息获取是机器视觉领域的活跃研究课题之一.将图像深度估计问题归结为模式识别问题,以单目图像深度为模式类,在多尺度下从图像块中提取绝对和相对深度特征,并选择表征上下文关系的DRF(Discriminative Random Field)方法来表述某图像块的深度和其邻域深度之间的关系,从而构建起基于DRF-MAP(Maximum a posteriori)的单目图像深度估计模型.通过实验,得到了一类单目图像对应的深度图像,从而证明了单目图像深度估计模型对应的改进算法的有效性.     

基于密集特征融合的无监督单目深度估计

针对无监督单目深度估计生成深度图质量低、边界模糊、伪影过多等问题,该文提出基于密集特征融合的深度网络编解码结构。设计密集特征融合层(DFFL)并将其以密集连接的形式填充U型编解码器,同时精简编码器部分,实现编、解码器的性能均衡。在训练过程中,将校正后的双目图像输入给网络,以重构视图的相似性约束网络生成视差图。测试时,根据已知的相机基线距离与焦距将生成的视差图转换为深度图。在KITTI数据集上的实验结果表明,该方法在预测精度和误差值上优于现有的算法。     

基于密集特征融合的无监督单目深度估计

针对无监督单目深度估计生成深度图质量低、边界模糊、伪影过多等问题,该文提出基于密集特征融合的深度网络编解码结构.设计密集特征融合层(DFFL)并将其以密集连接的形式填充U型编解码器,同时精简编码器部分,实现编、解码器的性能均衡.在训练过程中,将校正后的双目图像输入给网络,以重构视图的相似性约束网络生成视差图.测试时,根据已知的相机基线距离与焦距将生成的视差图转换为深度图.在KITTI数据集上的实验结果表明,该方法在预测精度和误差值上优于现有的算法.     

基于单目双焦及SIFT特征匹配的深度估计方法

提出一种基于单目双焦及SIFT特征匹配的深度估计方法.根据空间景物的深度在不同焦距下其成像的矢量位置和对应的焦距形成几何关系的原理,通过单相机获取两幅不同焦距下的图像后,运用SIFT算法对两幅图像进行特征提取和特征匹配,得出同一景物像素点距中心点的偏移位置比,从而通过几何关系公式计算出像素点的深度值,以此获取深度图.经实验验证了该方法的可行性,实验结果表明,使用该方法获取深度值仅需单台相机这一设备,方法简单易行,且成本低,具有广阔的应用范围.     

基于深度CRF网络的单目红外场景深度估计

对单目红外图像进行深度估计,不仅有利于3D场景理解,而且有助于进一步推广和开发夜间视觉应用.针对红外图像无颜色、纹理不丰富、轮廓不清晰等缺点,本文提出一种新颖的深度条件随机场网络学习模型(deep conditional random field network,DCRFN)来估计红外图像的深度.首先,与传统条件随机场(conditional random field,CRF)模型不同,DCRFN不需预设成对特征,可通过一个浅层网络架构提取和优化模型的成对特征.其次,将传统单目图像深度回归问题转换为分类问题,在损失函数中考虑不同标签的有序信息,不仅加快了网络的收敛速度,而且有助于获得更优的解.最后,本文在DCRFN损失函数层计算不同空间尺度的成对项,使得预测深度图的景物轮廓信息相比于无尺度约束模型更加丰富.实验结果表明,本文提出的方法在红外数据集上优于现有的深度估计方法,在局部场景变化的预测中更加平滑.