基于局部注意力和位姿迭代优化的自监督单目深度估计算法

自监督单目深度估计在自动驾驶、智能制造等领域有着广泛的应用。然而由于自监督训练存在大量训练噪声,其估计精度受到了极大限制。针对自监督单目深度估计算法中深度估计精度有限的问题,本文提出了一种基于局部注意力机制和迭代调优的自监督单目深度估计框架。首先,对于深度估计网络,基于局部像素间深度值的高度相关性,本文设计了一种局部注意力机制来融合高分辨率特征图的局部特征,提升深度估计的准确性;其次,对于位姿估计网络,本文设计了一种迭代调优的位姿估计结构,利用残差优化的方式降低位姿估计难度,提升位姿估计的准确性进而提升深度估计网络的性能。实验表明,本文提出的改进自监督单目深度估计算法有效提升了深度估计的精度。      

基于自监督深度学习的全景图像深度估计研究

深度估计在虚拟现实、场景重建、自动驾驶和目标检测等领域发挥着重要作用。全景图像包含全向视野信息,逐渐成为深度估计领域的研究热点。但是,全景图像存在图像畸变的问题,而且深度数据采集、标注较为困难。对此,提出采用自监督方式,利用自监督深度学习算法,引入通道优化多空间融合注意力机制,增强远距离特征提取,以获取全局和局部信息。同时,引入全景感受野块,扩充感受野以获取多尺度信息。     

基于深度学习的单张彩色图像手部网格重建方法综述

阐述计算机视觉领域中的手部三维重建模型分类，在静态环境和动态环境下的手部重建，探讨两种研究方法近年来的发展以及各自的应用状况，分析手部重建中的问题和发展趋势。     

基于自注意力机制的多阶段无监督单目深度估计网络

单幅图像的深度估计是场景几何理解过程中的一个重要步骤,但由于尺度模糊,也被计算机视觉领域普遍认为是一个典型的不适定问题。近年来,尽管监督学习方法在单目深度估计中取得了基本令人满意的效果,但需要对数据集进行大量真实深度值的标记,这是一项成本较高的工作。此外,由于物体的运动、遮挡、光照等常见问题,单目深度估计的表现并不尽如人意,尤其是在物体边缘和弱纹理区域。为了解决这些问题,本文提出了一种基于自注意力的多阶段无监督单目深度估计网络。该方法具有以下特点:1)多阶段网络结构对训练过程中的深度估计具有较强的约束和监督作用;2)通过掩模加权重构损失和左右视差一致性损失对网络进行优化;3)采用自注意力机制捕捉更多上下文信息,进而提升预测结果。实验结果表明,该方法在KITTI数据集上的深度估计效果达到甚至超过了已有方法。      

基于深度学习的2D人体姿态估计浅析

近年来,随着深度学习技术的发展,基于深度学习的2D人体姿态估计展现出了极其优异的效果。文章主要对2014年以来基于深度学习的2D人体姿态估计相关内容进行了分析和评述,包括对主流方法的介绍和对数据集评价指标的总结对比,最后还讨论了2D人体姿态估计的未来研究方向。     

基于姿态估计的驾驶员手部动作检测研究

为有效检查驾驶员在行驶过程中的不当行为,本文研究结合人体姿态估计信息的检测算法,通过对检测目标的约束,建立起一套具有多阶段的手部动作检测方法。该方法包含三个模块。第一,人体姿态估计模块,选取人体姿态估计网络关节的高斯热图层,通过输出的人体姿态高斯热图信息,达到对检测目标的空间信息的获取;第二,手部检测模块,基于CNN的检测网络,在网络输入层融合人体姿态高斯热图后,达到对手部的检测率提高的效果;第三,手部动作分类模块,通过接受手部检测模块的输出,消除对检测结果产生干扰的背景,将分类网络的特征提取约束在手部局部位置,提高手部动作分类的准确率,将手部区域输入至分类网络得到驾驶员手部动作,从而判断驾驶员是否存在抽烟、接听电话等不当行为,实现驾驶员的行为检测。为了验证本文提出的多阶段的手部动作检测方法,已在自制数据集上进行了相应实验。      

深度学习的二维人体姿态估计综述

本文针对基于深度学习的二维人体姿态估计方法进行了全面综述.首先对这些深度学习技术进行了分类、分析和比较,并介绍了二维人体姿态估计中常用的数据集和指标,最后还讨论了有待解决的问题和未来研究的挑战.     

基于FTV的改进深度估计算法

深度估计是任意视点电视(Free View Television,FTV)系统的关键技术。为提高深度边缘的深度估计准确度,并解决视频序列中不同帧间同一深度物体深度估计值不一致问题,提出一种在深度图的时间一致性保持算法,以前一帧的深度图与当前视图的运动信息为约束条件估计当前帧的深度,使得相邻帧的深度图在时间上保持一致。     

融合一致性与差异性约束的光场深度估计

光场图像深度估计是光场三维重建、目标检测、跟踪等应用中十分关键的技术.虽然光场图像的重聚焦特性为深度估计提供了非常有用的信息,但是在处理遮挡区域、边缘区域、噪声干扰等情况时,光场图像深度估计仍然存在很大的挑战.因此,提出了一种基于极平面图(Epipolar plane image,EPI)斜线像素一致性和极平面图区域差异性的深度估计算法用于解决遮挡和噪声问题.EPI斜线像素的一致性采用旋转线性算子(Spinning linear operator,SLO)的颜色熵度量,能够提高深度图边缘的准确性以及抗噪能力;EPI区域的差异性采用旋转平行四边形算子(Spinning parallelogram operator,SPO)的卡方x2度量,能够提高深度图深度渐变区域的准确性,并使用置信度加权的方法将两种度量进行融合,可以减少遮挡区域和噪声的干扰.另外,充分利用像素邻域的颜色相似性,使用引导保边滤波器和马尔科夫随机场(Markov random field,MRF)全局优化策略进行后处理,进一步减少深度图的边缘错误,得到遮挡边缘准确的深度图.在HCI光场数据集上进行了实验,并与经典光场深度估计算法进行了对比,结果表明该算法在主观质量和客观指标两方面都有明显提升.     

融合一致性与差异性约束的光场深度估计

光场图像深度估计是光场三维重建、目标检测、跟踪等应用中十分关键的技术.虽然光场图像的重聚焦特性为深度估计提供了非常有用的信息,但是在处理遮挡区域、边缘区域、噪声干扰等情况时,光场图像深度估计仍然存在很大的挑战.因此,提出了一种基于极平面图(Epipolar plane image,EPI)斜线像素一致性和极平面图区域差异性的深度估计算法用于解决遮挡和噪声问题.EPI斜线像素的一致性采用旋转线性算子(Spinning linear operator,SLO)的颜色熵度量,能够提高深度图边缘的准确性以及抗噪能力;EPI区域的差异性采用旋转平行四边形算子(Spinning parallelogram operator,SPO)的卡方x2度量,能够提高深度图深度渐变区域的准确性,并使用置信度加权的方法将两种度量进行融合,可以减少遮挡区域和噪声的干扰.另外,充分利用像素邻域的颜色相似性,使用引导保边滤波器和马尔科夫随机场(Markov random field,MRF)全局优化策略进行后处理,进一步减少深度图的边缘错误,得到遮挡边缘准确的深度图.在HCI光场数据集上进行了实验,并与经典光场深度估计算法进行了对比,结果表明该算法在主观质量和客观指标两方面都有明显提升.     

基于视觉的非合作空间目标三维姿态估计方法

基于视觉的非合作空间目标3维姿态估计,关键在于建立观测图像与目标模型的特征关联。当前方法往往通过采用复杂的多维特征、产生候选关联结果的方式确保特征关联的准确性,难以兼顾算法效率。为解决以上问题,该文提出一种结合深度学习技术的姿态估计方法,首先通过深度神经网络得到姿态初值,然后基于姿态初值建立图像和目标模型之间的特征关联,进而求解目标姿态。所提方法中,深度神经网络提供了稳定的姿态初值,缩小了特征关联的候选空间;在姿态初值的支撑下采取了更为高效的特征提取与匹配方法。仿真实验表明,该文方法相比于现有方法更好地兼顾了算法准确率和效率。     

带特征监控的高维信息编解码端到端无标记人体姿态估计网络

针对点云空间三维信息非结构化和旋转易变性对预测结果的影响,提出一种带特征监控的三维信息编解码卷积神经网络,该网络可实现三维空间下单目深度图的端对端无标记人体姿态估计.所设计的网络由特征监控编解码组件串联而成,该组件第一部分使用三维卷积模块以类似沙漏结构的形式组合设计,实现对特征图的编码和解码;第二部分以不同参数残差块并联,实现对特征图的监控融合,第一部分与第二部分首尾连接构成组件.特征监控编解码组件能根据数据集大小,通过串联的方式搭建不同深度的网络,同时根据数据分辨率,设置组件参数,实现由粗到精的特征学习,最终获得最佳网络.通过ITOP数据库的实验表明,该网络实现了空间三维信息的端到端深度学习,显著提高了系统性能并具有更高的精度.     

基于改进热图损失函数的目标6D姿态估计算法

针对传统热图回归使用的均方误差（MSE）损失函数训练热图回归网络的精度不高且训练缓慢的问题,本文提出了用于热图回归的损失函数Heatmap Wing Loss(HWing Loss)。该损失函数对于不同的像素值有不同的损失函数值,前景像素的损失函数梯度更大,可以使网络更加关注前景像素,使热图回归更加准确快速。同时根据热图分布特性,使用基于高斯分布的关键点推理方法减小热图推断关键点时的量化误差。以此两点为基础,构造新的基于关键点定位的单目标姿态估计的算法。实验结果表明,相比于使用MSE Loss的算法,使用HWing Loss的姿态估计算法有更高的ADD(-S)准确率,在LINEMOD数据集上达到了88.8%,性能优于近期其他的基于深度学习的姿态估计算法。本文算法在RTX3080 GPU上最快能以25 fps的速度运行,兼具速度与性能优势。     

基于深度学习的三维人体姿态估计技术

基于视觉的人机交互技术通过捕捉识别身体语言为人们提供更加灵活便捷的交互方式,是人工智能与自然人机交互领域极具价值的研究内容.基于深度学习的三维人体姿态估计技术作为底层基础技术,对基于视觉的人机交互技术的快速发展与广泛应用起到了重要的推动作用.本文首先概述三维人体姿态估计技术的基本概念与主要挑战,并对不同方法进行分类,随...     

基于自监督对比学习的深度神经网络对抗鲁棒性提升

基于深度神经网络的多源图像内容自动分析与目标识别方法近年来不断取得新的突破,并逐步在智能安防、医疗影像辅助诊断和自动驾驶等多个领域得到广泛部署。然而深度神经网络的对抗脆弱性给其在安全敏感领域的部署带来巨大安全隐患。对抗鲁棒性的有效提升方法是采用最大化网络损失的对抗样本重训练深度网络,但是现有的对抗训练过程生成对抗样本时需要类别标记信息,并且会大大降低无攻击数据集上的泛化性能。本文提出一种基于自监督对比学习的深度神经网络对抗鲁棒性提升方法,充分利用大量存在的无标记数据改善模型在对抗场景中的预测稳定性和泛化性。采用孪生网络架构,最大化训练样本与其无监督对抗样本间的多隐层表征相似性,增强模型的内在鲁棒性。本文所提方法可以用于预训练模型的鲁棒性提升,也可以与对抗训练相结合最大化模型的“预训练+微调”鲁棒性,在遥感图像场景分类数据集上的实验结果证明了所提方法的有效性和灵活性。      

基于密集特征融合的无监督单目深度估计

针对无监督单目深度估计生成深度图质量低、边界模糊、伪影过多等问题,该文提出基于密集特征融合的深度网络编解码结构.设计密集特征融合层(DFFL)并将其以密集连接的形式填充U型编解码器,同时精简编码器部分,实现编、解码器的性能均衡.在训练过程中,将校正后的双目图像输入给网络,以重构视图的相似性约束网络生成视差图.测试时,根据已知的相机基线距离与焦距将生成的视差图转换为深度图.在KITTI数据集上的实验结果表明,该方法在预测精度和误差值上优于现有的算法.     

基于空间雕刻和自注意力机制的卫星姿态估计算法

传统的单目姿态估计算法采用卷积网络在图像中定位若干关键点,再基于2D-3D匹配技术估计目标的姿态,但卫星上的关键点分布较分散,卷积网络由于其受限的感受野导致关键点的定位精度低,影响后续姿态估计的精度。此外传统流程需要人工标注关键点位置和目标的掩膜,标注成本高。为了解决传统方法感受野受限问题,在卷积网络中引入自注意力机制,赋予其全局建模能力,提高了关键点的定位精度。为了改善传统方法需要大量人工标注的问题,通过空间雕刻,重构了目标的点云,再将点云重投影回像素平面,自动化获取所需标签,省略了人工标注过程,提高了算法实用性。实验结果表明：所提算法在SPEED数据集上进行验证,关键点定位精度为92%,姿态平移误差为0.236%,姿态旋转误差为9.86×10^-3弧度,在简化算法复杂度的同时提升了精度。可以有效应用于航天器之间的相对姿态估计。     

基于密集特征融合的无监督单目深度估计

针对无监督单目深度估计生成深度图质量低、边界模糊、伪影过多等问题,该文提出基于密集特征融合的深度网络编解码结构。设计密集特征融合层(DFFL)并将其以密集连接的形式填充U型编解码器,同时精简编码器部分,实现编、解码器的性能均衡。在训练过程中,将校正后的双目图像输入给网络,以重构视图的相似性约束网络生成视差图。测试时,根据已知的相机基线距离与焦距将生成的视差图转换为深度图。在KITTI数据集上的实验结果表明,该方法在预测精度和误差值上优于现有的算法。     

基于自监督学习的热红外图像景深估计方法

从热红外图像对比度低、细节信息不足等特点出发,提出了一种面向热红外图像的景深估计方法。首先,设计了一种红外特征聚合模块,提高了对目标物边缘和小目标的全方位深度信息获取能力;其次,在特征融合模块中引入了通道注意力机制,进一步融合通道间的交互信息;在此基础上,建立了一种深度估计网络,实现热红外图像的像素级景深估计。消融实验与对比实验的结果表明,该方法在热红外图像像素级景深估计中性能优于其他代表性方法。