基于自注意力机制的多阶段无监督单目深度估计网络

单幅图像的深度估计是场景几何理解过程中的一个重要步骤,但由于尺度模糊,也被计算机视觉领域普遍认为是一个典型的不适定问题。近年来,尽管监督学习方法在单目深度估计中取得了基本令人满意的效果,但需要对数据集进行大量真实深度值的标记,这是一项成本较高的工作。此外,由于物体的运动、遮挡、光照等常见问题,单目深度估计的表现并不尽如人意,尤其是在物体边缘和弱纹理区域。为了解决这些问题,本文提出了一种基于自注意力的多阶段无监督单目深度估计网络。该方法具有以下特点:1)多阶段网络结构对训练过程中的深度估计具有较强的约束和监督作用;2)通过掩模加权重构损失和左右视差一致性损失对网络进行优化;3)采用自注意力机制捕捉更多上下文信息,进而提升预测结果。实验结果表明,该方法在KITTI数据集上的深度估计效果达到甚至超过了已有方法。      

基于CBAM的深度序数回归方法

本文针对单目深度估计模型深度序数回归算法中全图像编码器易丢失较大像素值像素特征信息和位置信息的缺点,提出一种基于CBAM的深度序数回归方法.首先,将CBAM嵌入到深度序数回归算法中作为全图像编码器,依次采用通道注意力机制和空间注意力机制来捕获图像完整的特征信息和位置信息,通过获得的注意力图重新调整原始特征;其次,对像素的深度值进行离散,将深度估计重新转化为序数回归问题;最后,使用回归损失函数对网络进行训练.实验结果表明,相比于其他有监督学习、半监督学习和无监督学习的方法,该方法在KITTI数据集上取得更好的效果.     

基于Informer的电池荷电状态估算及其稀疏优化方法

准确估计电池荷电状态（State Of Charge,SOC）是延长电动汽车电池使用寿命，确保电动汽车行驶安全的重要基础.传统的深度学习估计方法存在并行化计算效率不高、训练时间长的问题.为此，利用基于自注意力机制的Informer模型来估计电池SOC.其降低了传统自注意力机制的时间复杂度、提高了硬件使用率、降低了训练时长，与其他深度学习方法相比估计更准确.然而Informer模型仍然存在体量大及参数冗余的问题，故提出稀疏优化方法 .利用基于彩票假设的幅值迭代剪枝方法对Informer进行稀疏化处理，突出主导注意力特征，实现了在降低参数冗余的同时提升模型估计精度.在室温下，提出的稀疏化Informer模型估计电池SOC的平均绝对误差和均方根误差分别达到0.285 8%和0.383 0%，相比于Informer模型在平均绝对误差指标上估计精度提升了25%.并验证了其具备估计不同类型锂电池SOC的泛化能力.与循环神经网络、卷积神经网络这类传统的深度学习模型相比，本模型进行电池SOC估计时训练速度更快，估计准确性和稳定性更高.     

基于SVM模型的单目红外图像深度估计

提出一种通过非线性学习模型来估计单目红外图像深度的算法。该算法首先通过逐步线性回归和独立成分分析(ICA)寻找对于红外图像深度相关性较强的特征,然后以具有核函数的非线性支持向量机(SVM)为模型基础,采用监督学习的方法对红外图像深度特征进行回归分析并训练,在训练过程中通过已知数据回归后的最小均方误差对模型参数进行修正,训练后的模型可对单目红外图像的深度分布进行估计。实验结果证明,利用该模型能较一致地估计单目红外图像的深度信息。     

基于层级特征融合的单目深度估计算法

MonoDepth2的提出使自监督单目深度估计取得了 重大的进展,但该网络在大的无语义区域和边界处预测效果并不理想, 主要原因是基础的U-Net框架没有充分利用多尺度特征信息,导致来自于大梯度区域的深 度估计较差。针对此问题,本文提出 了一个改进的DepthNet,层级特征融合网络(hierarchical integration net,HINet)。优 化了U-Net网络结构,使编码器端在每一层 都能产生不同尺度的特征信息,从而让解码器端在每一层都能够充分融合多尺度特征。由于 不同尺度的特征信息对于特定的解 码器层都有不同程度的贡献,本文提出的层级特征融合算法还增加了通道注意力模块,提升 重要特征尺度的权重。当采用立体 图像对进行训练时,本文对数据进行了预处理,并增加了立体对的深度暗示损失函数。在KI TTI 数据集上的实验结果表明,所 有指标均获得了不同程度的提升,其中绝对相对误差减少了0.09,平 方相对误差减少了0.093。     

基于通道注意力机制的单目深度估计

现有单目深度估计（Monocular depth estimation）算法存在细节估计不准确、同一平面距离估计错误的问题。深度信息是通过图像像素的三通道信息估计出来的,目前已有的算法中很少考虑特征图通道之间的相互关系对深度信息的影响。因此本文提出了一种SE-DenseDepth网络,在网络的编码器中嵌入通道注意力机制,依据不同通道对深度信息的贡献度差异,对通道进行编码,提高编码器对图像特征的表征能力。为了获得图像精细的深度信息,网络建立编码器到解码器的跳连接,引入了更多的低层信息。本文在通用室内数据集NYU-Depth V2上训练,并在真实数据上测试。实验结果表明,本文提出的方法在深度突然变化的细节区域表现更好,在远距离大平面的情况下不会出现深度的断层,与其他主流算法相比可以获得较好的深度估计性能。      

基于无预训练卷积神经网络的红外车辆目标检测

为解决基于卷积神经网络的目标检测算法对预训练权重的过度依赖,特别是数据稀缺条件下的红外场景目标检测,提出了融入注意力模块来缓解不进行预训练所带来的检测性能下降的方法。本文基于YOLO v3算法,在网络结构中融入模仿人类注意力机制的SE和CBAM模块,对提取的特征进行通道层面和空间层面的重标定。根据特征的重要程度,自适应地赋予不同权重,最终提升检测精度。在构建的红外车辆目标数据集上,注意力模块能够显著提升无预训练卷积神经网络的检测精度,融入了CBAM模块的网络检测精度为86.3 mAP。实验结果证明了注意力模块能够提升网络的特征提取能力,使网络摆脱对预训练权重的过度依赖。     

多特征点拓扑确定位姿测量算法研究

为解决单目视觉位姿测量时,由目标特征点较多导致图像点与目标点拓扑关系未知的问题,提出了一种多特征点拓扑确定位姿测量算法。较多特征点可在目标进行大角度运动时保证足够的特征点进行位姿解算,与较少特征点相比提高测量精度。该算法将拓扑确定的过程和位姿求解的迭代过程进行嵌套,同时进行拓扑确定和位姿计算。位姿计算的迭代过程基于平行透视投影模型,不需要目标重心投影点坐标作为迭代初始值。拓扑确定的过程转化为分配问题的求解过程。每次位姿迭代的过程中进行一次拓扑确定,拓扑确定的结果可以计算更优的位姿估计。通过多位姿测量实验和精度对比实验结果证明:该算法适合大范围、高精度的位姿测量,在-120~120范围内,位姿测量均方根误差为0。272。     

基于自监督深度学习的全景图像深度估计研究

深度估计在虚拟现实、场景重建、自动驾驶和目标检测等领域发挥着重要作用。全景图像包含全向视野信息,逐渐成为深度估计领域的研究热点。但是,全景图像存在图像畸变的问题,而且深度数据采集、标注较为困难。对此,提出采用自监督方式,利用自监督深度学习算法,引入通道优化多空间融合注意力机制,增强远距离特征提取,以获取全局和局部信息。同时,引入全景感受野块,扩充感受野以获取多尺度信息。     

基于SLBP深度信念网络的人脸识别研究

针对传统局部二值模式(LBP)特征提取不充分和分类器拟合的问题,提出一种基于局部纹理特征的显著局部二值模式(SLBP)和深度学习的人脸识别方法。首先,利用改进的SLBP算法提取人脸图像局部纹理特征,建立SLBP直方图;然后构建基于深度信念网络的深度学习架构,将SLBP直方图输入到深度信念网络中,采用无监督逐层训练法和有监督BP算法去训练网络,实现网络的自学习和自优化,得到网络参数;最后,利用DBN分类、识别人脸图像。仿真实验证实,所提人脸识别方法在识别率和鲁棒性方面优于传统人脸识别方法。     

基于网格模型的运动估计技术

网格模型的运动估计和跟踪在基于模型的编码方法中占有重要的地位,在现有的网格运动估计技术中,六边形匹配(Hexagonal Matching)是一种有效的网格模型运动估计算法,它采用局部最优和迭代策略相结合的方法得到较好的全局运动估计结果.六边形匹配算法由块搜索和迭代六边形匹配两步组成,同所有的基于模型的运动估计技术一样,六边形匹配算法也存在运算量大的问题难于满足实时编码需要.本文对六边形匹配算法从三个方面进行改进:用四步搜索替代全搜索、快速的纹理映射技术和有效的节点排序减少迭代次数.改进后的算法在基本上保证原算法的运动估计效率的情况下,算法的复杂度有明显的降低,使得基于模型的编码技术向实用化前进了一步.     

基于多任务学习的立体匹配算法

引入辅助任务信息有助于立体匹配模型理解相关知识,但也会增加模型训练的复杂度。为解决模型训练对额外标签数据的依赖问题,提出了一种利用双目图像的自相关性进行多任务学习的立体匹配算法。该算法在多层级渐进细化过程中引入了边缘和特征一致性信息,并采用循环迭代的方式更新视差图。根据双目图像中视差的局部平滑性和左右特征一致性构建了损失函数,在不依赖额外标签数据的情况下就可以引导模型学习边缘和特征一致性信息。提出了一种尺度注意的空间金字塔池化,使模型能够根据局部图像特征来确定不同区域中不同尺度特征的重要性。实验结果表明:辅助任务的引入提高了视差图精度,为视差图的可信区域提供了重要依据,在无监督学习中可用于确定单视角可见区域;在KITTI2015测试集上,所提算法的精度和运行效率均具有一定的竞争力。     

基于时空多特征融合网络的三维人体姿态估计北大核心CSCD

目前,常见的三维(3D)人体姿态估计算法在表征学习上取得很好的效果,但是在人体骨架关节点处依然存在估计精度不佳等问题,因此,如何从单目RGB图像中利用冗余的二维(2D)姿态序列时空信息来估计人体姿态的有效方式是一个研究的难点。本文提出一种基于时空多特征融合网络的三维人体姿态估计算法,具体是结合一种图像外观信息和运动时序信息时空多特征融合层级方法,该方法利用一种紧凑的卷积神经网络(convolutional neural network, CNN)学习时空信息将二维关节点位置信息建模为三维关节点位置。实验结果表明,本文所提出的方法能实现较为先进的端对端姿态估计精度,而且不需要任何后处理阶段的姿态优化方法,本文得到的姿态估计在平均精度上得到有效的提升,证明本文方法能够有效提高人体姿态估计的准确性。     

基于虚拟控制点的像机姿态测量算法

像机姿态测量,包括确定像机的旋转矩阵与平移向量,在机器视觉领域中有着非常广泛的应用。针对控制点异面分布的情况,提出了一种基于虚拟控制点的像机姿态测量算法。算法的主要思想是利用少量虚拟控制点实现像机姿态的短时间迅速求解,然后通过目前非常成熟的正交迭代算法,对求解结果进行精细调节,从而在整体上提高测量算法的精确度与稳定性。实验结果表明,算法在性能上优于目前比较流行的几种像机姿态迭代求解算法,而且具有较强的抗噪声干扰和抗控制点误匹配的能力,可以应用在实际的测量环境当中,是一种有效的像机姿态测量算法。     

Depth estimation of supervised monocular images based on semantic segmentation

In recent years, the research method of depth estimation of target images using Convolutional Neural Networks (CNN) has been widely recognized in the fields of artificial intelligence, scene understanding and three-dimensional (3D) reconstruction. The fusion of semantic segmentation information and depth estimation will further improve the quality of acquired depth images. However, how to deeply combine image semantic information with image depth information and use image edge information more accurately to improve the accuracy of depth image is still an urgent problem to be solved. For this purpose, we propose a novel depth estimation model based on semantic segmentation to estimate the depth of monocular images in this paper. Firstly, a shared parameter model of semantic segmentation information and depth estimation information is built, and the semantic segmentation information is used to guide depth acquisition in an auxiliary way. Then, through the multi-scale feature fusion module, the feature information contained in the neural network on different layers is fused, and the local feature information and global feature information are effectively used to generate high-resolution feature maps, so as to achieve the goal of improving the quality of depth image by optimizing the semantic segmentation model. The experimental results show that the model can fully extract and combine the image feature information, which improves the quality of monocular depth vision estimation. Compared with other advanced models, our model has certain advantages.     

基于扩展正交迭代的快速加权的相机位姿估计

相机位姿估计算法多基于参考点而较少利用图像中的直线信息,本文对于相机位姿估计算法的抗干扰性和实时性,在扩展正交迭代的基础上,提出了一种基于点和直线段结合的快速加权的相机位姿估计算法,该算法以加权共线性误差和加权共面性误差之和为误差函数,根据计算初值的深度信息和重投影误差确定权重系数,并对整体进行加速优化,将每次迭代计算的时间复杂度从O(n)降到了O(1)。仿真实验结果表明算法可以抑制异常点的干扰,减少计算时间,旋转矩阵计算误差比传统正交迭代算法减少48.31%,平移向量计算误差减少48.79%,加速优化后的计算时间为加速前的47.11%。实物实验表明该算法可以充分利用检测到的参考点和参考直线信息,提高计算精度,有较高的实际应用价值。     

基于测量误差不确定性加权的快速相机位姿估计算法

在相机位姿估计任务中,参考点位置的测量容易受测量仪器或者所处环境影响,出现一定程度的测量误差,其中误差较大的点对最终求解精度的影响很大,被称为野值点。文章针对现有算法抗野值点能力较弱的问题,提出一种基于测量误差不确定性加权的快速相机位姿估计算法。该算法以经典的正交迭代算法为基础,引入M估计方法,对目标函数根据参考点的测量误差赋予相应大小的权值,最大程度地将野值点的影响排除,并引入Kronecker积对计算过程进行优化,减少了迭代过程中的冗余计算,提高运算速度。仿真实验结果表明,改进后的算法提升了原算法的抗野值点能力,且计算速度更快。