基于循环卷积神经网络的单目视觉里程计

提出了一种基于卷积长短期记忆(LSTM)网络和卷积神经网络(CNN)的单目视觉里程计方法,命名为LSTMVO(LSTM visual odometry).LSTMVO采用无监督的端到端深度学习框架,对单目相机的6-DoF位姿以及场景深度进行同步估计.整个网络框架包含位姿估计网络以及深度估计网络,其中位姿估计网络是以端到端方式实现单目位姿估计的深度循环卷积神经网络(RCNN),由基于卷积神经网络的特征提取和基于循环神经网络(RNN)的时序建模组成,深度估计网络主要基于编码器和解码器架构生成稠密的深度图.同时本文还提出了一种新的损失函数进行网络训练,该损失函数由图像序列之间的时序损失、深度平滑度损失和前后一致性损失组成.基于KITTI数据集的实验结果表明,通过在原始单目RGB图像上进行训练,LSTMVO在位姿估计精度以及深度估计精度方面优于现有的主流单目视觉里程计方法,验证了本文提出的深度学习框架的有效性.     

轻量化自监督单目深度估计

目前, 大多数的增强现实和自动驾驶应用不仅会使用到深度网络估计的深度信息, 还会使用到位姿网络估计的位姿信息. 将位姿网络和深度网络同时集成到嵌入式设备上, 会极大地消耗内存. 为解决这一问题, 提出一种深度网络和位姿网络共用特征提取器的方法, 使模型保持在一个轻量级的尺寸. 此外, 通过带有线性结构的深度可分离卷积轻量化深度网络, 使网络在不丢失过多细节信息前提下还可获得更少的参数量. 最后, 通过在KITTI数据集上的实验表明, 与同类算法相比, 该位姿网络和深度网络参数量只有的 35.33 MB. 同时, 恢复深度图的平均绝对误差也保持在0.129.     

融合全景分割的单目深度估计网络

针对遮挡和杂乱光线导致的不同区域深度边缘模糊、边界伪影等问题，提出一种结合多任务轻量型卷积神经网络的单目深度图像估计方法。利用全景分割网络来辅助单幅图片的深度估计，选择MobileNetv2作为特征提取网络，解码器端融合以上两类任务进行相似性辅助决策。提出一种多任务融合模块，包括多尺度映射单元和多任务融合单元两部分，利用深度空洞卷积扩大不同感受野，融合多任务来优化深度图像的估计。此外编解码器结构之间添加跳跃连接实现不同层次的知识传递。在NYUdepth-v2数据集上的对比实验结果表明，该方法深度图估计结果更加清晰，并能有效去除深度图中的边界模糊，同时该网络在参数数量上相较大多数估计方法大幅度减少，准确率明显提升。     

姿态干扰下的深度人脸验证

人脸验证广泛应用于生活中各种场景,而普通RGB图像的获取依赖于光照条件。为解决光照和头部姿态对任务的干扰,提出了一个基于卷积神经网络的孪生网络L2-Siamese。首先,直接将成对的深度图作为输入;然后,用两个共享权重的卷积神经网络分别提取面部特征后,引入L2范数将不同姿态的人脸特征约束在一个半径固定的超球上;最后,通过全连接层将特征之间的差异映射为（0,1）区间的概率值来判断该组图像是否属于同一对象。为了验证L2-Siamese的有效性,在公共数据集Pandora上进行了测试。实验结果显示,L2-Siamese整体性能良好。将Pandora根据头部姿态干扰大小进行分组后的测试结果表明,在头部最大姿态干扰下,与当前最好的算法全卷积孪生网络相比,该网络预测准确率提高了4个百分点,有明显提升。     

道路环境下动态特征视觉里程计研究

针对道路环境下移动车辆导航和定位的问题,提出了一种基于道路环境动态语义特征的单目视觉里程计。设计了一个自监督的卷积神经网络,对单目连续图像建模,直接预测深度图和位姿向量,不再依赖人工设计的特征点。针对道路环境下动态物体破坏光度一致性的问题,提出利用语义先验信息提高视觉里程计精度。设计两个全连接层分别估计旋转和平移向量。实验结果表明,该方法得到了与传统视觉里程计比肩的精度,并且在道路环境下具有优越的性能。     

基于密集卷积网络的单目图像深度估计方法

为解决目前单目图像深度估计方法存在的精度低、网络结构复杂等问题,提出一种密集卷积网络结构,该网络采用端到端的编码器和解码器结构。编码器引入密集卷积网络DenseNet,将前面每一层的输出作为本层的输入,在加强特征重用和前向传播的同时减少参数量和网络计算量,从而避免梯度消失问题发生。解码器结构采用带有空洞卷积的上投影模块和双线性插值模块,以更好地表达由编码器所提取的图像特征,最终得到与输入图像相对应的估计深度图。在NYU Depth V2室内场景深度数据集上进行训练、验证和测试,结果表明,该密集卷积网络结构在δ<1.25时准确率达到0.851,均方根误差低至0.482。     

融合残差上采样结构的P2Net无监督单目深度估计

单目深度估计是计算机视觉领域中的一个基本问题,面片匹配与平面正则化网络(P²Net)是现阶段最先进的无监督单目深度估计方法之一.由于P²Net中深度预测网络所采用的上采样方法为计算过程较为简单的最近邻插值算法,使得预测深度图的生成质量较差.因此,本文基于多种上采样算法构建出残差上采样结构来替换原网络中的上采样层,以获取更多特征信息,提高物体结构的完整性.在NYU-Depth V2数据集上的实验结果表明,基于反卷积算法、双线性插值算法和像素重组算法的改进P²Net网络相较原网络在均方根误差RMSE指标上分别降低了2.25%、2.73%和3.05%.本文的残差上采样结构提高了预测深度图的生成质量,降低了预测误差.     

基于图像超分辨率的多尺度特征交互传播研究

该文构建了一种可对不同形式的多尺度结构进行归纳的统一框架,并基于该框架系统地探究了多尺度卷积的两个因素——特征传播和跨尺度交互,提出了简单而有效的多尺度卷积单元——多尺度-跨尺度-权重共享的卷积(MS³-Conv)网络。实验结果表明,与基于标准卷积的网络相比,基于MS³-Conv的网络可使用较少的参数和较低的计算成本实现更好的图像重建性能。除了定量分析,该文也对重建图像进行可视化分析,证明了MS³-Conv网络能更好地恢复高频细节。     

融合感知损失的单幅雾霾图像深度估计

针对雾霾情况下室内外图像深度难以估计的问题,提出了融合感知损失函数的单幅雾霾图像深度估计方法.首先采用双尺度网络模型对雾霾图像进行粗提取,再结合底层特征进行局部细化;然后在上采样阶段使用多卷积核上采样方法,得到雾霾图像的预测深度图;最后将像素级损失函数与感知损失函数结合构造新的复合损失函数,对网络进行训练.在室内NYU...     

轻量金字塔解码结构的单目深度估计网络

针对单目深度估计网络庞大的参数量和计算量,提出一种轻量金字塔解码结构的单目深度估计网络,可以在保证估计精度的情况下降低网络模型的复杂度、减少运算时间。该网络基于编解码结构,以端到端的方式估计单目图像的深度图。编码端使用ResNet50网络结构;在解码端提出了一种轻量金字塔解码模块,采用深度空洞可分离卷积和分组卷积以提升感受野范围,同时减少了参数量,并且采用金字塔结构融合不同感受野下的特征图以提升解码模块的性能;此外,在解码模块之间增加跳跃连接实现知识共享,以提升网络的估计精度。在NYUD v2数据集上的实验结果表明,与结构注意力引导网络相比,轻量金字塔解码结构的单目深度估计网络在误差RMS的指标上降低约11.0%,计算效率提升约84.6%。