基于深度学习SuperGlue算法的单目视觉里程计

基于特征点法的视觉里程计中,光照和视角变化会导致特征点提取不稳定,进而影响相机位姿估计精度,针对该问题,提出了一种基于深度学习SuperGlue匹配算法的单目视觉里程计建模方法。首先,通过SuperPoint检测器获取特征点,并对得到的特征点进行编码,得到包含特征点坐标和描述子的向量;然后,通过注意力GNN网络生成更具代表性的描述子,并创建M×N型得分分配矩阵,采用Sinkhorn算法求解最优得分分配矩阵,从而得到最优特征匹配;最后,根据最优特征匹配进行相机位姿恢复,采用最小化投影误差法进行相机位姿优化。实验结果表明,在无后端优化的条件下,该算法与基于ORB或SIFT算法的视觉里程计相比,不仅对视角和光线变化更鲁棒,而且其绝对轨迹误差和相对位姿误差的精度均有显著提升,进一步验证了基于深度学习的SuperGlue匹配算法在视觉SLAM中的可行性和优越性。     

双损失估计下强化学习型图像匹配方法

学习型特征检测器利用神经网络来检测和匹配图像特征点,其网络参数通常通过优化低层视觉的匹配准确率而训练得到,然而在高级视觉任务中,低层图像配准率的提升未必能带来更佳性能.针对该问题,提出一种双损失误差策略下的强化学习方法,一方面,将学习不变特征变换(LIFT)所得到的特征点和描述符以概率形式表示,估算出图像间的相对位姿,...     

基于几何先验和深度学习的点云法矢估算

法矢是三维点云曲面最基本的几何属性.为解决传统几何估算子与基于学习技术中的问题,提出基于几何先验和深度学习的点云法矢估算方法.首先,使用一个多尺度曲面块选择方法保持点云的特征和细节,以降低后续深度网络的学习难度;然后,结合局部特征和几何先验知识设计一个法矢优化神经网络,输出精确点云法矢;最后使用合成模型数据和Microsoft Kinect V1扫描得到的真实模型数据进行验证,使用平均角度误差作为度量标准与主流方法进行对比,定量和定性分析结果表明文中方法在保持模型细节和噪声鲁棒性方面均明显优于对比方法.     

基于多约束优化的图像深度信息估计

提出了一种基于深度学习的多约束框架,用于从单目视频中预测深度图。该框架不仅通过最小化光度误差来对网络进行优化,还引入了匹配点对约束和极线约束来弥补光度误差在无纹理区域和光照变化情况下的不稳定性。此外,该框架还加入了非连续图像之间的约束来改善模型的表现。通过与其他深度估计方法进行对比分析,结果表明：该框架可以提高深度预测的准确性,增强了模型在处理无纹理区域和光照变化时的鲁棒性。     

融合双目视觉与惯导信息的高效视觉里程计算法

为提高视觉里程计(VO)在大尺度环境下运行的实时性,提出一种融合双目视觉与惯导信息的视觉里程计算法,主要由前端位姿跟踪和后端局部地图优化两个线程组成.位姿跟踪线程首先使用惯导信息辅助光流法进行帧间特征点跟踪并估计相机初始位姿;接着通过最小化图像光度误差获取当前帧像素点与局部地图点的对应关系;而后最小化当前帧上局部地图点的重投影误差和惯性测量单元(IMU)预积分误差,得到当前帧准确的位姿估计.后端局部地图优化线程对滑动窗口内的关键帧提取特征点并三角化新地图点,使用光束平差法(BA)对逆深度参数化表示的地图点位置、关键帧位姿、速度以及陀螺仪和加速度计零偏进行滑窗优化,为前端提供更加精确的局部地图相机位姿和环境信息.在EuRoC数据集上的实验表明,相比于ORB-SLAM2、ORB-SLAM3算法,该融合双目视觉与惯导信息的视觉里程计算法的定位精度略有下降,但可以较大程度地提高位姿跟踪的实时性.     

特征自适应的三维模型最优视点提取

针对目前采用不同几何特征度量的视点优化算法在普适性方面的局限性,提出一种与三维模型特征相适应的视点优化算法.首先提取三维模型混合特征,采用AdaBoost分类器对三维模型混合特征与相适应的视点计算算法进行匹配关系训练学习,构造最优视点分类器以提取最优视点,即将最优视点提取问题转化为分类问题;对于查询模型,通过训练后的最优视点分类器获得适应模型特征的视点优化算法,并计算模型的最优视点.实验结果表明:该算法有效反映三维模型的结构特征和细节,结果优于单一度量视点提取算法.     

基于Canny算子边缘特征匹配的双目深度测量①

为解决当前类人足球比赛场地上基于球心匹配的足球深度测量算法低精确度的问题,提出了一种采用Canny算子提取稀疏足球边缘作为立体匹配特征的深度测量方法。该方法在边缘上均匀抽取像素点作为待匹配点,使用“对应局部遍历匹配”法进行立体匹配,平均匹配点对对应的图像深度作为足球深度。结果误差控制在比赛允许的范围之内,运用到比赛中绩效显著,满足比赛实时和精度要求。     

基于半直接法SLAM的大场景稠密三维重建系统

当前三维重建系统大多基于特征点法和直接法的同时定位与地图重建(SLAM)系统,特征点法SLAM难以在特征点缺失的地方具有较好的重建结果,直接法SLAM在相机运动过快时难以进行位姿估计,从而造成重建效果不理想.针对上述问题,文中提出基于半直接法SLAM的大场景稠密三维重建系统.通过深度相机(RGB-D相机)扫描,在特征点丰富的区域使用特征点法进行相机位姿估计,在特征点缺失区域使用直接法进行位姿估计,减小光度误差,优化相机位姿.然后使用优化后较准确的相机位姿进行地图构建,采用面元模型,应用构建变形图的方法进行点云的位姿估计和融合,最终获得较理想的三维重建模型.实验表明,文中系统可适用于各个场合的三维重建,得到较理想的三维重建模型.     

多尺度特征融合的残缺卷烟编码识别

针对背景紊乱、字符残缺的卷烟图像,提出多尺度特征融合的残缺卷烟编码识别方法,以进行端到端的训练与应用.首先使用特征提取网络从图像中提取多尺度融合特征;然后提出区域优化模块,对提取到的融合特征进一步优化,识别与定位网络学习这些优化后的特征能更加鲁棒地完成识别与定位任务;最后使用匹配算法对识别与定位结果进行匹配,得到最终结...     

基于压缩分类的快速特征点匹配方法

传统特征点匹配方法在训练程序完成之后将实时图像与样本图像直接进行匹配,计算开销大,匹配时间长,实时性不强;提出一种基于分类的快速特征点匹配思想,在训练阶段引入视点的压缩和分类机制,改进匹配过程,在减少计算开销的同时保证匹配精度.与直接匹配方法进行比较,进一步说明改进过程对于匹配速度提升的作用.     

基于深度概率图模型的鲁棒人脸画像合成

针对基于数据驱动的人脸画像合成算法像素特征缺乏对光照变化和复杂背景的鲁棒性,常合成低质量的画像的问题,文中提出基于深度概率图模型的鲁棒人脸画像合成算法.采用预处理方法调整测试照片的光照亮度和人脸姿态,使之与训练照片一致.采用深度特征代替像素特征进行近邻匹配,采用深度概率图模型对画像重建权重和深度特征权重联合建模,得到合成画像的最佳重构表示.为了提高画像合成速度,提出快速近邻搜索方法.实验验证文中算法的鲁棒性和快速性.     

基于FREAK描述子的精确图像配准改进算法

快速视网膜特征（FREAK）描述子通过计算模式方向实现了旋转不变性,但对于旋转尺度变化较大的情况匹配性能并不理想,误匹配率较高,为此提出了一种改进的基于FREAK描述子的精确图像配准算法。首先,对原有FREAK算法添加长距离点对,设定距离阈值,只利用关键点采样模式中距离较远的点来生成角度信息。其次,对Hamming距离进行加权。对每一个关键点,在为了生成描述子选择点对时,对训练数据描述子的每一列计算均值,越接近0.5的列权值越大,改进了原来Hamming距离计算粗略的状态,使距离计算更精确。最后,使用最近邻匹配结合最近邻和次近邻的比值以及随机抽样一致（RANSAC）方法进行快速匹配和优化。实验结果表明,改进算法更适用于旋转尺度变化较大的环境及匹配性能要求较高的场合。     

Evaluation of non-geometric methods for visual odometry

Visual Odometry (VO) is one of the fundamental building blocks of modern autonomous robot navigation and mapping. While most state-of-the-art techniques use geometrical methods for camera ego-motion estimation from optical flow vectors, in the last few years learning approaches have been proposed to solve this problem. These approaches are emerging and there is still much to explore. This work follows this track applying Kernel Machines to monocular visual ego-motion estimation. Unlike geometrical methods, learning-based approaches to monocular visual odometry allow issues like scale estimation and camera calibration to be overcome, assuming the availability of training data. While some previous works have proposed learning paradigms to VO, to our knowledge no extensive evaluation of applying kernel-based methods to Visual Odometry has been conducted. To fill this gap, in this work we consider publicly available datasets and perform several experiments in order to set a comparison baseline with traditional techniques. Experimental results show good performances of learning algorithms and set them as a solid alternative to the computationally intensive and complex to implement geometrical techniques.     

移动机器人中视觉里程计技术综述

视觉里程计（VO）是实现移动机器人自主导航的主要技术之一,不同类型的VO技术在不同应用场景中受环境和硬件计算能力的影响,导致其性能各有优劣。概述VO技术的发展历程,对基于传统几何和基于深度学习的两类VO技术的性能进行对比与分析,重点介绍传统VO技术中特征点法的原理及其改进方法。在此基础上,归纳VO领域常用的公共数据集并对部分现有方法进行对比评测,为VO技术的实际应用提供参考和借鉴,并展望该领域未来的发展方向。     

基于改进ORB算法的视觉里程计特征匹配方法

为了满足排爆机器人自主导航要求,利用视觉SLAM技术,为排爆机器人路径规划做准备。本文主要对用特征点法搭建的前端视觉里程计进行优化,将FAST角点法与Harris角点法进一步结合,同时引入SIFT算法关键点检测,然后与BRIEF描述子结合,用暴力匹配算法完成不同图像的匹配。通过仿真实验验证算法的可行性,为后续的路径规划奠定基础。     

基于子向量距离索引的特征匹配算法的改进

在解决高维向量的搜索问题方法中,基于子向量距离索引的向量匹配算法iSVD拥有较好的搜索精度和效率。但是,该算法计算复杂度仍然较高,在实际应用中会受到限制。针对该问题,引入关键维选取方法,对iSVD算法进行改进。该方法首先将特征向量划分为多个子向量;再通过某种筛选方法,选出部分子向量代替原特征向量,进而创建索引值;最后利用索引值进行最近邻搜索。该方法能够将相似性较小的特征向量进行有效的区分,且可以进一步缩小最近邻搜索的搜索范围。实验结果表明,该算法能够在保持良好搜索精度的同时,提高匹配的正确率,缩短匹配时间,具有较好的实用性。     

基于K近邻一致性的特征匹配内点选择算法

宽基线图像特征匹配是计算机视觉应用中一项极具挑战性的工作。由于图像之间存在较大的差异,宽基线图像初始特征匹配的结果中不可避免地包含大量的外点。提出了K近邻一致性算法来实现从宽基线图像初始匹配结果中快速选出高可靠性的点对。该算法采用仿射不变的结构相似度来衡量两组K近邻特征点的结构相似性。K近邻一致性算法采取由粗到精的策略,通过K近邻对应一致性检测和K近邻结构一致性检测两个步骤来选择内点。实验结果表明,提出的算法在查准率、查全率和运行速度等方面接近或优于当前几种最新的内点选择算法,可适用于存在大范围的视点、尺度和旋转变化的宽基线图像。     

基于彩色信息的尺度不变特征变换图像特征点提取与匹配

针对将彩色图像转化为灰度图像后再进行特征点提取与匹配会丢失彩色信息,可能导致误匹配这一问题,采用一种基于彩色信息的SIFT特征点提取及匹配算法(CSIFT)以实现彩色图像的特征点提取及匹配,结合目标的颜色特征与几何特征,以颜色不变量作为输入图像,再提取特征点并描述特征点周围的信息,通过最近邻匹配法求出图像间的匹配对。实验将该算法应用于视觉里程计中,对相机所拍的相邻两帧图像进行了特征点提取及匹配,并比较了该算法与传统SIFT算法的差异。实验结果表明该算法是有效的。     

基于特征点的单应矩阵鲁棒估计

提出了一种基于特征点的单应矩阵鲁棒估计算法.在图像的尺度空间中提取特征点,并对特征点进行亚像素定位.同时赋予主方向.根据邻域信息计算得到特征向量后,利用最近邻特征点距离与次近邻特征点距离之比得到初始匹配点对.用RANSAC(Random Sample Consensus)算法匹配特征点对,同时计算得到两幅图像之间的单应...     

基于多尺度FAST-9的图像快速匹配算法

FAST-9检测子不具备尺度不变性,为此,提出一种基于多尺度FAST-9的图像快速匹配算法。对图像建立高斯尺度空间,在各图层上应用FAST-9检测子分别提取特征点,在其周围建立圆形区域并分配主方向,同时建立方形区域构造SURF描述子,利用基于最近邻匹配方法进行匹配。实验结果表明,与SURF、SIFT算法相比,该算法具有较高的匹配速度。