一种结合ORB特征和视觉词典的RGB-D SLAM算法

同时定位与建图（Simultaneous Localization and Mapping,SLAM）是机器人领域的研究热点,被认为是实现机器人自主运动的关键。传统的基于RGB-D摄像头的SLAM算法（RGB-D SLAM）采用SIFT（Scale-Invariant Feature Transform）特征描述符来计算相机位姿,采用GPU加速的siftGPU算法克服SITF特征提取慢的缺点,但多数嵌入式设备缺乏足够的GPU运算能力,使其应用性受到局限。此外,常规算法在闭环检测时效率较低,实时性不强。针对上述问题,提出了一种结合ORB（oriented FAST and rotated BRIEF）特征与视觉词典的SLAM算法。在算法前端,首先提取相邻图像的ORB特征,然后利用k近邻（k-Nearest Neighbor,kNN）匹配找到对应的最临近与次临近匹配,接着采用比值检测与交叉检测剔除误匹配点,最后采用改进的PROSAC-PnP（Progressive Sample Consensus based Perspective-N-Point）算法进行相机姿态计算,得到对相机位姿的高精度估计。在后端,提出了一种基于视觉词典的闭环检测算法来消除机器人运动中的累计误差。通过闭环检测增加帧间约束,利用通用图优化工具进行位姿图优化,得到全局一致的相机位姿与点云。通过对标准fr1数据集的测试和对比,表明了该算法具有较强的鲁棒性。     

基于视觉与激光融合的井下灾后救援无人机自主位姿估计

无人机在灾后矿井的自主导航能力是其胜任抢险救灾任务的前提,而在未知三维空间的自主位姿估计技术是无人机自主导航的关键技术之一。目前基于视觉的位姿估计算法由于单目相机无法直接获取三维空间的深度信息且易受井下昏暗光线影响,导致位姿估计尺度模糊和定位性能较差,而基于激光的位姿估计算法由于激光雷达存在视角小、扫描图案不均匀及受限于矿井场景结构特征,导致位姿估计出现错误。针对上述问题,提出了一种基于视觉与激光融合的井下灾后救援无人机自主位姿估计算法。首先,通过井下无人机搭载的单目相机和激光雷达分别获取井下的图像数据和激光点云数据,对每帧矿井图像数据均匀提取ORB特征点,使用激光点云的深度信息对ORB特征点进行深度恢复,通过特征点的帧间匹配实现基于视觉的无人机位姿估计。其次,对每帧井下激光点云数据分别提取特征角点和特征平面点,通过特征点的帧间匹配实现基于激光的无人机位姿估计。然后,将视觉匹配误差函数和激光匹配误差函数置于同一位姿优化函数下,基于视觉与激光融合来估计井下无人机位姿。最后,通过视觉滑动窗口和激光局部地图引入历史帧数据,构建历史帧数据和最新估计位姿之间的误差函数,通过对误差函数的非线性优化...     

基于改进闭环检测算法的视觉同时定位与地图构建

针对视觉同时定位与地图构建（SLAM）中容易由误差累积导致构建地图不一致的问题,提出了一种基于改进闭环检测算法的视觉SLAM（V-SLAM）系统。为了减小移动机器人长时间运行带来的累计误差,引入一种改进的闭环检测算法,改进相似性得分函数,减小感知歧义,提高闭环的识别率;同时为了减小计算量,通过Kinect直接获取环境图像以及深度信息,并采用计算量小、鲁棒性好的ORB特征进行特征提取和匹配;采用随机抽样一致性（RANSAC）算法进行误匹配删除,从而获得更准确的匹配点对,然后用PnP计算出相机位姿;更稳定、准确的初始估计位姿对后端处理至关重要,利用g2o对位姿进行无结构的迭代优化;最后在后端采用以集束调整（BA）为核心的图优化方法对位姿和路标进行优化。最终实验结果表明该系统能够满足实时性要求,并可以获得更加准确的位姿估计。     

基于深度学习SuperGlue算法的单目视觉里程计

基于特征点法的视觉里程计中,光照和视角变化会导致特征点提取不稳定,进而影响相机位姿估计精度,针对该问题,提出了一种基于深度学习SuperGlue匹配算法的单目视觉里程计建模方法.首先,通过SuperPoint检测器获取特征点,并对得到的特征点进行编码,得到包含特征点坐标和描述子的向量;然后,通过注意力GNN网络生成更具代表性的描述子,并创建M×N型得分分配矩阵,采用Sinkhorn算法求解最优得分分配矩阵,从而得到最优特征匹配;最后,根据最优特征匹配进行相机位姿恢复,采用最小化投影误差法进行相机位姿优化.实验结果表明,在无后端优化的条件下,该算法与基于ORB或SIFT算法的视觉里程计相比,不仅对视角和光线变化更鲁棒,而且其绝对轨迹误差和相对位姿误差的精度均有显著提升,进一步验证了基于深度学习的SuperGlue匹配算法在视觉SLAM中的可行性和优越性.     

基于目标检测的室内动态场景定位与建图

针对室内场景中动态对象严重影响相机位姿估计准确性的问题,提出一种基于目标检测的室内动态场景同步定位与地图构建（SLAM）系统。当相机捕获图像后,首先,利用YOLOv4目标检测网络检测环境中的动态对象,并生成对应边界框的掩膜区域;然后,提取图像中的ORB特征点,并将掩膜区域内部的特征点剔除掉;同时结合GMS算法进一步剔除误匹配,并仅利用剩余静态特征点来估计相机位姿;最后,完成滤除动态对象的静态稠密点云地图和八叉树地图的构建。在TUM RGB-D公开数据集上进行的多次对比测试的结果表明,相对于ORB-SLAM2系统、GCNv2_SLAM系统和YOLOv4+ORB-SLAM2系统,所提系统在绝对轨迹误差（ATE）和相对位姿误差（RPE）上有明显的降低,说明该系统能够显著提高室内动态环境中相机位姿估计的准确性。     

基于输电杆塔区域提取的图像匹配算法

针对无人机（UAV）视觉定位过程中传统特征提取与匹配算法匹配质量不佳的问题,提出了一种基于输电杆塔区域提取的图像匹配算法。首先,将图像划分为若干相互重叠的网格区域,并对每个区域采用双层金字塔结构提取特征点,从而保证特征点的均匀分布;其次,使用直线分割检测（LSD）算法提取图像中的直线,从而利用输电杆塔的特殊结构得到输电杆塔的支撑区域;最后,在连续图像中对输电杆塔区域与背景区域内的特征点分别进行匹配,以进一步估计相机运动。在旋转和平移估计实验中,与传统的ORB特征提取与匹配算法相比,所提算法的特征匹配准确率提升了10.1个百分点,相对位姿误差的均值降低了0.049;在UAV巡检实验中,采用所提算法进行UAV轨迹估计的相对误差为2.89%,表明该算法可在实时绕塔飞行过程中实现对UAV位姿的鲁棒、精确估计。     

基于输电杆塔区域提取的图像匹配算法

针对无人机（UAV）视觉定位过程中传统特征提取与匹配算法匹配质量不佳的问题,提出了一种基于输电杆塔区域提取的图像匹配算法。首先,将图像划分为若干相互重叠的网格区域,并对每个区域采用双层金字塔结构提取特征点,从而保证特征点的均匀分布;其次,使用直线分割检测（LSD）算法提取图像中的直线,从而利用输电杆塔的特殊结构得到输电杆塔的支撑区域;最后,在连续图像中对输电杆塔区域与背景区域内的特征点分别进行匹配,以进一步估计相机运动。在旋转和平移估计实验中,与传统的ORB特征提取与匹配算法相比,所提算法的特征匹配准确率提升了10.1个百分点,相对位姿误差的均值降低了0.049;在UAV巡检实验中,采用所提算法进行UAV轨迹估计的相对误差为2.89%,表明该算法可在实时绕塔飞行过程中实现对UAV位姿的鲁棒、精确估计。     

基于ORB特征的单目视觉定位算法研究

针对大范围室外场景和具有重复、高频纹理特征(例如水泥地、草坪)的场景,提出了一种鲁棒性强、定位精度高、速度更快的视觉定位算法。采用8级图像金字塔的ORB (Oriented FAST and Rotated BRIEF)特征描述子提取图像特征点,通过K近邻(KNN)匹配相邻图像序列的特征点对,依次解算基础矩阵F和本质矩阵E,采用自适应法利用单应矩阵和本质矩阵进行位姿估计,最后解算两帧图像间相机刚体运动的旋转R和平移t,利用三角测量法则求解出匹配点的三维坐标,重建相机运动轨迹。为了提高算法性能,提出采用最小化基于点特征的非线性重投影误差优化三维点。通过调用OpenCV在C++中实现,对所采集的数据集进行测试,测试结果表明,该方法比传统的3D位姿估计更优,实时可行。由于其基于单目而实现,因此无法得到尺度信息。     

基于直线段检测和LT描述符的矿井图像线特征匹配算法

图像匹配是同步定位与地图构建（SLAM）技术中极为重要的一环,用于根据图像之间的变换关系确定相机位姿。基于线特征的图像匹配方法具有较强的鲁棒性和抗噪能力,更加适用于井下图像匹配,基于深度学习的线描述符对线段遮挡等场景具有较高的鲁棒性,性能优于传统描述符,但卷积神经网络架构的描述符将可变长度线段抽象为固定维进行描述,不利于线段长度及视差变化较大图像的匹配。针对上述问题,提出一种基于直线段检测和线描述符的矿井图像线特征匹配算法。在频域利用单参数同态滤波降低图像的照射分量,并增强反射分量,提升亮度及对比度;在YUV空间利用对比度受限的自适应直方图均衡化（CLAHE）算法对亮度分量进行均衡,使亮度分布更加均匀;变换至RGB空间提取直线段检测（LSD）线,引入一种基于Transformer架构的LT描述符构建LSD线的特征向量,最后完成线特征匹配。实验结果表明：该算法结合了同态滤波和CLAHE算法的优点,增强后图像的亮度适中,对比度良好,灰度分布均匀,增强效果优于单参数同态滤波算法、EnlightenGAN算法;该算法提取的线特征数较原图平均提升了32.92%,在不同相似纹理占比、不同程度旋转与...     

面向室内动态环境的半直接法RGB-D SLAM算法

为了解决室内动态环境下移动机器人的准确定位问题,提出了一种融合运动检测算法的半直接法RGB-D视觉SLAM(同时定位与地图创建)算法,它由运动检测、相机位姿估计、基于TSDF (truncated signed distance function)模型的稠密地图构建3个步骤组成.首先,通过最小化图像光度误差,利用稀疏图像对齐算法实现对相机位姿的初步估计.然后,使用视觉里程计的位姿估计对图像进行运动补偿,建立基于图像块实时更新的高斯模型,依据方差变化分割出图像中的运动物体,进而剔除投影在图像运动区域的局部地图点,通过最小化重投影误差对相机位姿进行进一步优化,提升相机位姿估计精度.最后,使用相机位姿和RGB-D相机图像信息构建TSDF稠密地图,利用图像运动检测结果和地图体素块的颜色变化,完成地图在动态环境下的实时更新.实验结果表明,在室内动态环境下,本文算法能够有效提高相机位姿估计精度,实现稠密地图的实时更新,在提升系统鲁棒性的同时也提升了环境重构的准确性.     

定位图像匹配尺度与区域的摄像机位姿实时跟踪

目的 提出一种定位图像匹配尺度及区域的有效算法,通过实现当前屏幕图像特征点与模板图像中对应尺度下部分区域中的特征点匹配,实现摄像机对模板图像的实时跟踪,解决3维跟踪算法中匹配精度与效率问题。方法 在预处理阶段,算法对模板图像建立多尺度表示,各尺度下的图像进行区域划分,在每个区域内采用ORB（oriented FAST and rotated BRIEF）方法提取特征点并生成描述子,由此构建图像特征点的分级分区管理模式。在实时跟踪阶段,对于当前摄像机获得的图像,首先定位该图像所对应的尺度范围,在相应尺度范围内确定与当前图像重叠度大的图像区域,然后将当前图像与模板图像对应的尺度与区域中的特征点集进行匹配,最后根据匹配点对计算摄像机的位姿。结果 利用公开图像数据库（stanford mobile visual search dataset）中不同分辨率的模板图像及更多图像进行实验,结果表明,本文算法性能稳定,配准误差在1个像素左右;系统运行帧率总体稳定在2030 帧/s。结论 与多种经典算法对比,新方法能够更好地定位图像匹配尺度与区域,采用这种局部特征点匹配的方法在配准精度与计算效率方面比现有方法有明显提升,并且当模板图像分辨率较高时性能更好,特别适合移动增强现实应用。     

一种基于雾天图像增强的SURF图像匹配方法

在地质灾害监测系统中,可以通过图像的变化检测对发生的灾害进行监测。要精确地进行变化检测,需要首先对图像进行匹配。针对雾天图像匹配精度低的问题,提出了一种基于雾天图像增强的SURF（Speed Up Robust Feature）图像匹配方法,有效地提高了雾天图像的匹配精度。用MSR（Multi Scale Retinex）算法对雾天图像进行增强处理,采用SURF算法完成特征点的提取,用欧式距离来度量特征点的相似度,根据相似三角形的距离比例不变性删除误匹配的点对。实验结果表明,该方法显著提高了图像特征点的匹配精度,为后续利用图像变化检测进行灾害监测提供了良好的基础。     

基于立体视觉的目标姿态测量技术

基于动态场景分析的计算机视觉系统尤其是对运动目标的运动参数测量已成为计算机视觉研究的热点;建立了基于双目立体视觉的目标姿态测量系统,使用两个摄像机在不同视角对同一目标进行拍摄,采用DLT方法对摄像机标定;对拍摄到的图像进行去噪、滤波,通过立体图像匹配得到特征点在两幅图像中的同名点,姿态参数求解结合DLT算法和立体图像匹配算法,实现了对目标姿态参数的测量,得到了目标的三维姿态信息;实验结果表明,该测量系统结构简单,计算量小,具有较高的测量精度.     

基于全局信息的人脸特征点精确定位

空间中物理位置的线性变化在图像空间的变化往往是非线性的,人脸特征点定位受到头部姿态较大的影响。提出一种改进的基于头部姿态估计的条件回归森林方法,该方法有效地将原非线性问题转换为分段线性问题。使用局部保持投影（LPP）得到全局的姿态信息标签,通过非线性回归（NLR）得出头部姿态,训练并使用条件回归森林对全局特征条件下的人脸特征点进行一个精确定位。实验结果表明,该方法有效地降低了头部偏转等图像空间中的非线性变化引起的特征估计误差,提高了人脸特征点定位的精确度。     

基于中心环绕滤波器检测的图像特征点匹配算法

针对传统图像匹配算法特征点检测稳定性和准确性差的问题,提出一种尺度不变性的基于中心环绕滤波器检测（SCFD）的图像特征点匹配算法。首先,构建多尺度空间,利用中心环绕滤波器检测图像在不同尺度下的特征点,采用Harris方法和亚像素插值获得稳定的特征点;其次,联合快速定向旋转二进制稳健基元独立特征（BRIEF）（ORB）算法确定特征点的主方向,构建特征点描述算子;最后,采用汉明距离完成匹配,通过最小平方中值（LMedS）定理和最大似然（ML）估计剔除误匹配点。实验结果表明,在尺度变化时,所提算法的匹配精度达到96.6%,是ORB算法的2倍;其运行时间是尺度不变特征变换（SIFT）的19.8%,加速鲁棒性特征（SURF）的28.3%。所提算法能够有效提高特征点检测的稳定性和准确性,在视角、尺度缩放、旋转、亮度等变化的情况下具有较好的匹配效果。     

基于BoW模型的增强RGB-D SLAM算法

即时定位与地图构建(simultaneous localization and mapping,SLAM)被认为是机器人自主运动的核心技术。针对目前的RGB-D SLAM算法实时性和鲁棒性差的问题,提出了一种增强的RGB-D SLAM算法。提取RGB图像的ORB特征描述子,然后利用BoW(bag of word)模型缩小特征描述子的匹配范围从而提高算法的实时性;接着采用PROSAC算法结合PnP算法解算初始相机位姿并通过非线性优化的方式得到优化的相机位姿;利用BoW模型结合关键帧技术和结构一致性几何约束提高回环检测的鲁棒性;采用通用图优化工具g2o对位姿图进行优化,得到全局一致的位姿和点云;最后采用贪心三角化算法将点云转换成网格地图。针对Fr1数据集,该算法的平均定位误差为0.0797 m,每帧数据平均处理时间为0.04 s。与RGB-D SLAM原始算法相比,该算法具有良好的实时性和鲁棒性,可以满足机器人实时SLAM的要求。     

一种改进的RGB-D SLAM室内空间三维重建方法

提出一种改进的基于ORB(Oriented FAST and Rotated BRIEF)的RGB-D SLAM室内三维重建方法。前端利用改进的RANSAC(Random Sample Consensus)算法提升特征点匹配精度,结合PnP(Perspective-n-Point)实现点云图像的精确配准;后端采用位姿图进行优化,降低噪声数据对重建的影响;并利用回环检测控制重建过程中的误差累积。实验结果表明,所提出的特征点匹配方法能显著提高特征点的匹配精度,正确匹配率约为94%,较传统RANSAC算法提升6.5%;所提方法与传统RGB-D SLAM重建方法相比,重建结果质量更优,其中相机估计轨迹与真实轨迹互差RMS结果更佳,RMS值均小于0.08m。     

一种结合光流追踪的双目视觉里程计算法

针对特征点法视觉里程计频繁计算和匹配描述子导致系统实时性能变差的问题,提出一种结合光流追踪的双目视觉里程计算法;首先进行初始化,生成初始的关键帧和地图点,随后在追踪线程中使用光流追踪特征点获取匹配关系,计算并优化相机位姿;满足生成关键帧的条件后,将当前帧设置为关键帧,提取图像的ORB特征点,并使用描述子匹配获取与上一关键帧特征点的匹配关系,三角化生成新的地图点;最后在优化线程中将新的关键帧和地图点使用滑动窗口算法进行优化,剔除冗余关键帧和地图点;在KITTI数据集上的实验结果表明,所提出的算法轨迹误差与双目模式下的ORB-SLAM3算法处于同一水平,同时实时性能有大幅度提高,追踪每一帧图像的平均时间从52ms降至16ms,在保证高精度的情况下运行速度大大提高,具有较高的实用价值.     

基于深度学习和边缘检测的动态场景下鲁棒SLAM

机器人在执行同时定位与地图创建(simultaneous localization and mapping,SLAM)的复杂任务时,容易受到移动物体的干扰,导致定位精度下降、地图可读性较差、系统鲁棒性不足,为此提出一种基于深度学习和边缘检测的SLAM算法。首先,利用YOLOv4目标检测算法获取场景中的语义信息,得到初步的语义动静态区域,同时提取ORB特征点并计算光流场,筛选动态特征点,通过语义关联进一步得到动态物体,利用canny算子计算动态物体的轮廓边缘,利用动态物体以外的静态特征点进行相机位姿估计,筛选关键帧,进行点云叠加,利用剔除动态物体的点云信息构建静态环境地图。本文算法在公开数据集上与ORB_SLAM2进行对比,定位精度提升90%以上,地图可读性明显增强,实验结果表明本文算法可以有效降低移动物体对定位与建图的影响,显著提升算法稳健性。     

基于单目视频路径移动机器人导航方法研究

以单目视觉中双视图定位为基础,提出了一种基于单目视频路径的导航方法.算法基于单目摄像机提取一组有序的关键图像,以代表视频路径,使用Harris角点算法提取图像特征点,利用零均值归一化互相关算法进行图像匹配,根据单目摄像机双视图匹配点之间的约束关系求出基础矩阵并优化,得到位姿参数,完成了移动机器人定位,使其在视频路径的指导下实现自主导航.验证表明:方法在室外环境中具有较好的实用性.