面向动态场景的语义视觉里程计

针对传统视觉同时定位与地图构建(vSLAM)相机跟踪模块在动态环境中无法精确定位的问题,提出一种基于语义的视觉里程计.首先,在利用金字塔Lucas-Kanade光流追踪匹配帧间特征点的同时,对图像进行像素级的语义分割.然后,将语义信息与几何特征紧密结合用以准确地剔除图像中的外点,使得位姿估计和建图仅依靠图像中值得信赖的...     

基于特征点不确定性加权误差的位姿估计新方法

计算机视觉中一般是利用优化技术最小化目标函数来估计位姿,目标函数通常是由图像平面上特征点重投影误差构成,并且假设测量噪声是各向同性且独立同分布的高斯噪声,所得到的位姿是在该假设条件下的极大似然最优估计。然而,在实际应用中这种假设并不总是成立,测量噪声通常是各向异性且非独立同分布,而且常常具有很强的方向性。为此,本文提出了一种新的特征点位姿估计方法,首先对特征点的方向不确定性建模,然后将方向不确定性融入到重投影误差中,构造基于不确定性加权误差的新目标函数,最后利用Levenberg-Marquardt算法优化目标函数求解位姿。大量实验结果表明,本方法可以适应不同程度的方向不确定性,精度优于现有迭代方法。而且随着不确定性的增加,位姿解的精度并没有明显变差。     

视觉SLAM在动态场景下的图像处理方法

SLAM一直是机器人领域的研究热点,近年来取得了万众瞩目的进步,但很少有SLAM算法考虑到动态场景的处理。针对视觉SLAM场景中动态目标的处理,提出一种在动态场景下的图像处理方法。将基于深度学习的语义分割算法引入到ORB_SLAM2方法中,对输入图像进行分类处理的同时剔除人身上的特征点。基于已经剔除特征点的图像进行位姿估计。在TUM数据集上与ORB_SLAM2进行对比,在动态场景下的绝对轨迹误差和相对路径误差精度提高了90%以上。在保证地图精度的前提下,改善了地图的适用性。     

基于LDSO的机器人视觉定位与稠密建图的应用

针对基于特征点匹配的SLAM(Simultaneous Localization and Mapping)系统在缺乏角点的弱纹理区域无法提取足够的特征点而导致位姿估计失败等问题,提出应用直接视觉里程计算法LDSO(Direct Sparse Odometry with Loop Closure)进行室内机器人视觉定位并结合深度估计或深度相机采集到的关键帧深度图,关键帧相机位姿,原始关键帧图像数据,点云拼接生成三维点云稠密地图,实验结果表明,机器人可在复杂环境中准确快速的定位自身位置,且算法在没有全局BA(Bundle Adjustment)的情况下通过位姿图优化显著减少了旋转,平移与尺度漂移等累积误差,算法整体性能与基于特征点匹配的SLAM系统相媲美,耗时更少,实时性更佳,在缺乏角点区域具有较强的鲁棒性.     

基于最佳偏振角的线性位姿测量方法研究

在基于视觉图像的位姿测量中,非线性位姿测量算法的全局收敛存在不确定性,测量结果取决于初值的选取,不能保证位姿测量的鲁棒性。线性位姿测量算法对图像处理的要求比较高,如果定位特征点图像坐标提取不够精确,会导致位姿测量精度降低。在自然光条件下,相机采集定位特征点图像,图像中高亮度区域的存在对定位特征点提取精度产生影响,进而使有效定位特征点数量减少,影响位姿测量精度。针对上述问题,文中提出了一种基于最佳偏振角的线性位姿测量方法:在相机镜头前加装线偏振片,根据Stokes矢量建立偏振片最佳偏振角度求解模型,在使用最佳偏振角度的前提下采集定位特征点图像,提取图像坐标;建立线性位姿求解模型,计算被测物体位姿。实验结果表明,该方法能够有效减少图像中的高亮度区域,改善成像质量,提高线性位姿测量精度,在?60°~+60°的测量范围内,角度测量误差小于±0.16°,在0~20 mm的测量范围内,位移测量误差小于±0.05 mm。     

一种旋翼式无人机的视觉着陆位姿估计方法

针对旋翼式无人机视觉着陆过程中位姿估计精度低、适用距离小的问题,研究了一种基于分级合作目标的融合位姿估计方法。首先,通过分级合作目标的质心相同和固定面积比等属性确定目标区域,并利用LSD直线提取方法获取特征点坐标信息。然后,利用Tsai方法与快速四点方法的融合方法进行无人机位姿参数估计。实验结果表明,分级合作目标增大了无人机位姿估计的适用距离,且该融合方法提高了位姿参数估计精度。     

基于矩形几何特性的小型无人机快速位姿估计方法

为了更加实时、精确地实现小型无人机视觉导航,利用矩形的几何特性以及空间点、线的共面特征,提出了一种基于单目视觉的位姿分步估计方法。该方法在任意位置对空间矩形进行拍摄,通过获取的一对正交消隐点,确立无穷远点在像平面的投影关系,完成姿态估计;利用光心、空间矩形以及其投影的共面性特征建立约束方程,求解空间矩形在摄像机坐标系下的法向量,结合欧氏空间线性变换的不变性,实现摄像机坐标系中矩形4顶点坐标的线性求解,并根据空间点在世界坐标系与摄像机坐标系间的转换关系,完成位置估计。为了抑制图像噪声对位姿估计的影响,建立基于空间点、线共面特征的指标函数,利用NM寻优算法实现对位姿参数的非线性优化。实验结果表明,该算法具有计算精度高、实时性强、适用范围广的优点,设计的优化算法能够有效地抑制图像噪声,提高了位姿估计的稳健性。     

基于全局位姿评估的条纹反向视觉测量

提出基于全局位姿评估的条纹反向视觉测量。利用带测头的摄像机拍摄二维正弦条纹,根据傅里叶分析提取的平面特征点全局评估摄像机位姿,进而测量测头的球心坐标。摄像机的位姿评估是条纹反向视觉测量的关键技术,在测头标定和坐标测量中均需要进行位姿评估。位姿评估的误差函数包括重投影误差和物空间误差两类,两者在基于平面的位姿评估中均存在两个局部极小值,采用全局位姿评估算法可以避免误差函数陷入局部极小以高精度获取摄像机位姿,完成测头标定和坐标测量。实验结果表明,该方法可以高精度测量物体的三维坐标。     

基于Deeplab V3+的机器人语义SLAM算法研究

针对机器人在同步定位与地图构建(SLAM)系统中受几何场景信息计算力和带宽负载的限制，对ORB-SLAM2框架进行改进，提出语义跟踪和语义建图线程，语义跟踪线程通过Deeplab V3+对图像语义分割，同时提取该图像特征点，进行移动一致性检查来剔除动态噪声点，结合一致性检查后的特征点和分割后的图像信息来二次检查动态点，随后位姿估计，而语义建图线程主要完成语义八叉树地图的构建。在TUM RGB-D数据集上进行了广泛实验，在walking系列数据中的旋转漂移误差达到1.19m、平移漂移误差达到0.046m,满足实时性要求，所提方法有效提高了SLAM的精度和鲁棒性。     

一种基于直线特征的单目视觉位姿测量方法

提出了一种基于直线特征的单目视觉位姿测量方法SoftNewton。构造了新颖的目标直线与图像直线匹配评价函数,避免检测图像中直线的端点,最终通过软决策技术确定直线特征匹配关系,并采用高斯牛顿迭代算法基于全透视成像模型解算目标位姿。和POSIT算法相比,高斯牛顿迭代算法保持了旋转矩阵的正交性,提高位姿解算精度。仿真图像实验中,在干扰直线和噪声存在的情况下算法经过29次迭代解算得到正确的直线特征匹配矩阵,姿态误差小于0.2°,位移误差小于0.5 mm。仿真图像和实际图像实验结果均表明SoftNew-ton具有较高解算精度和较强的鲁棒性。     

基于单目相机与激光雷达融合的SLAM方法

视觉传感器与激光雷达融合的SLAM方法是当下研究的热点,实际效果优于单一传感器的SLAM方法.针对当下视觉传感器与激光雷达融合的算法仍然存在着用于定位的特征点不足导致定位精度不高的问题,充分利用激光雷达提供的深度信息,提出了一种多策略的视觉与激光融合的SLAM算法,在估计帧间位姿前对上一帧中的特征点深度值进行判断,通过...     

动态场景下融合YOLOv5s的视觉SLAM算法研究

为了解决视觉同步定位与建图(Simultaneous Localization and Mapping, SLAM)系统在动态场景下容易受到动态物体干扰,导致算法定位精度和鲁棒性下降的问题,提出了一种融合YOLOv5s轻量级目标检测网络的视觉SLAM算法。在ORB-SLAM2的跟踪线程中添加了目标检测和剔除动态特征点模块,通过剔除图像中的动态特征点,提高SLAM系统的定位精度和鲁棒性。改进了YOLOv5s的轻量化目标检测算法,提高了网络在移动设备中的推理速度和检测精度。将轻量化目标检测算法与ORB特征点算法结合,以提取图像中的语义信息并剔除先验的动态特征。结合LK光流法和对极几何约束来剔除动态特征点,并利用剩余的特征点进行位姿匹配。在TUM数据集上的验证表明,提出的算法与原ORB-SLAM2相比,在高动态序列下的绝对轨迹误差(Absolute Trajectory Error, ATE)和相对轨迹误差(Relative Pose Error, RPE)均提高了95%以上,有效提升了系统的定位精度和鲁棒性。相对当前一些优秀的SLAM算法,在精度上也有明显的提升,并且具有更高的实时性,在移...     

弱纹理环境下基于线条的图像位姿恢复

近年来,随着图像传感器的快速发展,基于视觉的定位技术越来越受到研究学者的关注。典型的视觉定位技术是即时定位与建图(Simultaneous Localization and Mapping,SLAM)。传统的SLAM一般是通过对图像中的特征点进行提取并计算描述子,但是在室内场景下,环境多为弱纹理情形,如走廊,墙壁等。文中提出了一种轻量级的、快速的基于线条特征进行图像间的位姿恢复的方法。实验结果显示,和基于特征点方法相比较,文中提出的方法在弱纹理环境下能够恢复出欧拉角的误差不大于5度,计算时间大约减少了2~3倍。     

基于双目视觉与图像深度融合的机房三维重建方法分析

阐述基于双目视觉与图像深度融合的机房三维重建方法，采用双目视觉方案对目标深度信息进行测量，视觉SLAM技术根据左右目图像中的特征点匹配信息，基于本质矩阵恢复出当前帧相机相对于前一帧的位姿变换关系，构建当前帧相机系到参考系的位姿变换，从而在实现定位的基础上对目标进行三维重建。采用数据融合技术对多视结果与深度学习网络深度值进行融合，以解决重建点稀疏性的问题，提升三维机房重建精度以及机房数字孪生智能化监控能力。     

基于注意力机制的特征点匹配网络的SLAM方法

已有的实时定位与地图构建(simultaneous localization and mapping,SLAM)方案采用的特征点匹配方法普遍会受视角变化的影响使得特征点的匹配比较困 难,进而 干扰到特征点匹配的精度,最终影响到三维(three-dimensional, 3D) 点云地图构建以及相机运动位姿估计的精度。为 此,本文提出 一种基于注意力机制的特征点匹配网络的SLAM方法。相比于现有的SLA M方法,本 文将SLAM中视觉里程计模块的特征点匹配的方法替换成了一个全新的、基于注意力机制的 特征点匹配网 络的特征点匹配方法,并和传统的特征点提取方法做了一个全新的特征点提取与匹配的组合 ,形成了一个 新的视觉里程计,进而形成了一个新的SLAM方法。首先,通过传统的特征点提取算法进行 特征点的提取, 对提取的特征点及描述子向量进行编码,通过图注意力神经网络进行学习得到匹配描述子, 根据匹配描述 子创建得分矩阵,采用最优传输算法求解最优得分矩阵,计算得到最优匹配点对,到这里就 完成了特征点 提取与匹配的整个过程;基于匹配点对完成相机的定位、建图和回环检测。本文采用KITT I公开数据集 进行实验,实验结果表明采用基于注意力机制特征点匹配网络的SLAM方案,在视角变化不 稳定的情况下,相机运动轨迹误差和相机位姿估计误差的精度明显有所提升。     

融合特征法与直接法的RGB-D稠密视觉SLAM算法

为了保持直接法的快速性与特征法的高精度和闭环能力,提出了一种融合直接法与特征法的RGB-D同时定位与地图创建(SLAM)算法。该算法主要包含3个并行线程:跟踪线程、局部建图线程和闭环线程。在跟踪线程中对非关键帧进行跟踪,通过最小化光度图像误差来进行相机的初始位姿估计以及像素点的对应关系计算,利用最小化局部地图点重投影误差进一步优化相机位姿,实现快速准确的跟踪与定位;在局部建图线程中对关键帧进行提取并匹配ORB特征,执行局部BA(光束平差法),对局部关键帧位姿和局部地图点的位置进行优化,提高SLAM的局部一致性;在闭环线程中执行对关键帧的闭环检测和优化,从而保证SLAM全局一致性。另外,根据RGB-D图像和相机位姿信息,通过基于Octomap的建图框架,构建完整准确的3D稠密环境地图。在TUM数据集下的实验表明,所提出的方法可以得到与基于特征法相当的精度,且所需时间更少。     

融合IMU的多帧点云场景配准方法

三维重建技术广泛应用于无人驾驶、测绘、物流等领域,其中点云配准是最关键的技术。针对多帧点云配准误差累计大,姿态估计不准确等问题。提出了一种基于惯性传感器(IMU)线性插值的点云去畸变方法,该方法采用激光点前后最近时刻的IMU预积分值进行线性插值获得当前时刻雷达位姿,将单帧不同时刻激光点校正到统一坐标系。同时将IMU雷达位姿作为多帧点云配准初值,通过曲率特征点到直线、到平面的距离观测最小约束,构建包含配准误差和IMU预积分误差的联合优化方程来求解准确的雷达位姿。实验结果表明,引入IMU提高了多帧点云配准精度,减少了点云地图的重影。     

基于凸松弛全局优化算法的视觉测量位姿估计

针对参考点存在较大噪声时基于光束法平差的视觉测量位姿估计无法确保目标函数在全局极小处收敛,本文提出利用凸松弛（LMI）全局优化算法进行视觉测量全局最优位姿估计。利用归一化图像点和摄像机光心组成的正交投影矩阵,构造以旋转矩阵四元数为参数的物空间误差目标非凸多项式函数。对非凸多项式进行LMI,可以逼近其全局极小值,进而求解...     

一种基于三维视觉的移动机器人定位与建图方法

针对移动机器人三维视觉SLAM(同步定位与建图)中定位精度低、实时性差等问题,提出一种基于由初到精的位姿估计和双重闭环策略的SLAM方法。首先对MSER(最大稳定极值区)检测算法进行椭圆拟合化处理并提取出图像中的ROI(感兴趣区);然后从ROI中提取出稀疏像素点并使用直接法得到初始位姿变换参数;接着结合改进的基于八叉树结构的ICP(迭代最近点)对相机位姿进行精估计;再结合关键帧选择机制提出一种双重闭环检测方法为构建的位姿图添加约束;最后通过g2o图优化框架对位姿图进行优化并完成点云的拼接。通过NYU和TUM标准数据集验证了算法的实时性与有效性,室内实验结果表明,在复杂环境下也能利用该方法进行准确的位姿估计,并构建出环境的三维点云地图。     

深度约束的零件尺寸测量系统标定方法

针对大尺寸平面零件尺寸测量系统标定精度不高的问题,提出了一种基于深度信息的系统标定方法。首先利用圆形平面靶标,提出一种提取靶标图像特征点的新方法,采用自适应阈值的边缘检测和多项式拟合算法提取特征点亚像素轮廓,利用椭圆拟合得到中心坐标;然后根据带有畸变的非线性成像几何模型,采用最小二乘法计算摄像机参数的最优解,获得靶标的位姿;最后提出被测物表面与靶标平面之间的深度信息作为摄像机模型修正项,校正测量平面位姿,利用成像原理和直线与零件表面交点确定零件尺寸。设计了单目视觉尺寸测量系统并进行实验,结果表明:标定反投影误差小于0.02 pixel,在10.75 m2的视场内,系统测量精度达到了0.05 mm。