基于快速不变卡尔曼滤波的视觉惯性里程计

针对相机定位问题,设计基于深度相机和惯性传感器的视觉惯性里程计,里程计包含定位部分和重定位部分.定位部分使用不变卡尔曼滤波融合多层迭代最近点(ICP)的估计值和惯性传感器的测量值来获得精确的相机位姿,其中ICP的估计误差使用费舍尔信息矩阵进行量化.由于需要使用海量的点云作为输入,采用GPU并行计算以快速实现ICP估计和误差量化的过程. 当视觉惯性里程计出现定位失败时,结合惯性传感器数据建立恒速模型,并基于此模型改进随机蕨定位方法,实现视觉惯性里程计的重定位.实验结果表明,所设计的视觉惯性里程计可以获得准确追踪相机且可以进行有效的重定位.     

基于直接法与惯性测量单元融合的视觉里程计

针对直接法完全依靠梯度搜索来计算相机位姿、容易陷入局部最优的缺点,本文将惯性测量单元(IMU)数据紧密关联到图像跟踪过程,提供精确的短期运动约束和较好的初始梯度方向信息,并对视觉位姿跟踪结果进行校正,提高单目视觉里程计的跟踪精度.在此基础上,基于相机和IMU测量结果建立传感器数据融合模型,采用滑动窗口的方式优化求解,同时在边缘化过程中根据当前帧与上一关键帧之间的相机帧间运动大小,选择应边缘化的状态量和应加入滑动窗口的状态量,确保在优化过程中有足够准确的先验信息,确保优化融合的效果.实验结果表明,与现有的视觉里程计算法相比,本文算法在数据集上的定位角度累积误差在3°左右,位移累积误差小于0.4 m.     

基于里程计和PTZ视觉的移动机器人自定位

针对机器人长距离运行时里程计定位存在累积误差问题,提出一种基于里程计和PTZ视觉的移动机器人自定位算法。提出了中断式S形搜索策略的概念,设计了基于有限自动机的视觉定位方法;分析了里程计和视觉定位误差来源,分别建立了其定位信度模型;并基于该模型建立里程计和PTZ视觉定位的框架。针对视觉定位及里程计视觉复合定位分别进行了实验,结果验证了该方法的有效性和实用性。     

分裂合并运动分割的多运动视觉里程计方法

目的 视觉里程计（visual odometry,VO）仅需要普通相机即可实现精度可观的自主定位,已经成为计算机视觉和机器人领域的研究热点,但是当前研究及应用大多基于场景为静态的假设,即场景中只有相机运动这一个运动模型,无法处理多个运动模型,因此本文提出一种基于分裂合并运动分割的多运动视觉里程计方法,获得场景中除相机运动外多个运动目标的运动状态。方法 基于传统的视觉里程计框架,引入多模型拟合的方法分割出动态场景中的多个运动模型,采用RANSAC（random sample consensus）方法估计出多个运动模型的运动参数实例;接着将相机运动信息以及各个运动目标的运动信息转换到统一的坐标系中,获得相机的视觉里程计结果,以及场景中各个运动目标对应各个时刻的位姿信息;最后采用局部窗口光束法平差直接对相机的姿态以及计算出来的相机相对于各个运动目标的姿态进行校正,利用相机运动模型的内点和各个时刻获得的相机相对于运动目标的运动参数,对多个运动模型的轨迹进行优化。结果 本文所构建的连续帧运动分割方法能够达到较好的分割结果,具有较好的鲁棒性,连续帧的分割精度均能达到近100%,充分保证后续估计各个运动模型参数的准确性。本文方法不仅能够有效估计出相机的位姿,还能估计出场景中存在的显著移动目标的位姿,在各个分段路径中相机自定位与移动目标的定位结果位置平均误差均小于6%。结论 本文方法能够同时分割出动态场景中的相机自身运动模型和不同运动的动态物体运动模型,进而同时估计出相机和各个动态物体的绝对运动轨迹,构建出多运动视觉里程计过程。     

工厂环境下改进的视觉SLAM算法

针对工业场景对自动导引车(AGV)高定位精度的要求,提出一种改进的视觉同时定位与地图创建(VSLAM)算法.在算法前端,双目相机采集立体图像,通过双目匹配算法得到亚像素级的匹配点对,计算出这些特征点在相机坐标系中的3D信息.然后利用RansacPnP算法根据3D-2D匹配点对计算位姿变换,并以它为初值进一步最小化重投影误差,实现局部优化.基于匹配点对描述子的汉明距离提出一种不确定性模型,该模型为局部优化中的约束条件提供信息矩阵,提高定位精度.在算法的后端,通过竖直向上拍摄的单目相机检测可靠的人工信标闭环信息,进行全局位姿优化,并针对AGV的运动模型和工作场景,提出一种基于全局平面约束的优化方法,降低SLAM系统的误差.实验通过KITTI离线数据集对比了该算法前端双目里程计与ORB-SLAM2及libviso2算法里程计的定位精度,并在工厂环境中对整个算法进行实地测试来判断其实际精度和鲁棒性.实验结果表明该算法具有良好的综合性能,定位误差在10 cm以内,定位频率达20 Hz,能够满足工业现场要求.     

基于点线特征的单目视觉同时定位与地图构建算法

当相机快速运动导致图像模糊或场景中纹理缺失时,基于点特征的同时定位与地图构建(SLAM)算法难以追踪足够多的有效特征点,定位精度和鲁棒性较差,甚至无法正常工作.为此,设计了一种基于点、线特征并融合轮式里程计数据的单目视觉同时定位与地图构建算法.首先,利用点特征与线特征的互补来提高数据关联的准确性,并据此构建具有几何信息的环境特征地图,同时引入轮式里程计数据为视觉定位算法提供先验和尺度信息.然后,通过最小化局部地图点、线的重投影误差得到更准确的视觉位姿,在视觉定位失效时,定位系统能根据轮式里程计数据继续工作.通过对比在多组公开数据集上得到的仿真实验结果可知,本文算法性能优于MSCKF (multi-state constraint Kalman filter)和LSD-SLAM(large-scale direct monocular SLAM)算法,证明了该算法的准确性和有效性.最后,将该算法应用于课题组搭建的机器人系统上,得到单目视觉定位均方误差(RMSE)约为7 cm,在1.2 GHz主频、四核处理器的嵌入式平台上平均每帧(640×480)的处理时间约为90 ms.     

面向室内动态环境的半直接法RGB-D SLAM算法

为了解决室内动态环境下移动机器人的准确定位问题,提出了一种融合运动检测算法的半直接法RGB-D视觉SLAM(同时定位与地图创建)算法,它由运动检测、相机位姿估计、基于TSDF (truncated signed distance function)模型的稠密地图构建3个步骤组成.首先,通过最小化图像光度误差,利用稀疏图像对齐算法实现对相机位姿的初步估计.然后,使用视觉里程计的位姿估计对图像进行运动补偿,建立基于图像块实时更新的高斯模型,依据方差变化分割出图像中的运动物体,进而剔除投影在图像运动区域的局部地图点,通过最小化重投影误差对相机位姿进行进一步优化,提升相机位姿估计精度.最后,使用相机位姿和RGB-D相机图像信息构建TSDF稠密地图,利用图像运动检测结果和地图体素块的颜色变化,完成地图在动态环境下的实时更新.实验结果表明,在室内动态环境下,本文算法能够有效提高相机位姿估计精度,实现稠密地图的实时更新,在提升系统鲁棒性的同时也提升了环境重构的准确性.     

基于全景视觉的移动机器人同步定位与地图创建研究

提出了一种基于全景视觉的移动机器人同步定位与地图创建（Omni-vSLAM）方法．该方法提取 颜色区域作为视觉路标;在分析全景视觉成像原理和定位不确定性的基础上建立起系统的观测模型,定位出 路标位置,进而通过扩展卡尔曼滤波算法（EKF）同步更新机器人位置和地图信息．实验结果证明了该方法在 建立环境地图的同时可以有效地修正由里程计造成的累积定位误差．     

结合语义信息的视觉里程计动态特征点剔除方法

针对视觉同时定位与地图构建(SLAM)算法的视觉里程计在动态场景中受动态物体干扰致使帧间特征点误匹配,导致相机位姿估计误差大、定位精度低、鲁棒性差等问题,提出一种结合语义信息的视觉里程计动态特征点剔除方法。采用改进的YOLOv5目标检测网络为视觉里程计提供物体的语义信息,然后结合对极几何约束的运动一致性检测算法确定目标检测边界框中的动态物体,从而实现动态特征点的有效剔除,最后,仅利用静态特征完成位姿估计与定位。在TUM数据集上对比实验结果表明,其绝对轨迹误差(ATE)、平移和旋转相对位姿误差(RPE)的均方根误差(RMSE)值与ORB-SLAM2相比分别降低了97.71%、 95.10%和91.97%,验证了所提出的方法显著降低了动态场景下的位姿估计误差,提高了系统的准确性和鲁棒性。     

激光雷达运动畸变去除的算法设计

近年来,激光雷达的同时定位和地图构建(SLAM)算法发展相对成熟。然而,移动底盘与激光雷达作为激光SLAM系统的主要传感器,当传感器的精度降低时,将会影响机器人定位的准确度与构建地图的效果。因此,针对精度低的激光雷达快速运动时而产生的畸变,论述了轮式里程计的辅助算法。由于轮式里程计的辅助方法是位置线性假设,因此导致该算法在地图构建精度方面存在不足。针对位置线性假设没有误差线性假设合理的问题,提出了轮式里程计和迭代最近点(ICP)方法的融合。采用智能小车在室内进行移动构建环境地图。试验结果表明,轮式里程计和ICP方法融合的算法能够有效地提高定位的精度和地图构建的准确性。     

双舵轮AGV视觉里程计的设计方法

针对双舵轮AGV在地面崎岖不平和轮胎打滑的情况下编码器失效的问题.本文提出一种使用价格低廉的RGB-D相机做视觉里程计的方案,避免了双舵轮AGV直接运动学建模导致里程计航迹推算累积误差过大的问题.本文采用ORB算子对图像进行特征提取和匹配,使用ICP的方法进行位姿估计.然后在Linux+ROS平台下搭建视觉里程计,并且和激光雷达数据融合,通过粒子滤波算法进行定位.最后,分别在不同环境下对比了编码器和视觉里程计的定位效果,并验证了整个系统的鲁棒性.     

基于多传感器融合的移动机器人定位

针对移动机器人定位系统中单一传感器定位精度低与环境地图的重要性问题, 提出了一种基于多传感器融合的移动机器人定位方法. 首先, 在未知环境下, 分别利用单一里程计, 扩展卡尔曼滤波(extended Kalman filter,EKF)算法融合里程计、惯性测量单元(inertial measurement unit, ...     

基于联邦滤波的室内多传感器融合导航定位方法研究

针对室内多传感器融合导航定位问题,提出一种基于联邦滤波的INS/3D LASER/单目视觉融合的室内导航定位方法.该方法是通过联邦滤波将INS分别同3D LASER与单目视觉构成子滤波器,主滤波器根据最小方差准则,利用最优系数加权法融合各子滤波器的最优估计,从而获得全局最优融合结果.实验证明,该方法能有效提高室内导航定位的精度和鲁棒性,比传统的视觉里程计法或激光雷达里程表法更准确.     

车载惯导里程仪组合导航系统安装误差标定研究

研究了捷联惯导、GPS、里程仪和气压高度计构成的组合导航系统中惯导安装误差角对里程仪航位推算精度的影响;提出了以GPS输出作为辅助信息对惯导安装误差进行标定的方法;设计了以里程仪航位推算误差传播方程为系统方程,以里程仪航位推算结果和GSP位置输出之差为量测,通过卡尔曼滤波估计惯导安装误差的标定方法;仿真结果表明,该方法对惯导安装误差的标定精度能达到角秒级。在调试过程中采用该方法标定补偿后的系统实际跑车实验航位推算精度达到5m+行程的0.15%,表明补偿后残余的惯导安装误差影响已经可以忽略。     

基于采煤机工作面端头量测的改进因子图高精度自主定位方法

采煤机的高精度定位是煤炭开采自动化和智能化的重要研究方向,其中惯性导航系统和里程计是长壁综合机械化采煤机定位主要传感器之一.通过两者的信息融合,能够有效抑制惯性导航系统的发散并且具有较好的自主导航能力,但是仍然无法满足井下长时间的高精度导航要求.鉴于此,分析目前常用辅助传感器在采煤机开采过程中存在的问题,提出基于UWB采煤机工作面端头量测的改进因子图优化方法.利用UWB在工作面端头的位置量测信息,推导并构建惯导/里程计/UWB的约束方程和图优化模型.同时通过惯性信息的预积分,减少待优化的节点数量,降低算法的计算量.在此基础上,加入里程计标度因数误差和安装误差的因子节点进行联合估计和优化.最后通过仿真和实际跑车测试表明,相较于传统卡尔曼滤波的采煤机定位方式,所提出方法能够有效提高采煤机的定位精度.     

移动机器人的在线实时定位研究

对推算定位法进行了研究,提出了一种改进方案.通过对移动机器人运动轨迹与状态的 分析,导出了一类移动机器人的基于轨迹的运动学新模型.利用移动机器人三个轮子的里程信息 和导向轮的转角信息,通过信息模糊融合获得转弯半径和转角,再利用运动学模型获得机器人的 位置和方向.将这种改进的推算定位法与主动灯塔法相结合,提出了一种用于室内移动机器人的 定位方法.仿真结果表明,该方法具有实时性好、精度高、成本低、鲁棒性好等特点,并适用于不平 整地面.     

基于kinect的改进RGB-D视觉里程计

针对RGB-D视觉里程计中kinect相机所捕获的图像深度区域缺失的问题,提出了一种基于PnP(perspective-n-point)和ICP(iterative closest point)的融合优化算法。传统ICP算法迭代相机位姿时由于深度缺失,经常出现特征点丢失导致算法无法收敛或误差过大。本算法通过对特征点的深度值判定,建立BA优化模型,并利用g2o求解器进行特征点与相机位姿的优化。实验证明了该方法的有效性,提高了相机位姿估计的精度及算法的收敛成功率,从而提高了RGB-D视觉里程计的精确性和鲁棒性。     

基于相机空间点约束的机器人工具标定方法

工具标定就是确定工具坐标系相对于机器人末端坐标系的变换矩阵,但传统的解决方案是通过人工示教点约束的方法,为此提出一种基于视觉相机空间的自动工具标定方法。在末端工具上增加特征点如圆环标志,利用相机建立机器人三维空间与相机二维空间之间的关系,通过自动的三维空间视觉定位,实现对圆环标志的中心点的点约束,视觉定位不需要相机的标定等繁琐过程。基于机器人的正运动学和相机空间点约束完成工具中心点(TCP)求解。重复实验的标定误差小于0.05 mm,实验的绝对定位误差小于0.1 mm,验证了基于相机空间定位的工具标定具有较高的可重复性以及可靠性。     

面向室内场景的主被动融合视觉定位系统

目的 视觉定位旨在利用易于获取的RGB图像对运动物体进行目标定位及姿态估计。室内场景中普遍存在的物体遮挡、弱纹理区域等干扰极易造成目标关键点的错误估计,严重影响了视觉定位的精度。针对这一问题,本文提出一种主被动融合的室内定位系统,结合固定视角和移动视角的方案优势,实现室内场景中运动目标的精准定位。方法 提出一种基于平面先验的物体位姿估计方法,在关键点检测的单目定位框架基础上,使用平面约束进行3自由度姿态优化,提升固定视角下室内平面中运动目标的定位稳定性。基于无损卡尔曼滤波算法设计了一套数据融合定位系统,将从固定视角得到的被动式定位结果与从移动视角得到的主动式定位结果进行融合,提升了运动目标的位姿估计结果的可靠性。结果 本文提出的主被动融合室内视觉定位系统在iGibson仿真数据集上的平均定位精度为2～3 cm,定位误差在10 cm内的准确率为99%;在真实场景中平均定位精度为3～4 cm,定位误差在10 cm内的准确率在90%以上,实现了cm级的定位精度。结论 提出的室内视觉定位系统融合了被动式和主动式定位方法的优势,能够以较低设备成本实现室内场景中高精度的目标定位结果,并在遮挡、目标...     

增强现实与视觉惯导模块的位姿融合方法

基于视觉标志物的增强现实技术和视觉惯性里程计(VIO)技术有着良好的互补性。本文针对当前基于视觉标志物的增强现实系统依赖标志物以及VIO的缺乏地理位置信息、累计误差等问题,提出一种泛用的位姿融合方法,该方法可以将任意的2种不同坐标系下的相同轨迹位姿输出转换到同一坐标系下。针对本文的问题,实现基于视觉标志物的增强现实与视觉惯导模块的位姿融合,并利用视觉标志物自身带有地理信息的特点,为整个系统提供真实的地理信息坐标,使得定位系统能够与地理信息系统相结合。以实时通讯的方式采集华为P10手机输出的图像与IMU信息作为数据源,在Ubuntu16.04和Unity游戏引擎上进行实验。结果表明,本文方法能够有效地完成准确的位姿融合。