移动机器人混合的半稠密视觉里程计算法

为了提升快速运动环境中移动机器人视觉里程计的精度,提出一种移动机器人混合的半稠密视觉里程计算法。首先,利用鲁棒性强且适用于相机快速运动的特征点法快速追踪相机位姿,并根据深度不确定性分别建立3D-2D的重投影误差以及3D-3D几何误差,提出改进的运动位姿求解方法,为半稠密直接法提供更准确的初始位姿;其次,采用Sobel卷积核获取图像中梯度明显的像素点,进而通过最小化光度误差对关键帧进行配准,有效估计关键帧间相对运动;最后通过位姿图对关键帧位姿以及相邻帧间变换进行局部优化,减少轨迹漂移。两种公开数据集以及实际在线场景实验验证,本文算法可有效提高视觉里程计位姿精度,可以满足快速运动场景中自主定位的要求。     

基于卷积神经网络与扩展卡尔曼滤波的 单目视觉惯性里程计

针对单目相机采集室外图像易受环境光照影响、尺度存在不确定性的缺点,以及利用神经网络进行位姿估计不准确的问题,提出一种基于卷积神经网络(CNN)与扩展卡尔曼滤波(EKF)的单目视觉惯性里程计。采用神经网络取代传统里程计中基于几何约束的视觉前端,将单目相机输出的估计值作为测量更新,并通过神经网络优化EKF的误差协方差。利用EKF融合CNN输出的单目相机位姿和惯性测量单元(IMU)数据,优化CNN的位姿估计,补偿相机尺度信息与IMU累计误差,实现无人系统运动位姿的更新和估计。相比于使用单目图像的深度学习算法Depth-VO-Feat,所提算法融合单目图像和IMU数据进行位姿估计,KITTI数据集中09序列的平动、转动误差分别减少45.4%、47.8%,10序列的平动、转动误差分别减少68.1%、43.4%。实验结果表明所提算法能进行更准确的位姿估计,验证了算法的准确性和可行性。     

基于自适应惯导辅助特征匹配的视觉SLAM算法

为提高视觉同步定位与建图系统的定位、建图精度,克服传统算法中特征匹配搜索半径为固定值导致视觉里程计在高动态运动时特征误匹配率高的问题,本文提出一种搜索半径自适应的惯导辅助图像特征匹配方法。该方法首先对双目相机左右两帧图像进行特征提取与匹配,并获取地图点三维坐标,然后通过预积分惯性测量单元的量测值预测相机位姿,再根据误差传播定律计算预测位姿的协方差,最后利用预测位姿将地图点投影至图像得到对应像素坐标,从而根据像素坐标中误差确定地图点最有可能出现的区域半径。实验结果表明,该方法可有效缩小特征匹配的搜索半径,显著提高图像特征匹配的准确度,使跟踪线程位姿精度提高约38.09%,系统整体位姿精度提高约16.38%。该方法可为每个特征点提供自适应区域约束,提高特征点匹配的准确度,进而提升系统位姿估计精度,构建更高精度的稠密地图。     

基于CarSim和Matlab的智能车辆视觉里程计仿真平台设计

基于特征的视觉里程计系统主要由特征检测与跟踪模块以及位姿计算模块两部分组成。为分析车载视觉里程计系统中引入车辆运动学约束的位姿计算算法性能,根据摄像机成像及视觉几何学原理,采用Matlab结合车辆动力学仿真软件CarSim建立车载视觉里程计仿真平台。该仿真平台由车辆运动仿真模块、成像仿真模块、数据显示与分析模块组成,仿真平台的测试对象为视觉里程计的位姿估计算法模块。该仿真平台充分考虑车载视觉定位系统的运动特性,为研究车辆运动学约束在视觉里程计系统中的应用提供新的思路和工具。对提出的一种全新的基于车辆运动学约束的位姿估计内层算法,在此仿真平台上进行性能验证。仿真结果表明,该算法在计算精度与效率上都能够满足实时车载视觉定位的要求。     

动态场景下一种鲁棒的立体视觉里程计算法

针对传统视觉里程计算法在动态场景下对相机位姿估计鲁棒性和精确性不高的问题,基于场景流及静态点相对空间距离不变原理,提出一种动态场景下鲁棒的立体视觉里程计算法。该算法首先利用相机初始位姿估计,计算相邻帧之间匹配点对的场景流,进而建立高斯混合模型,并对场景中动、静物体的特征点进行初步分离;然后利用静态点空间相对距离不变的原理和匹配虚拟地图点集的方法进一步分离动、静物体上的特征点;最后,生成由静态特征点对应地图点构成的局部地图,并考虑虚拟地图点集的匹配情况,最小化重投影误差,以得到精确的相机位姿估计。对TUM数据集以及实际场景进行实验,结果表明提出的算法在动态场景下能够鲁棒地估计出高精度的相机位姿。     

基于惯性测量单元辅助的激光里程计求解方法

在同步定位与建图(SLAM)问题中,里程计部分的求解精度对后续建图起着至关重要的作用,惯性测量单元(IMU)可以为SLAM中里程计求解提供良好辅助。在考虑平面移动机器人运动特点及室内环境特征的基础上提出一种基于IMU松耦合的激光里程计求解方法,实现里程计部分的精准定位。第1阶段,机器人运动过程中实时处理点云信息,将地面点分割并提取有效关键点;第2阶段,将IMU信息引入卡尔曼滤波器,为帧间匹配提供位姿先验;第3阶段,滤波器输出位姿估计值后,利用非线性优化方法进行点云帧间匹配,实现里程计运动的求解。实验表明,所提方法在激光点云处理、运动求解,具有良好的稳定性和准确性,可将偏移量误差控制在0.4%以内,为后续建图提供有力数据保障。     

基于序列图像特征配准的相机旋转补偿算法

为了解决测量过程中相机沿轴向运动时所产生的旋转引起的测量误差,提出了一种基于特征点的图像配准和最小二乘估计的相机旋转运动精确估计算法。此算法利用序列图像帧间的相关性,通过对相邻两帧图像进行运动分析,由Harris算子进行特征点的检测,然后再基于这些特征点的模版匹配方法对帧间图像进行配准,再根据多个特征点的运动矢量通过最小二乘估计获得相机的运动参数。最后对这些运动参数进一步分析,在计算中将获得的运动参数对相机沿轴的旋转运动进行补偿。该方法克服了测量中相机旋转对图像处理和测量精度的影响,弥补了因相机旋转引起的测量误差大的缺陷,提高了测量精确度。试验和仿真结果表明该方法在帧间旋转角度较小时能够实现对相机沿轴旋转运动的精确补偿,且时实性有待提高。     

结合视觉里程计的微小型空中机器人SLAM研究

经典的基于“平滑摄像机模型”的单目视觉同步定位与地图构建方法无法适用于具有复杂飞行模式的微小型空中机器人.针对这个问题,提出一种结合视觉里程计的单目视觉同步定位与地图构建方法.该方法通过视觉里程计直接估计机器人机载摄像机相对位姿变化,并将这些位姿信息嵌入基于EKF的单目视觉同步定位与地图构建算法中.同时,在采用视觉里程计进行位姿估计时,针对可能出现的退化问题,采用特征分类的策略,提高了估计的鲁棒性.将方法应用于一套真实的微小型智能无人直升机系统上,实验数据验证了方法具有良好的适用性和实用性.     

非合作纹理目标单目位姿计算

为了实时测量非合作纹理运动目标相对位姿,提出一种单目视觉同步建模与位姿计算方法。选择具有良好特征共视关系与分布的模型帧,增量式恢复目标三维共视特征模型,实现非合作目标的合作化,并依靠运动预测模型实现基于特征跟踪的位姿计算。根据模型对应网格的拓扑关系估计目标表面未知区域特征三维信息,结合网格面法向场进行局部光束平差优化,同时利用闭环优化抑制尺度漂移,在减少特征模型恢复误差的同时提高位姿计算精度。实验结果表明,在非结构化环境中能够在线恢复目标三维信息,实现目标相对位姿准确计算,特征平均重投影误差小于1.5 pixel,位姿计算平均绝对误差为4.29 mm和1.54°,平均计算时间小于120 ms,为基于单目视觉的在线三维感知与测量建模提供技术支撑。     

基于点线特征融合的立体视觉里程计

大多数视觉里程计通过跟踪图像序列中点特征几何位置的变化实现对相机位姿的估计。线是点的集合,相对于离散的点,帧间线特征的位置变化更具有显著性,因而有利于提高特征检测跟踪的鲁棒性。另外,在一些弱纹理场景中,点特征不够丰富,作为对点特征的补充,提出了一种融合点线特征的立体视觉里程计算法。构建新颖的点线重投影误差模型作为目标函数求解旋转矩阵和平移向量。模型中,使用Huber核函数减小特征误匹配对优化过程的影响。选取ORB算子检测点特征,LSD算子检测线特征,匹配时施加恒速约束、环形匹配、Bucketing约束和外观几何约束,提高特征匹配的速度及精度。采用公共数据集KITTI和EuRoC对算法进行评测,实验结果表明,该算法在多种场景中的鲁棒性能,相较于其他具有代表性的视觉里程计算法,在精度方面有提升。     

基于相机状态方程多模增广的改进MSCKF算法

针对基于多状态约束卡尔曼滤波(MSCKF)的视觉-惯性里程计算法中相机状态方程增广过程的误差累积问题,提出了一种相机状态方程多模增广方法。该方法首先对视觉特征跟踪状态的稳定性进行判断,然后自动地选择基于视觉图像信息优化求解相机相对位姿参数或基于惯性传感器(IMU)状态递推结果联合相机外参初始化新图像帧相机位姿参数两种途径增广相机的状态方程,解决特征跟踪状态稳定情况下IMU误差的累积问题。实验部分通过EuRo C数据和实际应用数据对算法的性能进行了验证分析,结果表明,改进后的MSCKF算法能够在特征跟踪稳定状态下有效避免IMU误差的累积,进一步融合视觉与惯性系统之间的互补优势,提高载体的定位定向精度和稳定性。     

一种可参数自标定的鲁棒视觉 / 惯性定位方法

以视觉/惯性里程计为代表的视觉/惯性定位方法近年来被广泛应用。传统的视觉/惯性里程计通过离线标定方法得到固定的相机畸变参数,当相机畸变参数标定不准确或发生变化时定位精度会下降。针对于此,提出了一种面向相机畸变参数在线自标定的鲁棒视觉/惯性里程计方法:首先,将相机畸变参数加入到视觉/惯性里程计的待优化变量中,推导了视觉重投影误差关于待优化变量的雅可比矩阵;然后通过因子图优化技术,实现相机畸变参数的在线自标定与载体导航信息的实时优化求解;最后,通过EuRoC数据集试验和实际试验验证了所提方法的有效性。实际试验结果表明:相对传统的视觉/惯性里程计方法,所提方法在室外开阔场景中精度提升了65.40%。     

稳定运动物体视频的特征方法

将背景特征块配对和直方图聚类运动矢量滤波相结合,提出了一种稳定运动物体视频的方法。用得到的全局运动参量补偿摄像机的帧间运动,运用帧差法分割出前景块和背景块,把参考帧背景上的特征块与当前帧上的特征块配对估计下一轮的帧间运动。用一块对多块的匹配策略,把参考块和以参考块为中心的搜索窗内的当前帧上的最佳匹配块配对,建立稀疏运动矢量场。然后,运用直方图聚类方法滤除矢量场中未分离出的前景块矢量和误匹配矢量。最后,用多个包含运动物体的实际视频序列对提出方法进行测试,并与其它先进稳像算法和技术仿真比较。结果表明:提出方法的全局平均帧间变换保真度可达31.05dB,接近或优于上述先进算法和技术。提出的方法对包含运动物体的视频具有较强的鲁棒性,可以去除帧间高频抖动并有效改善视频质量。     

基于传感器融合里程计的相机与激光雷达自动重标定方法

智能驾驶车辆行驶环境复杂多样,不可避免地导致传感器相对位姿发生变化,此时需要进行重新标定。针对智能驾驶车辆的相机和激光雷达发生漂移后的重标定问题,提出一种基于传感器融合里程计的自动重标定方法。基于点云投影和图像配准原理建立基准点云和观测图像之间的3D-2D点对,利用N点透视投影得到平移尺度不准的相机运动;通过融合估计的激光雷达运动来恢复准确尺度的相机运动,并将基准点云根据相机运动转换到观测位置下,与观测点云通过点云配准求解变换矩阵,使用时域均值滤波得到最终的外参矩阵。基于智能驾驶车辆试验平台进行室内外实车试验。结果表明所提出的基于传感器融合里程计的方法无需设置标定板,不受环境和数据特征限制,能够实现相机和激光雷达的精确重标定,对传感器漂移具有较高的鲁棒性。     

一种面向球姿态检测的图像透视畸变校正方法

针对球姿态视觉检测中图像的“近大远小”透视畸变问题,提出了一种面向球姿态检测的图像透视畸变校正方法。基于相机成像模型分析了透视畸变的特点及产生原因,根据已知的球体特征模型、相机标定技术和逆透视变换原理构建了图像透视畸变校正模型,进而实现球体任意姿态图像的透视畸变校正。实验结果表明,利用该方法测量直径60 mm以内的球体姿态时平均绝对误差低于0.6°,且该方法适用于工业生产中球体的其他视觉测量。     

复杂场景中基于变块差分的运动目标检测

针对复杂场景中包含的摄像机扫描运动、随机抖动和目标运动,提出一种基于帧间可变块差分的运动目标检测算法.首先,利用全局特征点估计运动参数对帧间背景进行补偿,提取图像的全局特征点并匹配,以特征点集的最小位置误差和作为目标进行迭代,获取误差不大于0.5 pixel的全局运动参数,并精确补偿当前帧实现背景校正.然后,利用可变块...