面向室内动态环境的半直接法RGB-D SLAM算法

为了解决室内动态环境下移动机器人的准确定位问题,提出了一种融合运动检测算法的半直接法RGB-D视觉SLAM(同时定位与地图创建)算法,它由运动检测、相机位姿估计、基于TSDF (truncated signed distance function)模型的稠密地图构建3个步骤组成.首先,通过最小化图像光度误差,利用稀疏图像对齐算法实现对相机位姿的初步估计.然后,使用视觉里程计的位姿估计对图像进行运动补偿,建立基于图像块实时更新的高斯模型,依据方差变化分割出图像中的运动物体,进而剔除投影在图像运动区域的局部地图点,通过最小化重投影误差对相机位姿进行进一步优化,提升相机位姿估计精度.最后,使用相机位姿和RGB-D相机图像信息构建TSDF稠密地图,利用图像运动检测结果和地图体素块的颜色变化,完成地图在动态环境下的实时更新.实验结果表明,在室内动态环境下,本文算法能够有效提高相机位姿估计精度,实现稠密地图的实时更新,在提升系统鲁棒性的同时也提升了环境重构的准确性.     

一种新的基于瞳孔-角膜反射技术的视线追踪方法

针对现有单相机单光源视线追踪系统存在的几个问题:精度不高、头动受限以及标定复杂,提出了一种新的基于瞳孔-角膜反射(PCCR)技术的视线追踪方法.通过提出的瞳孔边缘滤波算法(RDPEF)和三通道伪彩色图(TCPCM)解决了近红外条件下瞳孔定位误差较大、瞳孔跟踪鲁棒性较差的问题,进而提高了视线特征提取的精度.通过提出的头部位置补偿方法以及个体差异转化模型,使二维映射模型允许使用者头部运动并且只需要单点标定.该方法提高了单相机视线追踪的精度和应用范围,为面向人机交互的视线追踪系统提供了有效的低成本解决方案.     

热红外与可见光视频融合的运动目标检测

在室外环境中,可见光相机可以获取场景中丰富的纹理细节和光谱信息,但受光照变化的影响很大;而热红外相机对光照变化不敏感,但热红外成像对比度低、颜色信息缺失。为了充分利用两者的互补信息,实现运动目标的精确检测,同时提高检测的鲁棒性,提出了一种应用RGBT混合高斯模型的目标检测方法。该方法将热红外图像作为第4个分量加入到传统的混合高斯模型中,提高了算法的正检率;还引入了阴影去除算法,增强了算法的鲁棒性。实验表明,该方法比传统的混合高斯模型检测精度更高,目标更完整,同时也能较好地满足实时性的要求。     

基于增强转移网络（ATN）的室外移动机器人道路图像理解

道路图像理解是室外移动机器人视觉导航自主驾驶研究中的一个关键技术 ,由于基于视觉导航的室外移动机器人自主驾驶时 ,对实时性和鲁棒性要求很高 ,因此 ,为了满足室外移动机器人自主驾驶的实时性和鲁棒性要求 ,将人工智能研究句法分析中的一个形式体系——增强转移网络 (ATN )成功地应用于室外移动机器人的道路理解中 ,进而提出了基于 ATN的室外移动机器人道路图像理解算法 ,该算法在统一的 ATN构建思想指导下 ,针对不同的道路情况 ,不仅可以灵活地构建出不同的道理理解 ATN网络 ,还可达到本质上的统一及应用上的灵活。经实验检验 ,该算法在满足系统要求的鲁棒性条件下 ,具有非常高的实时性 ,即能充分地满足自主移动机器人高速自主导航的需要     

基于kinect的改进RGB-D视觉里程计

针对RGB-D视觉里程计中kinect相机所捕获的图像深度区域缺失的问题,提出了一种基于PnP(perspective-n-point)和ICP(iterative closest point)的融合优化算法。传统ICP算法迭代相机位姿时由于深度缺失,经常出现特征点丢失导致算法无法收敛或误差过大。本算法通过对特征点的深度值判定,建立BA优化模型,并利用g2o求解器进行特征点与相机位姿的优化。实验证明了该方法的有效性,提高了相机位姿估计的精度及算法的收敛成功率,从而提高了RGB-D视觉里程计的精确性和鲁棒性。     

基于双目视觉的四边形闭环跟踪算法

针对动态背景下视觉跟踪存在的错误率大、鲁棒性不强以及多目相机信息融合难等问题,提出一种基于双目匹配的视觉跟踪算法.结合双目相机的物理结构特点,该算法以四边形闭环方法对特征点进行匹配,实现特征点的双目匹配和立体跟踪,并优化匹配的搜索结构.算法首先采用高斯-拉普拉斯模板对图像进行滤波,利用Harris角点检测算法提取特征点并依次构造描述子序列,然后以绝对误差和作为匹配代价的衡量准则,建立四边搜索准则进行邻近搜索,同时引入RANSAC(随机采样一致性)算法进行可靠性筛选,最终通过4点构成的四边形闭环检测实现了特征点跟踪精度的改进.通过对不同分辨率、不同路况图像集进行测试实验,所提出的四边形跟踪算法特征跟踪正确率可达99.80%,鲁棒性和精度均优于光流法.     

基于在线光度标定的半直接视觉SLAM算法

为解决视觉 SLAM（同时定位与地图创建）算法依赖图像亮度而对光照变化场景敏感的问题,提出一种基于在线光度标定的半直接视觉 SLAM 算法。首先,根据相机成像原理,提出基于光度标定的帧间位姿估计方法,在求解位姿的同时对原始的输入图像进行光度校正。其次,在特征追踪环节采取最近共视关键帧匹配策略,以提升特征点匹配效率。最后,对后端重投影迭代优化策略进行改进,降低光照变化对视觉 SLAM 算法的精度和鲁棒性的影响。在 TUM、EuRoC 数据集上的实验结果表明,本算法的轨迹估计精度优于 LSD-SLAM 和 SVO 2.0 算法,尤其是在中等难度、高难度的数据集序列上。在真实环境测试中,通过对比本算法与激光方法的轨迹估计结果,证明本算法有效提高了传统视觉 SLAM 方法在光照不均匀场景下的定位精度与鲁棒性。     

改进型CKF算法及其在GNSS/INS中的应用

针对容积卡尔曼滤波算法(CKF)在高阶非线性系统应用中,局部容积点采样不准确及系统状态突变导致滤波精度降低甚至发散的问题,提出一种改进型CKF(TSCKF)算法.采用新的容积点采样规则提高非线性函数映射准确性,进而提高滤波精度;引入强跟踪滤波(STF)的渐消因子,提升算法在状态突变时的鲁棒性.将此算法应用于GNSS/INS(Global Navigation Satellite System/Inertial Navigation System)紧组合导航系统中,仿真结果表明,该算法能够显著提高导航精度,鲁棒性强,在状态突变情况下依然可以满足导航精度要求.     

典型源相机分类算法性能研究

现有文献中的源相机分类算法很少讨论测试图像在受到轻微图像处理后算法性能的变化。利用支持向量机,对源相机分类算法的性能和鲁棒性进行了分析,比较了测试图像遭受处理前后分类算法的检测准确率,并研究了图像特征的鲁棒性。由于基于模式分类的算法通常需要精简特征个数以提高执行效率,因此,还讨论了精简模式下相机分类算法的性能以及特征选择对辨识算法鲁棒性的影响。     

基于动态区域剔除的RGB-D视觉SLAM算法

针对动态场景下视觉SLAM(simultaneous localization and mapping)算法易受运动特征点影响,从而导致位姿估计准确度低、鲁棒性差的问题,提出了一种基于动态区域剔除的RGB-D视觉SLAM算法。首先借助语义信息,识别出属于移动对象的特征点,并借助相机的深度信息利用多视图几何检测特征点在此时是否保持静止;然后使用从静态对象提取的特征点和从可移动对象导出的静态特征点来微调相机姿态估计,以此实现系统在动态场景中准确而鲁棒的运行;最后利用TUM数据集中的动态室内场景进行了实验验证。实验表明,在室内动态环境中,所提算法能够有效提高相机的位姿估计精度,实现动态环境中的地图更新,在提升系统鲁棒性的同时也提高了地图构建的准确性。     

基于惯性/磁力传感器与单目视觉融合的SLAM方法

针对单目视觉SLAM（同时定位与地图构建）算法没有尺度信息以及在相机移动过快时无法使用的问题,提出了一种IMU（惯性测量单元）!!/磁力传感器与单目视觉融合的SLAM方法．首先,提出了一种模糊自适应的九轴姿态融合算法,对IMU的航向角进行高精度估计．然后,采用单目ORB-SLAM2（oriented FAST and rotated BRIEF SLAM2）算法,通过IMU估计其尺度因子,并对其输出的位姿信息进行尺度转换．最后,采用松耦合方式,对IMU估计的位姿和ORB-SLAM2算法经过尺度转换后的位姿,进行卡尔曼滤波融合．在公开数据集EuRoC上进行了测试,测试结果表明本文方法总的位置均方根误差为5.73 cm．为了进一步在实际环境中验证,设计了全向移动平台,以平台上激光雷达所测的位姿数据为基准,测试结果表明本文方法的旋转角度误差小于5°,总的位置均方根误差为9.76 cm．     

基于改进的3维ICP匹配的单目视觉里程计

针对目前流行的单目视觉里程计当移动机器人做“近似纯旋转运动”时鲁棒性不强的问题,从理论上分析了其定位鲁棒性不高的原因,提出了一种基于改进的3维迭代最近点（ICP）匹配的单目视觉里程计算法．该算法首先初始化图像的边特征点对应的深度值,之后利用改进的3维ICP算法迭代求解2帧图像之间对应的3维坐标点集的6维位姿,最后结合边特征的几何约束关系利用扩展卡尔曼深度滤波器更新深度值．改进的ICP算法利用反深度不确定度加权、边特征梯度搜索与匹配等方法,提高了传统ICP算法迭代求解的实时性和准确性．并且将轮子里程计数据作为迭代初始值,能够进一步提高定位算法的精度和针对“近似纯旋转运动”问题的鲁棒性．本文采用3个公开数据集进行算法验证,该算法在不损失定位精度的前提下,能够有效提高针对近似纯旋转运动、大场景下的鲁棒性．单目移动机器人利用本文算法可在一定程度上校正里程计漂移的问题．     

基于单目视频路径移动机器人导航方法研究

以单目视觉中双视图定位为基础,提出了一种基于单目视频路径的导航方法.算法基于单目摄像机提取一组有序的关键图像,以代表视频路径,使用Harris角点算法提取图像特征点,利用零均值归一化互相关算法进行图像匹配,根据单目摄像机双视图匹配点之间的约束关系求出基础矩阵并优化,得到位姿参数,完成了移动机器人定位,使其在视频路径的指导下实现自主导航.验证表明:方法在室外环境中具有较好的实用性.     

Rotation estimation for mobile robot based on single-axis gyroscope and monocular camera

The rotation matrix estimation problem is a keypoint for mobile robot localization, navigation, and control. Based on the quaternion theory and the epipolar geometry, an extended Kalman filter (EKF) algorithm is proposed to estimate the rotation matrix by using a single-axis gyroscope and the image points correspondence from a monocular camera. The experimental results show that the precision of mobile robot s yaw angle estimated by the proposed EKF algorithm is much better than the results given by the image-only and gyroscope-only method, which demonstrates that our method is a preferable way to estimate the rotation for the autonomous mobile robot applications.     

单目视觉移动机器人导航算法研究现状及趋势

拥有自主导航能力的移动机器人在救灾、家政等人类生活中使用得愈加广泛。单目视觉导航算法作为机器人视觉导航中的一种,具有成本低、距离不受限的优势,但仍存在尺度不确定性和初始化问题。该综述根据对移动机器人的运动性质研究,主要从障碍检测、空间定位、路径规划三个方面对单目视觉导航技术进行了模块化分析,并以单目视觉导航算法的关键技术迭代与发展为脉络,对各模块的典型算法进行分析,从速度、准确性、鲁棒性等方面对不同算法进行综合性评比,并对算法存在的主要问题与难点进行剖析,结合人类对移动机器人能力的需求和移动机器人的技术状态对单目视觉导航技术的未来发展趋势进行预测。     

基于多传感器融合的移动机器人定位

针对移动机器人定位系统中单一传感器定位精度低与环境地图的重要性问题, 提出了一种基于多传感器融合的移动机器人定位方法. 首先, 在未知环境下, 分别利用单一里程计, 扩展卡尔曼滤波(extended Kalman filter,EKF)算法融合里程计、惯性测量单元(inertial measurement unit, ...     

Monocular Vision for Mobile Robot Localization and Autonomous Navigation

This paper presents a new real-time localization system for a mobile robot. We show that autonomous navigation is possible in outdoor situation with the use of a single camera and natural landmarks. To do that, we use a three step approach. In a learning step, the robot is manually guided on a path and a video sequence is recorded with a front looking camera. Then a structure from motion algorithm is used to build a 3D map from this learning sequence. Finally in the navigation step, the robot uses this map to compute its localization in real-time and it follows the learning path or a slightly different path if desired. The vision algorithms used for map building and localization are first detailed. Then a large part of the paper is dedicated to the experimental evaluation of the accuracy and robustness of our algorithms based on experimental data collected during two years in various environments.     

Design and implementation of vision-based transport for a mobile robot via Kalman filter

A vision-based scheme for object recognition and transport with a mobile robot is proposed in this paper. First, camera calibration is experimentally performed with Zhenyou Zhang’s method, and a distance measurement method with the monocular camera is presented and tested. Second, Kalman filtering algorithm is used to predict the movement of a target with HSI model as the input and the seed filling algorithm as the image segmentation approach. Finally, the motion control of the pan-tilt camera and mobile robot is designed to fulfill the tracking and transport task. The experiment results demonstrate the robust object recognition and fast tracking capabilities of the proposed scheme.     

一种基于拟全方位视觉的移动机器人自运动融合估计方法

基于地平面假设的移动机器人单路视觉运动估计存在鲁棒性和环境适应性较差、精度较低等缺 点,针对这一问题,本文首先介绍了拟全方位视觉系统的构成,并结合该视觉系统的特点给出了一种基于两 步运动的摄像头平行位姿参数标定方法．然后据此提出了一种基于拟全方位视觉的自主移动机器人自运动融 合估计方法．该方法能够借助机器人的非完整运动约束、地平面运行假设以及运动估计参数之间的相容性测 度等多种因素,对拟全方位视觉系统中的各路视觉估计进行性能综合评价;最终依据评价结果融合确定出具 有较高可信度和较强鲁棒性的运动估计参数．实验结果从鲁棒性、精度以及实时性等方面验证了本算法的有 效性．     

基于单目视觉的移动机器人全局定位

提出在基于单目视觉创建的环境地图中实现移动机器人全局定位．基于KD树的最近邻搜索实现特征匹配．应用尺度不变特征变换(SIFT)方法提取特征,并用多维向量描述,保证了对图像光强变化、尺度缩放、三维视角和噪声具有不变性．提出了一种基于RANSAC的鲁棒定位方法．在实际室内环境Pioneer3机器人上进行的实验表明本文提出方法高效、可靠．