基于改进Census变换的单目视觉里程计

针对直接法视觉里程计在光照变化场景下的失效问题,提出基于改进Census变换的单目视觉里程计,向量Census变换半直接单目视觉里程计（VC-SVO）. Census变换是立体视觉领域中非参数变换的一种,可以有效减少光照变化对图像的影响. 将Census变换引入SLAM中的后端优化,改变传统Census变换的形式,转换到欧氏空间中表示,并采用新的误差计算方法. 在SVO算法中增添非平面假设模型,扩展SVO算法并融合改进后的Census变换,通过最小化地图点的Census变换误差来得到更准确的相机位姿,同时构建环境地图. 在EuRoC、New Tsukuba Stereo与TUM公开数据集上的图像实验表明,VC-SVO实现了光照变化情况下的位姿估计,验证了算法的有效性. VC-SVO算法的精度和鲁棒性要优于已开源的SVO和基于直接法的大范围定位和地图构建（LSD-SLAM）算法.     

基于稀疏直接法的SLAM算法

SLAM技术已经应用到了智能机器人、无人机、AR/VR、无人驾驶等领域中,但当前的SLAM算法在运行速度、相机轨迹精度和鲁棒性等方面依然存在改善空间。为了提高SLAM中相机轨迹精度,提出了基于稀疏直接法的SLAM算法。该算法使用改进的Shi-Tomasi特征点检测算法进行特征点的提取,然后依据提取的特征点采用直接法进行相机位姿估计,同时利用构建的地图进行位姿优化,有效地提高了相机位姿估计精度。针对TUM标准数据集,通过对比分析可知,基于稀疏直接法的SLAM算法可以有效地减少误差,相机轨迹精度优于ORB-SLAM2算法。     

基于点线特征的快速视觉SLAM方法

为了提高RGB-D相机同时定位与地图构建（SLAM）系统在弱纹理场景下的定位精度和鲁棒性,提出快速的基于点线特征的SLAM方法. 在非关键帧的追踪过程中,基于描述子进行点特征匹配,基于几何约束进行线特征匹配;当插入新的关键帧时,计算线特征描述子以完成关键帧间的线特征匹配,并利用线特征三角化算法生成地图线. 通过降低线特征匹配过程运算量来提高SLAM系统的实时性. 此外,利用线特征的深度测量信息构造虚拟右目线段,并提出新的线特征重投影误差计算方法. 在公开数据集上的实验结果表明,与ORB-SLAM2等主流方法相比,所提算法提高了RGB-D SLAM系统在弱纹理场景下的定位精度;与传统点线特征结合的SLAM方法相比,所提算法的时间效率提高了约20%.     

基于GC-RANSAC算法的单目视觉同时定位与地图构建

移动机器人单目视觉同时定位与地图构建(Simultaneous Localization and Mapping,SLAM)技术在应用过程中会获取大量数据,针对其带来的异常值干扰问题,提出一种基于新提出的随机抽样一致性(Random Sample Consensus,RANSAC)算法改进的半直接单目视觉里程计(Semi-direct Monocular Visual Odometry,SVO)算法。算法分为两个线程:建图线程提取点特征与边缘特征,并采用了图割RANSAC(Graph-Cut RANSAC,GC-RANSAC)算法进行异常值剔除,通过计算特征点的深度值,来构建的环境特征地图;位姿估计线程通过最小化局部地图点和边缘线的重投影误差以及帧与帧、特征与特征之间的约束关系优化,得到位姿信息,实现定位功能。通过Euroc公开数据集上得到的仿真实验结果可见,该算法剔除异常值效果明显,平均定位精度相比SVO算法提高了15.6%。     

基于生成对抗网络的图像恢复与SLAM容错研究

为了提高即时定位与地图构建（SLAM）系统的容错能力,在经典图像生成网络Pix2Pix的基础上,逐步添加深度估计网络和深度信息的输入、基于STN网络的图像重建损失以及基于图像修复网络的图像补全损失3个方面的改进. 结合双目图像的耦合关系,通过挖掘和融合多种信息,增大了信息的利用率,提高了模型的图像生成效果. 提出将生成对抗网络（GAN）技术与SLAM容错场景相结合,直接实现了感知端的容错. 在KITTI和Cityscapes数据集上进行实验,验证了改进模型的有效性. 将模型生成的图像用于双目视觉系统的重建,验证了容错思想的可行性.     

基于深度特征的单目视觉惯导里程计

视觉里程计是SLAM (Simultaneous Localization and Mapping)领域中的基石，单目视觉里程计因其成本低廉和仅需较少的相机标定工作而占据着重要的地位，但它存在着尺度不确定、尺度漂移、鲁棒性差等缺点。本文在ORB＿SLAM3的基础上，提出了一种基于深度特征的单目视觉惯导里程计，简称DF-VIO(Visual Inertial Odometry Based on Deep Features)，它采用深度学习网络提取的深度特征替代传统的人工点特征，并融合了人工线特征，强化了系统在现实复杂场景下的鲁棒性；另外，系统提供了多种位姿跟踪方式，除了基于恒速模型和跟踪参考关键帧的方式外，还提供了一种基于深度学习网络的可重复性图的位姿跟踪方法，进一步提高了系统位姿跟踪的精度。在公开数据集Eu Ro C上进行对比实验，在纯视觉模式下，平均轨迹误差下降了25.9%，在视觉惯导模式下，平均轨迹误差下降了8.6%，证明了本文提出的系统在复杂的场景下能够具有更高的鲁棒性。     

基于稀疏直接法闭环检测定位的视觉里程计

视觉里程计在移动机器人的定位导航中发挥着关键性作用, 但当前的算法在运行速度、轨迹精度和鲁棒性等方面依然存在改善空间。为提高相机轨迹精度, 提出基于稀疏直接法的闭环检测算法。该算法直接提取两种特征组成混合型特征点提升系统鲁棒性, 混合型特征点用于跟踪和匹配关键帧, 使视觉里程计能够检测闭环, 再用位姿图优化提升定位精度。实验结果表明在复杂环境中具有较强的鲁棒性, 并且在速度和精度之间取得平衡。     

双目相机和激光雷达的融合SLAM研究

针对基于图优化的激光SLAM算法在高相似度的场景中闭环检测出错的问题,提出使用双目相机进行闭环检测的方法. 使用加入旋转不变性的FAST特征点和BRIEF描述子进行双目深度估计; 引入局部地图的概念,使用单帧激光雷达数据与局部地图进行匹配,提高SLAM前端的精度. 使用基于词袋(bag of words,BOW)模型的k叉树字典评估图片相似度从而完成闭环检测,最后构建全局优化问题并求解. 与主流开源激光雷达SLAM算法的对比实验表明,研究内容改善了只使用激光雷达数据进行闭环检测的方法在相似度较高场景下失效     

基于重投影深度差累积图与静态概率的动态RGB-D SLAM算法

为了提高同时定位与建图（SLAM）系统在动态场景下的定位精度和鲁棒性,提出新的RGB-D SLAM算法. 建立基于重投影深度差值的累积模型,分割图像的动静态区域;为了避免动态区域过分割,先剔除与匹配地图点欧氏距离过大的动态区域特征点,再根据t分布估计其余特征点的静态概率;将静态区域特征点和动态区域的疑似静态点以不同权重加入位姿优化,得到提纯后的位姿. 在公开数据集上的实验结果表明,所提算法在动态场景下较改进前的RGB-D ORB-SLAM2算法的定位精度提升96.1%,较其他动态SLAM算法提升31.2%,有效提高了视觉SLAM系统在动态环境下的定位精度和鲁棒性.     

大规模环境下基于激光雷达的机器人SLAM算法

为解决大规模环境下机器人的同时定位和地图构建(SLAM)问题,提出一种基于Rao Blackwellised粒子滤波器的SLAM算法. 通过选取稳定且易于区别的特征点,发展了一种基于全局约束的数据关联方法,有效地减少了误匹配的概率;采用改进的粒子分布预测函数,提高了粒子滤波器的性能.实验结果表明,该算法具有较低的计算复杂度,精度也比较高,能够有效地解决大规模环境下的机器人SLAM问题.     

Census立体匹配算法的硬件实现

立体匹配是立体视觉技术的核心算法,但计算量大,实时性差,现有的基于FPGA的实现方法虽然可实时实现,但芯片选型通常是高性能FPGA芯片。该文针对Altera高性价比CycloneII系列FPGA芯片提出一种Census立体匹配算法的硬件实现结构,可实现640×480立体图像的实时匹配。与现有方法相比,资源占用低,匹配速度快,适用于低成本应用。     

一种基于遗传算法的立体匹配方法

立体匹配问题是被动视觉研究中最关键的问题之一。本文定义了描述立体匹配问题的染色体表示,设计了相应的适应度函数,并按照立体匹配中相应的约束条件,将遗传算法应用于该问题中。实验证明该算法具有较强的适应性和稳定性。     

微型无人机视觉定位与环境建模研究

同步定位与环境建模（SLAM）是实现无人机自主飞行和智能导航的关键技术。该文提出了适用于微型无人机的视觉定位与环境建模方法,针对RGB-D传感器使用point-plane ICP点云匹配算法实现视觉自主定位,利用并行计算加速以满足无人机控制的实时性要求;采用TSDF算法融合多帧观测的点云数据,实现了无人机对未知目标环境区域的模型重建;将视觉SLAM系统与无人机载IMU传感器融合,进一步提升了自主定位和建模精度。实际搭建了微型无人机视觉与环境建模验证系统,室内环境下可以达到0.092 m的定位偏差和60 Hz的更新速率,满足了无人机控制的精度和实时性要求,验证了该方法的有效性。     

基于运动估计的置信度传播立体视频匹配算法

基于置信度传播（BP：Belief Propagation）的立体匹配算法与局部算法相比,视差准确度高,但需要耗费大量的计算时间。为此,提出一个基于运动估计的置信度传播立体视频匹配算法。该算法首先通过传统的BP算法获得I帧的匹配视差图,并保存每个像素获得最佳视差值的传递信息;然后,通过参考I帧的运动估计信息,得到重新排列的I帧视差值的传递信息,将其作为P帧置信度传播算法的初值进行迭代运算,从而大大减少了P帧置信度传播算法的迭代次数。实验结果表明,该算法能大大提高置信度传播立体视频的匹配效率。     

双目立体视觉的无人机位姿估计算法及验证

针对无人飞行器在未知复杂环境下的导航问题,提出了一种基于双目立体视觉的无人飞行器位置和姿态估计算法。用双目摄像机采集立体图像序列,对图像进行立体校正后使用Harris算法提取特征角点,用NCC算法获取匹配特征点,导出摄像机坐标系下的特征点坐标,得到三维立体特征信息,使用RANSAC算法与L-M迭代算法得到无人飞行器姿态和位置估计值。实验结果表明,基于双目立体视觉的位姿估计算法能适应未知环境变化,计算结果与实际位姿量相比误差小,能满足无人飞行器导航要求,可为无人飞行器的导航实现提供一套新途径。     

月球车视觉系统立体匹配算法

为了满足月球车视觉系统实时性和可靠性的要求,提出了一种基于点和边缘特征提取的立体匹配算法.首先采用高斯滤波和有限对比适应性直方均衡化(CLAHE)方法对校正后的立体图像对进行预处理,以削弱噪声和对比度的影响.其次研究了图像的SIFT特征点和边缘特征提取和匹配方法,以获得月球车周围的环境概貌和障碍物信息.最后将匹配成功的...