融合双目视觉和2D激光雷达的室外定位

高精度的定位对于自动驾驶至关重要. 2D激光雷达作为一种高精度的传感器被广泛应用于各种室内定位系统.然而在室外环境下,大量动态目标的存在使得相邻点云的匹配变得尤为困难,且2D激光雷达的点云数据存在稀疏性的问题,导致2D激光雷达在室外环境下的定位精度极低甚至无法实现定位.为此,提出一种融合双目视觉和2D激光雷达的室外定位算法.首先,利用双目视觉作为里程计提供相对位姿,将一个局部时间窗口内多个时刻得到的2D激光雷达数据融合成一个局部子图;然后,采用DS证据理论融合局部子图中的时态信息,以消除动态目标带来的噪声;最后,利用基于ICA的图像匹配方法将局部子图与预先构建的全局先验地图进行匹配,消除里程计的累积误差,实现高精度定位.在KITTI数据集上的实验结果表明,仅利用低成本的双目相机和2D激光雷达便可实现较高精度的定位,所提出算法的定位精度相比于ORB-SLAM2里程计最高可提升37.9%.     

面向室内场景的主被动融合视觉定位系统

目的 视觉定位旨在利用易于获取的RGB图像对运动物体进行目标定位及姿态估计。室内场景中普遍存在的物体遮挡、弱纹理区域等干扰极易造成目标关键点的错误估计,严重影响了视觉定位的精度。针对这一问题,本文提出一种主被动融合的室内定位系统,结合固定视角和移动视角的方案优势,实现室内场景中运动目标的精准定位。方法 提出一种基于平面先验的物体位姿估计方法,在关键点检测的单目定位框架基础上,使用平面约束进行3自由度姿态优化,提升固定视角下室内平面中运动目标的定位稳定性。基于无损卡尔曼滤波算法设计了一套数据融合定位系统,将从固定视角得到的被动式定位结果与从移动视角得到的主动式定位结果进行融合,提升了运动目标的位姿估计结果的可靠性。结果 本文提出的主被动融合室内视觉定位系统在iGibson仿真数据集上的平均定位精度为2～3 cm,定位误差在10 cm内的准确率为99%;在真实场景中平均定位精度为3～4 cm,定位误差在10 cm内的准确率在90%以上,实现了cm级的定位精度。结论 提出的室内视觉定位系统融合了被动式和主动式定位方法的优势,能够以较低设备成本实现室内场景中高精度的目标定位结果,并在遮挡、目标...     

基于边缘关联点云的激光雷达与相机外参标定方法

激光雷达的点云和相机的图像经常被融合应用在多个领域。准确的外参标定是融合两者信息的前提。点云特征提取是外参标定的关键步骤。但是点云的低分辨率和低质量会影响标定结果的精度。针对这些问题,提出一种基于边缘关联点云的激光雷达与相机外参标定方法。首先,利用双回波提取标定板边缘关联点云;然后,通过优化方法从边缘关联点云中提取出与实际标定板尺寸大小兼容的标定板角点;最后,将点云中角点和图像中角点匹配。用多点透视方法求解激光雷达与相机之间的外参。实验结果表明,该方法的重投影误差为1.602px,低于同类对比方法,验证了该方法的有效性与准确性。     

基于激光雷达的无人驾驶系统三维车辆检测

本文以开发一套应用于无人驾驶的三维目标检测系统为目标,利用光学成像生成的图像纹理的丰富性、易于辨识场景、点云数据准确的距离信息和深度信息等优点,选择激光雷达和光学相机作为硬件平台,提取有效的场景信息。通过在汽车指定位置安装激光雷达和光学相机,固定其位姿,将激光雷达和相机统一在同一个坐标系中,融合单帧的点云和图像数据重建场景,更好地认知车辆周边的环境,再对融合的数据通过深度学习方法与传统方法识别三维场景地图中物体的位置和种类。     

结合视觉惯性模组的室内三维布局鲁棒重建方法

针对使用传统单目相机的全自动三维重建方法结果精确度差和整体结构理解缺失等问题,提出一种结合视觉惯性里程计和由运动到结构的全自动室内三维布局重建系统.首先利用视觉里程计获得关键帧图像序列和对应空间位置姿态,并利用运动恢复结构算法计算精确相机位姿;然后利用多图视立体几何算法生成高质量稠密点云;最后基于曼哈顿世界假设,针对典型的现代建筑室内场景,设计一种基于规则的自底向上的布局重建方法,得到最终房间外轮廓布局.使用浙江大学CAD&CG实验室场景现场扫描数据集和人工合成的稠密点云数据集作为实验数据,在Ubuntu 16.04和PCL 1.9环境下进行实验.结果表明,文中方法对三维点云噪声容忍度高,能够有效地重建出室内场景的三维外轮廓布局.     

基于视觉与激光融合的井下灾后救援无人机自主位姿估计

无人机在灾后矿井的自主导航能力是其胜任抢险救灾任务的前提,而在未知三维空间的自主位姿估计技术是无人机自主导航的关键技术之一。目前基于视觉的位姿估计算法由于单目相机无法直接获取三维空间的深度信息且易受井下昏暗光线影响,导致位姿估计尺度模糊和定位性能较差,而基于激光的位姿估计算法由于激光雷达存在视角小、扫描图案不均匀及受限于矿井场景结构特征,导致位姿估计出现错误。针对上述问题,提出了一种基于视觉与激光融合的井下灾后救援无人机自主位姿估计算法。首先,通过井下无人机搭载的单目相机和激光雷达分别获取井下的图像数据和激光点云数据,对每帧矿井图像数据均匀提取ORB特征点,使用激光点云的深度信息对ORB特征点进行深度恢复,通过特征点的帧间匹配实现基于视觉的无人机位姿估计。其次,对每帧井下激光点云数据分别提取特征角点和特征平面点,通过特征点的帧间匹配实现基于激光的无人机位姿估计。然后,将视觉匹配误差函数和激光匹配误差函数置于同一位姿优化函数下,基于视觉与激光融合来估计井下无人机位姿。最后,通过视觉滑动窗口和激光局部地图引入历史帧数据,构建历史帧数据和最新估计位姿之间的误差函数,通过对误差函数的非线性优化...     

基于激光雷达巡检机器人的变电站三维地图构建

变电站场景相比于一般场景,更为复杂,相似场景多,不易于三维(3D)可视化,基于传统迭代最近点(ICP)算法的点云匹配易出现地图误匹配.为了解决上述问题,设计了基于三维激光雷达的巡检机器人系统,利用三维激光雷达提供的点云信息构建三维地图;同时优化传统点云匹配算法,采用基于特征的点云匹配算法,解决由于相似场景导致误匹配,出...     

基于多传感器融合的城市道路目标检测方法

面对动态目标种类繁多的城市道路复杂场景，单一传感器无法获取准确全面的目标状态信息，针对上述问题，提出了一种基于多传感器信息融合的城市道路目标检测方法。首先，基于中心点图像检测网络获取目标尺寸大小、估计深度等信息，构建3D感兴趣区域截锥，获取目标初始状态信息，利用体素网格滤波法进行激光雷达点云预处理，减少点云冗余信息，并提出一种F-PointPillars方法融合激光雷达与毫米波雷达点云特征信息，获取目标位置和速度信息。然后，在截锥区域内，依据最近相邻原则匹配目标图像对应的点云信息，数据关联后将融合结果输入归一化头网络，获取目标准确全面的目标状态信息，为下一步决策控制提供精准数据。最后，在标准数据集Nuscenes上进行评估，与单相机检测方法和激光雷达融合毫米波雷达检测方法相比，NDS得分分别增加了9.4%和15.6%,平均尺度误差和平均角度误差分别降低了4.9%和2.9%,验证了上述方法的有效性。     

基于点线特征的单目视觉同时定位与地图构建算法

当相机快速运动导致图像模糊或场景中纹理缺失时,基于点特征的同时定位与地图构建(SLAM)算法难以追踪足够多的有效特征点,定位精度和鲁棒性较差,甚至无法正常工作.为此,设计了一种基于点、线特征并融合轮式里程计数据的单目视觉同时定位与地图构建算法.首先,利用点特征与线特征的互补来提高数据关联的准确性,并据此构建具有几何信息的环境特征地图,同时引入轮式里程计数据为视觉定位算法提供先验和尺度信息.然后,通过最小化局部地图点、线的重投影误差得到更准确的视觉位姿,在视觉定位失效时,定位系统能根据轮式里程计数据继续工作.通过对比在多组公开数据集上得到的仿真实验结果可知,本文算法性能优于MSCKF (multi-state constraint Kalman filter)和LSD-SLAM(large-scale direct monocular SLAM)算法,证明了该算法的准确性和有效性.最后,将该算法应用于课题组搭建的机器人系统上,得到单目视觉定位均方误差(RMSE)约为7 cm,在1.2 GHz主频、四核处理器的嵌入式平台上平均每帧(640×480)的处理时间约为90 ms.     

低成本激光和视觉相结合的同步定位与建图研究

激光雷达和视觉传感是目前两种主要的服务机器人定位与导航技术,但现有的低成本激光雷 达定位精度较低且无法实现大范围闭环检测,而单独采用视觉手段构建的特征地图又不适用于导航应用。因此,该文以配备低成本激光雷达与视觉传感器的室内机器人为研究对象,提出了一种激光和视觉相结合的定位与导航建图方法：通过融合激光点云数据与图像特征点数据,采用基于稀疏姿态调整的优化方法,对机器人位姿进行优化。同时,采用基于视觉特征的词袋模型进行闭环检测,并进一步优化基于激光点云的栅格地图。真实场景下的实验结果表明,相比于单一的激光或视觉定位建图方 法,基于多传感器数据融合的方法定位精度更高,并有效地解决了闭环检测问题。     

面向室内动态场景的多传感视觉SLAM方法

针对传统同时定位与地图构建(simultaneous localization and mapping,SLAM)框架面临动态场景时产生明显定位误差,建立的场景稠密地图会包含动态对象及其运动叠影,从而导致定位与建图鲁棒性不足的问题,面向以人类为主要动态对象的室内动态场景,从“温度”的角度出发,提出基于热像仪与深度相机结合的多传感SLAM协同方案,解决室内动态场景中的定位与建图难题。首先,建立一套针对热像仪与深度相机的联合标定策略,重新设计标定板与标定方案,完成相机的内参标定、外参标定与图像配准,得到一一对应的RGB、深度、热(RDH)三模图像;其次,由热图像得到人体掩模图像,进而在ORB-SLAM2系统框架下构建静态特征提取与数据关联策略,实现基于三模图像的视觉里程计;然后,基于人体掩模图像更新深度图像,滤除人体区域,进而完成基于三模图像的静态环境稠密地图构建;最后,在室内动态场景下进行实验验证,结果表明所提出算法在室内动态场景下可有效剔除动态对象的干扰特征,相对传统SLAM算法具有明显优势。     

基于RFID覆盖扫描的标签定位方法

为提高接收信号强度指标室内定位精度,提出一种基于参考标签和旋转无线射频识别(RFID)阅读器的定位方法。在室内环境下手动旋转阅读器建立读写区域,将2个区域交点作为目标定位点的坐标估值。利用优化分析或聚类分析算法对估值点进行处理,从而得到精确定位值。实验结果表明,在2.8 m×2.8 m,5.6 m×5.6 m,8.4 m×8.4 m的室内环境下,该方法的定位误差分别低至4 cm,9 cm,18 cm,可满足仓库、超市等室内场景的定位要求。     

点线特征融合的激光雷达单目惯导SLAM系统

多传感器融合的SLAM系统定位精度相比单一传感器的SLAM系统更高,但在低纹理场景或退化场景下的定位精度有待提高。提出一种点线特征融合的激光雷达视觉单目惯导紧耦合SLAM系统（PL2VI-SLAM）,其由点线特征融合的视觉惯导系统（PLVIS）和激光雷达惯导系统（LIS）两个子系统组成。通过PLVIS系统实现点线特征的提取与匹配,使用滑动窗口选择性地引入关键帧,并将惯性导航器件与相机紧耦合以解算位姿。LIS系统将多个约束集成到因子图中进行联合优化,其初始化状态可以作为PLVIS的初始猜测,通过扫描匹配实现激光雷达里程计,并将点云深度分别与PLVIS系统的特征点以及特征线进行关联,为视觉特征提供精确的深度值,提升定位精度。此外,两个子系统将联合进行回环检测,并对位姿进行矫正。在jackal、handled以及自制的长走廊数据集上的实验结果表明,与LVI-SAM、VINS-MDNO及LIO-SAM系统相比,该系统的定位精度更高,适用于低纹理场景及退化场景,并能满足实时性要求。     

融合2D激光雷达的室内单目深度估计

在室内单目视觉导航任务中,场景的深度信息十分重要.但单目深度估计是一个不适定问题,精度较低.目前, 2D激光雷达在室内导航任务中应用广泛,且价格低廉.因此,本文提出一种融合2D激光雷达的室内单目深度估计算法来提高深度估计精度.本文在编解码结构上增加了2D激光雷达的特征提取,通过跳跃连接增加单目深度估计结果的细节信息,并提出一种运用通道注意力机制融合2D激光雷达特征和RGB图像特征的方法.本文在公开数据集NYUDv2上对算法进行验证,并针对本文算法的应用场景,制作了带有2D激光雷达数据的深度数据集.实验表明,本文提出的算法在公开数据集和自制数据集中均优于现有的单目深度估计.     

基于特征匹配的激光雷达和相机外参标定方法

智能驾驶系统的车载传感信息通常由激光雷达信息和相机信息融合而成,精确稳定的外参数标定是有效多源信息融合的基础。为提高感知系统鲁棒性,文章提出一种基于特征匹配的激光雷达和相机标定方法。首先,提出点云数据球心算法和图像数据椭圆算法提取特征点的点云三维坐标和像素二维坐标;接着,建立特征点在激光雷达坐标系和相机坐标系下的点对约束,构建非线性优化问题;最后,采用非线性优化算法优化激光雷达和相机的外参数。利用优化后的外参数将激光雷达点云投影至图像,结果显示,激光雷达和相机联合标定精度横向平均误差和纵向平均误差分别为3.06像素和1.19像素。文章提出的方法与livox＿camera＿lidar＿calibration方法相比,平均投影误差减少了40.8%,误差方差减少了56.4%,其精度和鲁棒性明显优于后者。     

基于联邦滤波的室内多传感器融合导航定位方法研究

针对室内多传感器融合导航定位问题,提出一种基于联邦滤波的INS/3D LASER/单目视觉融合的室内导航定位方法.该方法是通过联邦滤波将INS分别同3D LASER与单目视觉构成子滤波器,主滤波器根据最小方差准则,利用最优系数加权法融合各子滤波器的最优估计,从而获得全局最优融合结果.实验证明,该方法能有效提高室内导航定位的精度和鲁棒性,比传统的视觉里程计法或激光雷达里程表法更准确.     

基于目标检测的动态鲁棒视觉SLAM

针对传统视觉即时定位与建图(simultaneouslocalizationandmapping,SLAM)算法的环境静态假设在高动态场景下不成立,导致无法实现准确定位的问题,通过在视觉SLAM前端引入语义模块、优化动态特征点剔除策略,构建动态鲁棒的相机自定位系统。引入YOLOv4识别动态和静态目标,根据特征点与动、静态目标框的位置关系及动态点占比将所有特征点划分为动态和静态,将动态点从定位算法中剔除。为准确评估算法有效性,构建复杂城市道路场景数据集,实验结果表明,该方法能有效抑制动态目标给相机自定位带来的不利影响,在多段图像序列中实现更低的定位误差,提升相机的定位精度和运动轨迹准确性。     

一种基于双目SLAM的环境建模方法

利用计算机视觉对环境进行建模是机器人环境感知相关研究的一项重要工作。提出了一种基于双目SLAM的建模方法。该方法的主要思想是利用双目SLAM(Simultaneous Localization and Mapping,同步定位与地图构建)技术获取相机位姿,并利用双目相机直接获取场景的深度图,然后将二者融合成场景的点云地图。由于双目相机直接获取的深度图像误差点较多,因此提出了一种基于视线约束的点云滤波方法,来消除场景点云中的误差点。经过实验验证了建模的效果,以及视线约束点云滤波的有效性。     

多源融合SLAM的现状与挑战

同时定位与地图构建(simultaneous localization and mapping,SLAM)技术在过去几十年中取得了惊人的进步,并在现实生活中实现了大规模的应用。由于精度和鲁棒性的不足,以及场景的复杂性,使用单一传感器(如相机、激光雷达)的SLAM系统往往无法适应目标需求,故研究者们逐步探索并改进多源融合的SLAM解决方案。本文从3个层面回顾总结该领域的现有方法:1)多传感器融合(由两种及以上传感器组成的混合系统,如相机、激光雷达和惯性测量单元,可分为松耦合、紧耦合);2)多特征基元融合(点、线、面、其他高维几何特征等与直接法相结合);3)多维度信息融合(几何、语义、物理信息和深度神经网络的推理信息等相融合)。惯性测量单元和视觉、激光雷达的融合可以解决视觉里程计的漂移和尺度丢失问题,提高系统在非结构化或退化场景中的鲁棒性。此外,不同几何特征基元的融合,可以大大减少有效约束的程度,并可为自主导航任务提供更多的有用信息。另外,数据驱动下的基于深度学习的策略为SLAM系统开辟了新的道路。监督学习、无监督学习和混合监督学习等逐渐应用于SLAM系统的各个模块,如相对姿势估计、地图表...     

路侧多激光雷达协同感知和误差自校准方法

多激光雷达3D点云数据融合能够弥补单个激光雷达感知范围有限的缺陷,而雷达安装误差自校准能够获取更加准确的感知数据。基于此,提出了路侧激光雷达协同感知数据融合算法和安装误差自校准方法。首先,使用KD-tree和k近邻算法查找两幅点云的重叠点,并对重叠点进行拼接处理。其次,基于深度学习模型实现多激光雷达数据融合,利用点云数据拼接特征实现激光雷达的误差自校准。最后,基于长安大学车联网与智能汽车试验场搭建多激光雷达数据采集平台,采集试验场内的点云数据来验证本次提出的数据融合算法和误差自校准方法。结果表明,后融合目标识别比前融合目标识别效率提升11.6%,且激光雷达误差自校准方法使有效数据精度提升了13.44%。