应用激光雷达与相机信息融合的障碍物识别

针对探测器在地外星体表面软着陆过程中的障碍物识别问题,提出了一种融合三维点云数据与灰度图像数据进行精确障碍物识别的方法。首先利用坐标转换将灰度图像与三维点云归一化到同一坐标系下,实现传感器数据的融合。然后采用改进K均值聚类算法对预处理后灰度图像进行图像分割,生成光学障碍图。最后利用开源库PCL(Point Cloud Library)对激光雷达生成的三维激光点云数据进行处理,采用随机采样一致性算法提取着陆区地形水平面,对去除水平面后的点云数据进行点云分割,分离出突起物、凹坑等障碍物,并通过激光雷达与相机转换坐标系,投影到像平面,生成最终障碍图。     

基于局部特征聚合网络的三维语义分割

激光雷达采集的自动驾驶场景点云数据规模庞大且包含丰富的空间结构信息,一些方法将点云变换到体素化网格等稠密表示形式进行处理,但却忽略了点云变换引起的信息丢失问题,导致分割性能降低。为此,提出了一种基于局部特征聚合网络的三维语义分割方法。其中的局部特征融合模块,聚合中心点的K个最近点的特征,并通过强大的注意力机制,得到增强的点特征,从而弥补丢失的信息,提高网络的分割精度。此外,为了提高小物体的分类精度,提出了3D注意力特征融合块,通过摒弃常规的特征图拼接,使用注意力机制来决定不同层次语义特征的权重,得到更加丰富的语义特征,提高网络的性能。在SemanticKITTI和nuScenes数据集上的大量实验表明了该方法的优越性。     

基于点云数据的三维目标识别和模型分割方法

三维模型的深度特征表示是三维目标识别和三维模型语义分割的关键和前提,在 机器人、自动驾驶、虚拟现实、遥感测绘等领域有着广泛的应用前景。然而传统的卷积神经网 络需要以规则化的数据作为输入,对于点云数据需要转换为视图或体素网格来处理,过程复杂 且损失了三维模型的几何结构信息。借助已有的可以直接处理点云数据的深度网络,针对产生 的特征缺少局部拓扑信息问题进行改进,提出一种利用双对称函数和空间转换网络获得更鲁棒、 鉴别力更强的特征。实验表明,通过端到端的方式很好地解决缺少局部信息问题,在三维目标 识别、三维场景语义分割任务上取得了更好的实验效果,并且相比于 PointNet++在相同精度的 情况下训练时间减少了 20%。     

激光点云深度学习的树种识别研究北大核心CSCD

针对激光雷达林业树种分类难以直接使用点云数据的问题,使用基于点云深度学习方法进行树种识别并提出PointNet-GS模型,无需将点云转为三维体素或二维图像,避免数据类型转换造成的特征丢失。以河北省塞罕坝机械林场的落叶松和白桦两个树种为研究对象。首先,将获取的点云数据进行数据预处理、单木分割,提取分割效果较好的单木作为样本;其次,将单木提取的样本进行几何下采样处理,保留更多局部特征便于网络模型学习;最后,将下采样处理的样本输入深度学习模型的网络,自动提取其高维特征进行学习,实现树种分类。实验结果表明,PointNet-GS树种分类精度达89.3%,Kappa系数为0.785,效果优于原始PointNet模型。     

无人机倾斜摄影进行建筑施工进展监测初探

及时掌握建筑施工现场的变化信息,有助于施工现场的进度管理,规范作业行为.本文采用五视图与体素模型两种方法获取建筑物的变化信息.首先,利用建筑施工工地不同时段拍摄的无人机倾斜影像,建立点云模型,通过点云体素转换算法生成体素模型,对比两期体素模型得到三维变化区域;然后,利用两期点云和体素模型生成建筑物的五视图,对比两期五视...     

基于数据特征的多传感器融合实时目标检测

为了进一步降低目标检测出现的误检率,提出了一种基于传感器数据特征的融合目标检测算法。首先,为了减少部分离群噪声点对点云表达准确性的影响,采用统计滤波器对激光雷达原始点云进行滤波处理;其次,为了解决点云地面分割在坡度变化时,固定阈值会导致分割不理想的问题,提出了自适应坡度阈值的地面分割算法;然后,建立KD（k-dimensional）树索引,加速DBSCAN（density-based spatial clustering of applications with noise）点云聚类,基于Andrew最小凸包算法,拟合最小边界矩形,生成目标三维边界框,完成聚类后的目标点云位姿估计;最后,将激光雷达检测到的三维目标点云投影到图像上,投影边界框与图像检测的目标边界框通过IoU关联匹配,提出基于决策级的三维激光雷达与视觉图像信息融合算法。使用KITTI数据集进行的测试实验表明,提出的点云聚类平均耗时降低至173 ms,相比传统的欧氏距离聚类,准确性提升6%。搭建硬件实验平台,基于实测数据的实验结果表明,提出的融合算法在目标误检率上比YOLO v4网络降低了约10%。     

基于Spider卷积的三维点云分类与分割网络

针对传统的卷积神经网络（CNN）不能直接处理点云数据，需先将点云数据转换为多视图或者体素化网格，导致过程复杂且点云识别精度低的问题，提出一种新型的点云分类与分割网络Linked-Spider CNN。首先，在Spider CNN基础上通过增加Spider卷积层数以获取点云深层次特征；其次，引入残差网络的思想在每层Spider卷积增加短连接构成残差块；然后，将每层残差块的输出特征进行拼接融合形成点云特征；最后，使用三层全连接层对点云特征进行分类或者利用多层卷积层对点云特征进行分割。在ModelNet40和ShapeNet Parts数据集上将所提网络与PointNet、PointNet++和Spider CNN等网络进行对比实验，实验结果表明，所提网络可以提高点云的分类精度和分割效果，说明该网络具有更快的收敛速度和更强的鲁棒性。     

结合超体素和区域增长的植物器官点云分割

点云分割是点云识别与建模的基础。为提高点云分割准确率和效率，提出一种结合超体素和区域增长的自适应分割算法。根据三维点云的空间位置和法向量信息，利用八叉树对点云进行初始分割得到超体素。选取超体素的中心体素组成一个新的重采样后的密度均匀点云，降低原始点云数据处理量，从而减少运算时间。建立重采样后点云数据的K-D树索引，根据其局部特征得到点云簇。最后将聚类结果返回到原始点云空间。分别选取植物三个物候期的激光扫描点云，对该方法的有效性进行验证。实验结果表明，该方法分割后点云与手工分割平均拟合度达到93.38%，高于其他同类方法，且算法效率得到明显提升。     

动态环境中多帧点云融合算法及三维目标检测算法研究

低线束激光雷达扫描的点云数据较为稀疏,导致无人驾驶环境感知系统中三维目标检测效果欠佳,通过多帧点云配准可实现稀疏点云稠密化,但动态环境中的行人与移动车辆会降低激光雷达的定位精度,也会造成融合帧中运动目标上的点云偏移较大。针对上述问题,提出了一种动态环境中多帧点云融合算法,利用该算法在园区道路实况下进行三维目标检测,提高了低线束激光雷达的三维目标检测精度。利用16线和40线激光雷达采集的行驶路况数据进行实验,结果表明该算法能够增强稀疏点云密度,改善低成本激光雷达的环境感知能力。     

基于距离视图表示与逐点细化结合的点云语义分割方法

三维点云语义分割是机器实现环境感知的重要途径。在现有的研究中,基于体素的算法和基于点的算法在面对大规模的点云数据时计算效率低下。而基于距离视图的算法,在对点云进行投影和反投影时会不可避免地造成精度损失。针对上述问题,提出了基于距离视图表示与逐点细化结合的点云语义分割新框架RPNet。充分的实验表明,所提出的方法在三维点云室外场景数据集SemanticKITTI上的平均交并比达到64.2%,推理速度达到58帧/秒,兼顾了高精度和高速度。     

场景视点偏移的激光雷达点云分割

目的 激光雷达采集的室外场景点云数据规模庞大且包含丰富的空间结构细节信息,但是目前多数点云分割方法并不能很好地平衡结构细节信息的提取和计算量之间的关系。一些方法将点云变换到多视图或体素化网格等稠密表示形式进行处理,虽然极大地减少了计算量,但却忽略了由激光雷达成像特点以及点云变换引起的信息丢失和遮挡问题,导致分割性能降低,尤其是在小样本数据以及行人和骑行者等小物体场景中。针对投影过程中的空间细节信息丢失问题,根据人类观察机制提出了一种场景视点偏移方法,以改善三维（3D）激光雷达点云分割结果。方法 利用球面投影将3D点云转换为2维（2D）球面正视图（spherical front view,SFV）。水平移动SFV的原始视点以生成多视点序列,解决点云变换引起的信息丢失和遮挡的问题。考虑到多视图序列中的冗余,利用卷积神经网络（convolutional neural networks,CNN）构建场景视点偏移预测模块来预测最佳场景视点偏移。结果 添加场景视点偏移模块后,在小样本数据集中,行人和骑行者分割结果改善相对明显,行人和骑行者（不同偏移距离下）的交叉比相较于原方法最高提升6.5%和15.5%。添加场景视点偏移模块和偏移预测模块后,各类别的交叉比提高1.6% 3%。在公用数据集KITTI（Karlsruhe Institute of Technology and Toyota Technological Institute）上与其他算法相比,行人和骑行者的分割结果取得了较大提升,其中行人交叉比最高提升9.1%。结论 本文提出的结合人类观察机制和激光雷达点云成像特点的场景视点偏移与偏移预测方法易于适配不同的点云分割方法,使得点云分割结果更加准确。     

利用隐式解码器的三维模型簇协同分割

目的为建立3维模型语义部件之间的对应关系并实现模型自动分割,提出一种利用隐式解码器(implicit decoder, IM-decoder)的无监督3维模型簇协同分割网络。方法首先对3维点云模型进行体素化操作,进而由CNN-encoder(convolutional neural network encoder)提取体素化点云模型的特征,并将模型信息映射至特征空间。然后使用注意力模块聚合3维模型相邻点特征,将聚合特征与3维点坐标作为IM-decoder的输入来增强模型的空间感知能力,并输出采样点相对于模型部件的内外状态。最后使用max pooling聚合解码器生成的隐式场,以得到模型的协同分割结果。结果实验结果表明,本文算法在Shape Net Part数据集上的m Io U(mean intersection-overunion)为62.1%,与目前已知的两类无监督3维点云模型分割方法相比,分别提高了22.5%和18.9%,分割性能得到了极大提升。与两种有监督方法相比,分别降低了19.3%和20.2%,但其在部件数较少的模型上可获得更优的分割效果。相比于使用交叉熵函数作为重构损失函...     

基于特征通道和空间位置注意力的三维点云特征学习网络

点云模型的分类与部件分割是三维点云数据处理的基本任务,其核心在于获取可以有效表示三维模型的点云特征。提出一个引入注意力机制的三维点云特征学习网络。该网络采用多层次点云特征提取方法,首先使用特征通道注意力模块获取各通道间的关联,增强关键通道信息; 接着引入空间位置注意力机制,基于点的空间位置信息获取各点的注意力权重;然后结合以上2种注意力机制获取增强的点云特征;最后基于该特征继续进行多层次特征提取,获得面向下游任务的点云特征。分别在ModelNet40和ShapeNet数据集上进行形状分类与部件分割实验,结果表明,使用所提方法可以实现高精度、具有鲁棒性的三维点云形状分类与分割。     

伪点云修正增强激光雷达数据

目的 激光雷达在自动驾驶中具有重要意义,但其价格昂贵,且产生的激光线束数量仍然较少,造成采集的点云密度较稀疏。为了更好地感知周围环境,本文提出一种激光雷达数据增强算法,由双目图像生成伪点云并对伪点云进行坐标修正,进而实现激光雷达点云的稠密化处理,提高3D目标检测精度。此算法不针对特定的3D目标检测网络结构,是一种通用的点云稠密化方法。方法 首先利用双目RGB图像生成深度图像,根据先验的相机参数和深度信息计算出每个像素点在雷达坐标系下的粗略3维坐标,即伪点云。为了更好地分割地面,本文提出了循环RANSAC （random sample consensus）算法,引入了一个分离平面型非地面点云的暂存器,改进复杂场景下的地面分割效果。然后将原始点云进行地面分割后插入KDTree （k-dimensional tree）,以伪点云中的每个点为中心在KDTree中搜索若干近邻点,基于这些近邻点进行曲面重建。根据曲面重建结果,设计一种计算几何方法导出伪点云修正后的精确坐标。最后,将修正后的伪点云与原始激光雷达点云融合得到稠密化点云。结果 实验结果表明,稠密化的点云在视觉上具有较好的质量,物体具有更加完整的形状和轮廓,并且在KITTI （Karlsruhe Institute of Technology and Toyota Technological Institute）数据集上提升了3D目标检测精度。在使用该数据增强方法后,KITTI数据集下AVOD （aggregate view object detection）检测方法的AP_3D-Easy （average precision of 3D object detection on easy setting）提升了8.25%,AVOD-FPN （aggregate view object detection with feature pyramid network）检测方法的AP_BEV-Hard （average precision of bird’s eye view on hard setting）提升了7.14%。结论 本文提出的激光雷达数据增强算法,实现了点云的稠密化处理,并使3D目标检测结果更加精确。     

Estimation of planes of a rock mass in a gallery wall from point cloud data based on MD PSO

LiDAR (laser imaging detection and ranging) has been developed to measure the distance of the mesh of points on an object with a high level of accuracy. It provides high-resolution point cloud data as a result of distance measurement. Detailed 3D shapes of objects can be estimated from point cloud data. LiDAR has been used to identify discontinuities in a rock mass of a tunnel gallery wall. To identify discontinuities, it is necessary to approximate the rock mass surface with small planes. Normal vectors of the planes are important to identify discontinuities. We developed an algorithm for estimation of planes based on multi-dimensional particle swarm optimization (MD PSO) from point cloud data. Point cloud data were segmented into bounding boxes and grouped into clusters by MD PSO. Planes were estimated using the least squares method for point cloud data in the respective clusters. The newly developed algorithm based on MD PSO was evaluated using point cloud data obtained from a gallery wall. Evaluation was carried out in comparison with the previous developed variable-box segmentation (VBS) algorithm. The MD PSO-based algorithm showed a 7% higher accuracy than that of the VBS algorithm.     

基于区块特征融合的点云语义分割方法

为降低室外大规模点云场景中多类三维目标语义分割的计算复杂度,提出一种融合区块特征的语义分割方法。采用方形网格分割方法对三维点云进行区块划分、采样以及组合,求取简化的点云组合区块集,将其输入至区块特征提取和融合网络中从而获得每个区块的特征修正向量。设计点云区块全局特征修正网络,以残差的方式融合特征修正向量与原始点云全局特征,修正因分割造成的错误特征。在此基础上,将方形网格分割尺寸作为神经网络的参数引入反向传播过程中进行优化,从而建立高效的点云语义分割网络。实验结果表明,反向传播算法可以优化分割尺寸至最佳值附近,所提网络中的全局特征修正方法能够提高语义分割精度,该方法在Semantic3D数据集上的语义分割精度达到78.7%,较RandLA-Net方法提升1.3%,且在保证分割精度的前提下其点云预处理计算复杂度和网络计算时间明显降低,在处理点数为10万~100万的大规模点云时,点云语义分割速度较SPG、KPConv等方法提升2~4倍。     

基于深度学习的三维点云分割综述

作为三维场景理解的重要技术之一,三维点云分割受到广泛的关注,具有重要的研究价值和广阔的应用前景.基于此,梳理基于深度学习的三维点云分割技术的最新研究进展;在介绍三维点云分割常用的8个室内和室外数据集的基础上,重点阐述和分析现有主要基于深度学习的语义分割、实例分割和部件分割方法,并基于量化数据进行部分方法的效能比较;最后从10个方面总结现有方法的不足,并针对性地提出工作展望.     

基于自适应角度的三维点云分割方法

点云分割是基于点云数据空间几何信息提取的一项重要工作,它是点云数据特征提取与分析的基础。同时,点云数据通常是离散的和非结构化的,点云数据的分割不是一项简单的数据处理任务,分割效率和分割精度决定了后续数据处理工作的结果。因此,研究点云数据分割具有重要意义。提出一种基于自适应角度的三维点云切割算法,使用PCA算法找到最佳降维投射方向,以降低原始点云数据维度,并利用投射簇的概念实现对原始目标点云的切割获取。     

基于旋转不变深度层次聚类网络的点云分析

由于解决了三维点云的排列不变性问题,基于三维点云的深度学习方法在计算机三维视觉领域中取得了重大的突破,人们逐渐倾向于使用三维点云来描述物体并基于神经网络结构来提取点云的特征.然而,现有的方法依然无法解决旋转不变性问题,使得目前的模型鲁棒性较差;同时,神经网络结构的设计过于启发式,没有合理利用三维点云的几何结构与分布特性,导致网络结构的表达能力有待提升.鉴于此,提出了一种具有良好兼容性的严格旋转不变性表达以及深度层次类簇网络,试图从理论与实践两个层面解决上述问题.在点云识别、部件分割、语义分割这3个经典任务上进行了旋转鲁棒性对比实验,均取得了最优的效果.