激光点云的稀疏体素金字塔邻域构建与分类

目的 在点云分类处理的各环节中,关键是准确描述点云的局部邻域结构并提取表达能力强的点云特征集合。为了改进传统邻域结构单尺度特征表达能力的有限性和多尺度特征的计算复杂性,本文提出了用于激光点云分类的稀疏体素金字塔邻域结构及对应的分类方法。方法 通过对原始数据进行不同尺度下采样构建稀疏体素金字塔,并根据稀疏体素金字塔提取多尺度特征,利用随机森林分类器进行初始分类;构建无向图,利用直方图交集核计算邻域点之间连接边的权重,通过多标签图割算法优化分类结果。当体素金字塔的接收域增大时,邻域点密度随其距离中心点距离的增加而减小,有效减少了计算量。结果 在地基Semantic3D数据集、车载点云数据和机载点云数据上进行实验,结果表明,在降低计算复杂性的前提下,本文方法的分类精度、准确性和鲁棒性达到了同类算法前列,验证了该框架作为点云分类基础框架的有效性。结论 与类似方法相比,本文方法提取的多尺度特征既保持了点的局部结构信息,也更好地兼顾了较大尺度的点云结构特征,因而提升了点云分类的精度。     

利用灰度体元模型的机载LiDAR 3D道路提取

面向机载LiDAR数据的道路提取算法的常用数据结构存在局限: 2D格网及TIN表达多次回波数据时存在的信息损失会影响提取结果的完整性且提取结果为2D形式; 点云的空间结构及拓扑信息难以利用, 由此导致算法设计的困难.为此, 提出了一种基于灰度体元模型的3D道路提取算法.算法首先将LiDAR数据规则化为灰度体元模型(灰度为体元内LiDAR点的平均强度值的量化表示); 然后选取道路种子体元进而搜寻并标记种子及其3D连通区域为道路体元; 最后利用数学形态学优化提取结果.基于ISPRS提供的包含不同复杂程度的城区路网LiDAR数据测试"邻域尺度"和"灰度差阈值"参数的敏感性及提出的算法的精度.实验结果表明: 56邻域为最佳邻域尺度、2为最佳灰度差阈值; 道路提取的平均质量、完整度及正确率分别为70%、86.77%及81.13%;对相对平坦的单层路网及起伏较大的复杂路网均可成功提取.     

伪点云修正增强激光雷达数据

目的 激光雷达在自动驾驶中具有重要意义,但其价格昂贵,且产生的激光线束数量仍然较少,造成采集的点云密度较稀疏。为了更好地感知周围环境,本文提出一种激光雷达数据增强算法,由双目图像生成伪点云并对伪点云进行坐标修正,进而实现激光雷达点云的稠密化处理,提高3D目标检测精度。此算法不针对特定的3D目标检测网络结构,是一种通用的点云稠密化方法。方法 首先利用双目RGB图像生成深度图像,根据先验的相机参数和深度信息计算出每个像素点在雷达坐标系下的粗略3维坐标,即伪点云。为了更好地分割地面,本文提出了循环RANSAC （random sample consensus）算法,引入了一个分离平面型非地面点云的暂存器,改进复杂场景下的地面分割效果。然后将原始点云进行地面分割后插入KDTree （k-dimensional tree）,以伪点云中的每个点为中心在KDTree中搜索若干近邻点,基于这些近邻点进行曲面重建。根据曲面重建结果,设计一种计算几何方法导出伪点云修正后的精确坐标。最后,将修正后的伪点云与原始激光雷达点云融合得到稠密化点云。结果 实验结果表明,稠密化的点云在视觉上具有较好的质量,物体具有更加完整的形状和轮廓,并且在KITTI （Karlsruhe Institute of Technology and Toyota Technological Institute）数据集上提升了3D目标检测精度。在使用该数据增强方法后,KITTI数据集下AVOD （aggregate view object detection）检测方法的AP_3D-Easy （average precision of 3D object detection on easy setting）提升了8.25%,AVOD-FPN （aggregate view object detection with feature pyramid network）检测方法的AP_BEV-Hard （average precision of bird’s eye view on hard setting）提升了7.14%。结论 本文提出的激光雷达数据增强算法,实现了点云的稠密化处理,并使3D目标检测结果更加精确。     

自适应K-means聚类的散乱点云精简

目的 点云精简是曲面重建等点云处理的一个重要前提,针对以往散乱点云精简算法的精简结果存在失真较大、空洞及不适用于片状点云的问题,提出一种自适应K-means聚类的点云精简算法。方法 首先,根据k邻域计算每个数据点的曲率、点法向与邻域点法向夹角的平均值、点到邻域重心的距离、点到邻域点的平均距离,据此运用多判别参数混合的特征提取方法识别并保留特征点,包括曲面尖锐点和边界点;然后,对点云数据建立自适应八叉树,为K-means聚类提供与点云密度分布相关的初始化聚类中心以及K值;最后,遍历整个聚类,如果聚类结果中含有特征点则剔除其中的特征点并更新聚类中心,计算更新后聚类中数据点的最大曲率差,将最大曲率差大于设定阈值的聚类进行细分,保留最终聚类中距聚类中心最近的数据点。结果 在聚类方面,将传统的K-means聚类和自适应K-means聚类算法应用于bunny点云,后者在聚类的迭代次数、评价函数值和时间上均优于前者;在精简方面,将提出的精简算法应用于封闭及片状两种不同类型的点云,在精简比例为1/5时fandisk及saddle模型的精简误差分别为0.29×10^-3、-0.41×10^-3和0.037、-0.094,对于片状的saddle点云模型,其边界收缩误差为0.030 805,均小于栅格法和曲率法。结论 本文提出的散乱点云精简算法可应用于封闭及片状点云,精简后的数据点分布均匀无空洞,对片状点云进行精简时能够保护模型的边界数据点。     

可变半径Alpha Shapes提取机载LiDAR点云建筑物轮廓

目的 机载激光雷达（light detection and ranging,LiDAR）能够快速获取建筑物表面的3维点云,为提取建筑物轮廓提供重要的数据支撑,但由于激光脚点的随机性和点云自身的离散性,常规固定半径Alpha Shapes（A-Shapes）算法难以兼顾轮廓提取的精细度和完整度,且在点数量较大情况下计算效率较低。因此,提出一种基于网格的可变半径Alpha Shapes方法用于提取机载LiDAR点云建筑物轮廓。方法 对3维点云进行投影降维,对投影后2维离散点的范围构建规则格网,接着根据网格内点云填充情况筛选出边界网格,计算边界网格的平滑度并加权不同的滚动圆半径,再以边界网格为中心生成3×3邻域网格检测窗口,利用滚动圆原理提取窗口内点集的边界点,迭代检测直到所有边界网格遍历完成,最后获取点云的完整轮廓。结果 在精度评价实验中,与固定半径A-Shapes方法和可变半径Alpha Shapes（variable radius Alpha Shapes,VA-Shapes）方法相比,若建筑物以直线特征为主且边缘点云参差不齐,则本文方法的提取效果不理想;若建筑物含有较多拐角特征,则本文方法的提取效果较好。在效率评价实验中,与A-Shapes方法、VA-Shapse方法以及包裹圆方法相比,若点云数据量较小,则4种方法的耗时差距不大;若数据量较大,则本文方法和包裹圆方法的耗时远小于固定半径A-Shapes方法。实验结果表明,本文提出的轮廓提取方法适用于多种形状的建筑物点云。从轮廓完整性、几何精度以及计算效率等几方面综合考虑,本文方法提取建筑物点云轮廓效果较好。结论 本文提出的基于网格的可变半径Alpha Shapes建筑物点云轮廓提取方法结合了网格划分和滚动圆检测的优点,能够有效提取机载LiDAR建筑物点云顶部轮廓,具有较高的提取效率和良好的鲁棒性,提取的轮廓精度较高。     

激光雷达点云数据的滤波算法述评

机载激光雷达是一种快速获取高精度三维地理数据的新技术,对它所获取的点云数据的滤波过程就是将LIDAR点云数据中的地面点和非地面点分离的过程。主要对数学形态学的滤波算法、基于坡度的滤波法、基于TIN的LIDAR点云过滤算法、基于伪扫描线的滤波算法、基于多分辨率方向预测的LIDAR点云滤波方法等几种较为重要且实用的激光雷达点云数据滤波算法进行介绍和讨论,评价对比了各自算法的优势和不足,初步探讨了每种算法缺陷及其改进方向。     

使用霍夫变换的3维点云拼合算法

目的 直接基于点云数据本身的拼合算法对点云模型的位置和重叠度有着较高的要求。为了克服这种缺陷,提出一种针对散乱点云的分步拼合算法。方法 不同于大多数已有的基于曲率信息的拼合算法,本文算法包含了一个序贯式的匹配点对筛选过程和一个基于霍夫变换的坐标变换参数估计过程。在筛选过程中,首先利用曲率相似度确定点云数据之间的初始匹配关系,然后利用刚体不变量特征邻域标识相似度以及持续特征直方图相似度对初始匹配点对进行连续两次筛选以便得到更为精确的匹配点对集。在参数估计阶段,通过对匹配点对的旋转矩阵和平移矢量的参数化处理,利用霍夫变换消除错误匹配点对对坐标变换参数估计的影响,从而得到更加准确的坐标变换参数,实现点云的3维拼合。结果 利用本文算法对两片部分重叠的点云数据进行了拼接实验。实验结果表明,本文算法能很好地实现对部分重叠点云的拼合。由于霍夫变换的引入,本文算法相较于经典的Ransac算法具有更高的正确率、稳定性以及抗噪性,在运行速度上也具有一定的优越性。结论 本文算法不仅能适用于任何具有任意初始相对位置的部分重叠点云的拼接,而且可以取得很高的拼合精度和很好的噪声鲁棒性。     

结合动态图卷积和空间注意力的点云分类与分割

目的 随着3维采集技术的飞速发展,点云在计算机视觉、自动驾驶和机器人等领域有着广泛的应用前景。深度学习作为人工智能领域的主流技术,在解决各种3维视觉问题上已表现出巨大潜力。现有基于深度学习的3维点云分类分割方法通常在聚合局部邻域特征的过程中选择邻域特征中的最大值特征,忽略了其他邻域特征中的有用信息。方法 本文提出一种结合动态图卷积和空间注意力的点云分类分割方法（dynamic graph convolution spatial attention neural networks,DGCSA）。通过将动态图卷积模块与空间注意力模块相结合,实现更精确的点云分类分割效果。使用动态图卷积对点云数据进行K近邻构图并提取其边特征。在此基础上,针对局部邻域聚合过程中容易产生信息丢失的问题,设计了一种基于点的空间注意力（spatial attention,SA）模块,通过使用注意力机制自动学习出比最大值特征更具有代表性的局部特征,从而提高模型的分类分割精度。结果 本文分别在ModelNet40、ShapeNetPart和S3DIS（Stanford Large-scale 3D Indoor Spaces Dataset）数据集上进行分类、实例分割和语义场景分割实验,验证模型的分类分割性能。实验结果表明,该方法在分类任务上整体分类精度达到93.4%;实例分割的平均交并比达到85.3%;在室内场景分割的6折交叉检验平均交并比达到59.1%,相比基准网络动态图卷积网络分别提高0.8%、0.2%和3.0%,有效改善了模型性能。结论 使用动态图卷积模块提取点云特征,在聚合局部邻域特征中引入空间注意力机制,相较于使用最大值特征池化,可以更好地聚合邻域特征,有效提高了模型在点云上的分类、实例分割与室内场景语义分割的精度。     

多特征融合与残差优化的点云语义分割方法

目的 当前的大场景3维点云语义分割方法一般是将大规模点云切成点云块再进行处理。然而在实际计算过程中,切割边界的几何特征容易被破坏,使得分割结果呈现明显的边界现象。因此,迫切需要以原始点云作为输入的高效深度学习网络模型,用于点云的语义分割。方法 为了解决该问题,提出基于多特征融合与残差优化的点云语义分割方法。网络通过一个多特征提取模块来提取每个点的几何结构特征以及语义特征,通过对特征的加权获取特征集合。在此基础上,引入注意力机制优化特征集合,构建特征聚合模块,聚合点云中最具辨别力的特征。最后在特征聚合模块中添加残差块,优化网络训练。最终网络的输出是每个点在数据集中各个类别的置信度。结果 本文提出的残差网络模型在S3DIS （Stanford Large-scale 3D Indoor Spaces Dataset）与户外场景点云分割数据集Semantic3D等2个数据集上与当前的主流算法进行了分割精度的对比。在S3DIS数据集中,本文算法在全局准确率以及平均准确率上均取得了较高精度,分别为87.2%,81.7%。在Semantic3D数据集上,本文算法在全局准确率和平均交并比上均取得了较高精度,分别为93.5%,74.0%,比GACNet （graph attention convolution network）分别高1.6%,3.2%。结论 实验结果验证了本文提出的残差优化网络在大规模点云语义分割的应用中,可以缓解深层次特征提取过程中梯度消失和网络过拟合现象并保持良好的分割性能。     

基于递归切片网络的三维点云语义分割与实例分割

目的 针对三维点云语义与实例分割特征点提取精度不高、实例分割精度极度依赖语义分割的性能、在密集场景或小单元分割目标中出现语义类别错分以及实例边缘模糊等问题,提出了基于递归切片网络的三维点云语义分割与实例分割网络。方法 网络对输入点云进行切片,并将无序点云映射到有序序列上;利用双向长短期记忆网络（bidirectional long short-term memory,BiLSTM）得到带有局部特征和全局特征的编码特征矩阵;将编码特征矩阵解码为两个并行分支,进行多尺度的特征融合;对语义与实例特征进行融合,得到并行的语义与实例分割网络。结果 在斯坦福大尺度3D室内场景数据集（Stanford large-scale 3D indoor spaces dataset,S3DIS）以及ShapeNet数据集上,与目前最新点云分割方法进行实验对比。实验结果表明,在S3DIS数据集上,本文算法的语义分割的平均交并比指标为73%,较动态核卷积方法（position adaptive convolution,PAConv）提高7.4%,并且在13个类别中的8个类别取得最好成绩;实例分割中平均实例覆盖率指标为67.7%。在ShapeNet数据集上,语义分割的平均交并比为89.2%,较PAConv算法提高4.6%,较快速、鲁棒的点云语义与实例分割方法（fast and robust joint semantic-instance segmentation,3DCFS）提高1.6%。结论 本文提出的语义与实例分割融合网络,综合了语义分割与实例分割的优点,有效提高语义分割与实例分割精度。     

3D Object Detection with Attention: Shell-Based Modeling

LIDAR point cloud-based 3D object detection aims to sense the surrounding environment by anchoring objects with the Bounding Box (BBox). However, under the three-dimensional space of autonomous driving scenes, the previous object detection methods, due to the pre-processing of the original LIDAR point cloud into voxels or pillars, lose the coordinate information of the original point cloud, slow detection speed, and gain inaccurate bounding box positioning. To address the issues above, this study proposes a new two-stage network structure to extract point cloud features directly by PointNet++, which effectively preserves the original point cloud coordinate information. To improve the detection accuracy, a shell-based modeling method is proposed. It roughly determines which spherical shell the coordinates belong to. Then, the results are refined to ground truth, thereby narrowing the localization range and improving the detection accuracy. To improve the recall of 3D object detection with bounding boxes, this paper designs a self-attention module for 3D object detection with a skip connection structure. Some of these features are highlighted by weighting them on the feature dimensions. After training, it makes the feature weights that are favorable for object detection get larger. Thus, the extracted features are more adapted to the object detection task. Extensive comparison experiments and ablation experiments conducted on the KITTI dataset verify the effectiveness of our proposed method in improving recall and precision.     

多特征融合与几何卷积的机载LiDAR点云地物分类

目的点云分类传统方法中大量依赖人工设计特征,缺乏深层次特征,难以进一步提高精度,基于深度学习的方法大部分利用结构化网络,转化为其他表征造成了3维空间结构信息的丢失,部分利用局部结构学习多层次特征的方法也因为忽略了机载数据的几何信息,难以实现精细分类。针对上述问题,本文提出了一种基于多特征融合几何卷积神经网络(multi-feature fusion and geometric convolutional neural network,MFFGCNN)的机载Li DAR(light detection and ranging)点云地物分类方法。方法提取并融合有效的浅层传统特征,并结合坐标尺度等预处理方法,称为APD模块(airporne laser scanning point cloud design module),在输入特征层面对典型地物有针对性地进行信息补充,来提高网络对大区域、低密度的机载Li DAR点云原始数据的适应能力和基础分类精度,基于多特征融合的几何卷积模块,称为FGC(multi-feature fusion and geometric convolution)算子,...     

Multi-type change detection of building models by integrating spatial and spectral information

Detecting building changes followed by updates is preferable for efficient revisions to building models. Additionally, more change types can be detected with spatial information provided by building models for reducing land surveying work. Therefore, for efficient building of model revision and land surveys, this work applies a new multi-type change detection scheme with new light detection and ranging (LIDAR) point clouds, new aerial images and existing building models. By integrating the spatial information from LIDAR data and image-based spectral information, this work identifies changes to existing buildings and identifies newly built and changed buildings. To provide an initial value for further revisions, new building regions are generated from change detection results. Experimental results demonstrate that the proposed scheme has high accuracy for both change type determination and building region generation. To provide comprehensive observations, experimental results deemed unreliable are scrutinized.     

建筑物的着色点云平面区域分割研究

从激光点云中提取建筑物平面区域是当前建筑物三维建模的关键技术。通过分析激光点云数据中建筑物的特征,引入k-d tree数据结构及随机霍夫变换（RHT）算法,提出了融合几何与颜色相似信息的区域生长分割算法。为了避免分割过程中的过度分割和分割不足,算法需要人工设置几个参数。通过在一组建筑物中提取实验数据,验证了该算法的有效性。     

面向智慧城市的3维城市在线可视化

目的 3维城市可视化是智慧城市信息显示的基础,对城市信息的实时准确传递起着重要作用。而现有的3维城市可视化方法和系统存在两点局限性:一是数据模型不适合于海量建筑物显示;二是对整个城市采用单一绘制方式,而建筑物的纹理、结构、高度等特征相似,绘制结果容易引起视觉混淆,为此提出一种基于人类感知理论的3维城市在线可视化技术。方法在预处理阶段,系统采用建筑综合算法建立3维城市建筑物的多分辨率表示;在运行时刻,系统根据用户交互,自适应选择建筑物相应的层次进行显示。结果采用几个3维城市数据对系统进行了测试,实验结果证明,该系统有效地提高了3维城市绘制效率。Leverkusen城市的5 530座建筑物,绘制效率达到19.4帧/s。结论基于感知的3维城市多分辨率表示,有效提高了3维城市系统的显示效率以及用户获取信息的效率,同时提高了用户的交互效率。     

A General Multi-step Algorithm for Voxel Traversing Along a Line

Traversing voxels along a three dimensional (3D) line is one of the most fundamental algorithms for voxel‐based applications. This paper presents a new 6‐connectivity integer algorithm for this task. The proposed algorithm accepts voxels having different sizes in x, y and z directions. To explain the idea of the proposed approach, a 2D algorithm is firstly considered and then extended in 3D. This algorithm is a multi‐step as up to three voxels may be added in one iteration. It accepts both integer and floating‐point input. The new algorithm was compared to other popular voxel traversing algorithms. Counting the number of arithmetic operations showed that the proposed algorithm requires the least amount of operations per traversed voxel. A comparison of spent CPU time using either integer or floating‐point arithmetic confirms that the proposed algorithm is the most efficient. This algorithm is simple, and in compact form which also makes it attractive for hardware implementation.     

Complete classification of raw LIDAR data and 3D reconstruction of buildings

LIDAR (LIght Detection And Ranging) data are a primary data source for digital terrain model (DTM) generation and 3D city models. This paper presents a three-stage framework for a robust automatic classification of raw LIDAR data as buildings, ground and vegetation, followed by a reconstruction of 3D models of the buildings. In the first stage the raw data are filtered and interpolated over a grid. In the second stage, first a double raw data segmentation is performed and then geometric and topological relationships among regions resulting from segmentation are computed and stored in a knowledge base. In the third stage, a rule-based scheme is applied for the classification of the regions. Finally, polyhedral building models are reconstructed by analysing the topology of building outlines, building roof slopes and eaves lines. Results obtained on data sets with different ground point density, gathered over the town of Pavia (Italy) with Toposys and Optech airborne laser scanning systems, are shown to illustrate the effectiveness of the proposed approach.