可学习动态分组卷积神经网络的大规模点云分割

针对现有大规模点云语义分割算法提取特征时冗余干扰信息过多,导致神经网络分割性能较差的问题,提出可学习动态分组卷积神经网络架构,高效准确地实现大规模点云分割。对输入点云以分组的方式进行局部几何特征提取,并通过动态筛选和修剪冗余特征通道来减少无用特征信息对神经网络特征识别的干扰,进一步提高网络模型语义分割精度。构建位置编码模块,将点云位置特征映射到高维频域空间,使神经网络充分挖掘点云频域特征信息,增强特征的丰富性。对提取到的局部几何特征和全局单点位置特征进行融合,并构建可学习动态分组卷积神经网络,完成解码得到最终分割结果。实验结果表明,该算法在大规模点云分割数据集S3DIS和SemanticKITTI上的mIoU分别为69.6%和58.3%。与现有点云语义分割方法相比,所提出的网络模型具有更高的分割准确率和较低的参数量。     

基于递归切片网络的三维点云语义分割与实例分割

目的 针对三维点云语义与实例分割特征点提取精度不高、实例分割精度极度依赖语义分割的性能、在密集场景或小单元分割目标中出现语义类别错分以及实例边缘模糊等问题,提出了基于递归切片网络的三维点云语义分割与实例分割网络。方法 网络对输入点云进行切片,并将无序点云映射到有序序列上;利用双向长短期记忆网络（bidirectional long short-term memory,BiLSTM）得到带有局部特征和全局特征的编码特征矩阵;将编码特征矩阵解码为两个并行分支,进行多尺度的特征融合;对语义与实例特征进行融合,得到并行的语义与实例分割网络。结果 在斯坦福大尺度3D室内场景数据集（Stanford large-scale 3D indoor spaces dataset,S3DIS）以及ShapeNet数据集上,与目前最新点云分割方法进行实验对比。实验结果表明,在S3DIS数据集上,本文算法的语义分割的平均交并比指标为73%,较动态核卷积方法（position adaptive convolution,PAConv）提高7.4%,并且在13个类别中的8个类别取得最好成绩;实例分割中平均实例覆盖率指标为67.7%。在ShapeNet数据集上,语义分割的平均交并比为89.2%,较PAConv算法提高4.6%,较快速、鲁棒的点云语义与实例分割方法（fast and robust joint semantic-instance segmentation,3DCFS）提高1.6%。结论 本文提出的语义与实例分割融合网络,综合了语义分割与实例分割的优点,有效提高语义分割与实例分割精度。     

多特征融合与残差优化的点云语义分割方法

目的 当前的大场景3维点云语义分割方法一般是将大规模点云切成点云块再进行处理。然而在实际计算过程中,切割边界的几何特征容易被破坏,使得分割结果呈现明显的边界现象。因此,迫切需要以原始点云作为输入的高效深度学习网络模型,用于点云的语义分割。方法 为了解决该问题,提出基于多特征融合与残差优化的点云语义分割方法。网络通过一个多特征提取模块来提取每个点的几何结构特征以及语义特征,通过对特征的加权获取特征集合。在此基础上,引入注意力机制优化特征集合,构建特征聚合模块,聚合点云中最具辨别力的特征。最后在特征聚合模块中添加残差块,优化网络训练。最终网络的输出是每个点在数据集中各个类别的置信度。结果 本文提出的残差网络模型在S3DIS （Stanford Large-scale 3D Indoor Spaces Dataset）与户外场景点云分割数据集Semantic3D等2个数据集上与当前的主流算法进行了分割精度的对比。在S3DIS数据集中,本文算法在全局准确率以及平均准确率上均取得了较高精度,分别为87.2%,81.7%。在Semantic3D数据集上,本文算法在全局准确率和平均交并比上均取得了较高精度,分别为93.5%,74.0%,比GACNet （graph attention convolution network）分别高1.6%,3.2%。结论 实验结果验证了本文提出的残差优化网络在大规模点云语义分割的应用中,可以缓解深层次特征提取过程中梯度消失和网络过拟合现象并保持良好的分割性能。     

大场景双视角点云特征融合语义分割方法

目的 点云语义分割在无人驾驶、城市场景建模等领域中具有重要意义,为了提升大场景条件下点云特征的提取效率,提出一种大场景双视角点云特征融合的语义分割方法（double-view feature fusion network for LiDAR semantic segmentation,DVFNet）。方法 大场景双视角点云特征融合的语义分割方法由两个部分组成,分别为双视角点云特征融合模块和基于非对称卷积的点云特征整合模块。双视角点云特征融合模块将柱状体素特征与关键点全局特征相结合,减少降采样导致的特征损失;基于非对称卷积的点云特征整合模块将双视角点云特征使用非对称卷积进行处理,并使用多维度卷积与多尺度特征整合来实现局部特征优化。结果 本文提出的大场景双视角点云特征融合语义分割方法,在SemanticKITTI大场景点云数据集上达到63.9%的准确率,分割精度在已开源的分割方法中处于领先地位。结论 通过文中的双视角点云特征融合语义分割方法,能够实现大场景条件下点云数据的高精度语义分割。     

基于无监督域适应的室外点云语义分割

为处理室外大规模场景中语义分割网络训练需求数据量过大的问题,提出一种基于无监督域自适应的点云语义分割方法。该方法使用改进的RandLA-Net以SPTLS3D真实世界数据集的少量点云作为目标对象进行语义分割。模型在SensatUrban数据集上完成分割网络的预训练,通过缩小源域和目标域之间的域差距来完成模型的迁移。RandLA-Net编码过程会缺失原始点云全局特征,因此本文提出一种额外获取全局信息加入网络解码的方法。此外,为增强差异化信息的获取,RandLA-Net的局部注意力模块权值改为根据各点的特征和其邻域的平均特征的差值。实验显示,该网络在SemanticKITTI数据集上的平均交并比精度达到54.3%,在Semantic3D上的平均交并比精度达到了71.91%。预训练好的模型经过微调后平均交并比精度达到了80.05%,比直接训练的效果好8.83个百分点。     

三维场景分割中多模态数据融合的2D-3D耦合网络

提出基于二维空间RGB颜色和三维点云数据融合的语义理解网络。先使用轻量级网络提取二维图像的特征，再基于二维图像特征、几何结构和全局环境信息提取三维场景语义分割框架。该算法采用异构网络，有效地将图像和点云信息结合起来，解决了单点云数据处理结果不够精细的问题。     

基于卦限卷积神经网络的3D点云分析

基于深度学习的三维点云数据分析技术得到了越来越广泛的关注, 然而点云数据的不规则性使得高效提取点云中的局部结构信息仍然是一大研究难点. 本文提出了一种能够作用于局部空间邻域的卦限卷积神经网络(Octant convolutional neural network, Octant-CNN), 它由卦限卷积模块和下采样模块组成. 针对输入点云, 卦限卷积模块在每个点的近邻空间中定位8个卦限内的最近邻点, 接着通过多层卷积操作将8卦限中的几何特征抽象成语义特征, 并将低层几何特征与高层语义特征进行有效融合, 从而实现了利用卷积操作高效提取三维邻域内的局部结构信息; 下采样模块对原始点集进行分组及特征聚合, 从而提高特征的感受野范围, 并且降低网络的计算复杂度. Octant-CNN通过对卦限卷积模块和下采样模块的分层组合, 实现了对三维点云进行由底层到抽象、从局部到全局的特征表示. 实验结果表明, Octant-CNN在对象分类、部件分割、语义分割和目标检测四个场景中均取得了较好的性能.     

基于动态图卷积和空间金字塔池化的点云深度学习网络

点云数据的分类和语义分割在自动驾驶、智能机器人、全息投影等领域中有着重要应用。传统手工提取点云特征的方式,以及将三维点云数据转化为多视图、体素网格等数据形式后再进行特征学习的方式,都存在处理环节多、三维特征损失大等问题,分类和分割的精度较低。目前可以直接处理点云数据的深度神经网络PointNet忽略了点云的局部细粒度特征,对复杂点云场景的处理能力较弱。针对上述问题,提出了一种基于动态图卷积和空间金字塔池化的点云深度学习网络。该网络在PointNet的基础上使用动态图卷积模块来替换PointNet中的特征学习模块,增强了网络对局部拓扑结构信息的学习能力;同时设计了一种基于点的空间金字塔池化结构来捕获多尺度局部特征,该方式比PointNet++的多尺度采样点云、重复分组进行多尺度局部特征学习的方法更加简洁高效。实验结果表明,在点云分类和语义分割任务的3个基准数据集上,所提网络相较于现有网络具有更高的分类和分割精度。     

基于全融合网络的三维点云语义分割

为提高室内场景的点云语义分割精度,设计了一个全融合点云语义分割网络。网络由特征编码模块、渐进式特征解码模块、多尺度特征解码模块、特征融合模块和语义分割头部组成。特征编码模块采用逆密度加权卷积作为特征编码器对点云数据进行逐级特征编码,提取点云数据的多尺度特征;然后通过渐进式特征解码器对高层语义特征进行逐层解码,得到点云的渐进式解码特征。同时,多尺度特征解码器对提取的点云多尺度特征分别进行特征解码,得到点云多尺度解码特征。最后将渐进式解码特征与多尺度解码特征融合,输入语义分割头部实现点云的语义分割。全融合网络增强了网络特征提取能力的鲁棒性,实验结果也验证了该网络的有效性。     

一种面向散乱点云语义分割的深度残差?特征金字塔网络框架

针对当前基于深度学习的散乱点云语义特征提取方法通用性差以及特征提取不足导致的分割精度和可靠性差的难题, 提出了一种散乱点云语义分割深度残差?特征金字塔网络框架. 首先, 针对当前残差网络在卷积方式上的局限性, 定义一种立方体卷积运算, 不仅可以通过二维卷积运算实现三维表示点的高层特征的抽取, 还可以解决现有的参数化卷积设计通用性差的问题;其次, 将定义的立方体卷积计算与残差网络相结合, 构建面向散乱点云语义分割的深度残差特征学习网络框架; 进一步, 将深度残差网络与特征金字塔网络相结合, 实现三维表示点高层特征多尺度学习与散乱点云场景语义分割. 实验结果表明, 本文提出的立方体卷积运算具有良好的适用性, 且本文提出的深度残差?特征金字塔网络框架在分割精度方面优于现存同类方法.     

面向形状特征的多维度多层级点云分析

目的 3维点云是编码几何信息的主要数据结构,与2维视觉数据不同的是,点云中隐藏了3维物体中重要的形状特征。为更好地从无序的点云中挖掘形状特征,本文提出一种能够端到端且鲁棒地处理点云数据的多维度多层级神经网络(multi-dimensional multi-layer neural network,MM-Net)。方法多维度特征修正与融合(multidimensional feature correction and fusion module,MDCF)模块从多个维度自适应地修正局部特征和逐点特征,并将其整合至高维空间以获得丰富的区域形状。另一方面,多层级特征衔接(multi-layer feature articulation module,MLFA)模块利用多个层级间的远程依赖关系,推理得到网络所需的全局形状。此外设计了两种分别应用于点云分类与分割任务的网络结构MM-Net-C(multi-dimensional multi-layer feature classification network)和MM-Net-S(multi-dimensional multi-layer fe...     

面向部件分割的PointNet注意力加权特征聚合网络

为解决PointNet最大池化损失次要特征导致部件分割精度降低的问题,提出一种面向部件分割的PointNet注意力加权特征聚合网络,能够充分利用点云的不同特征进行部件分割。首先利用多层感知机提取点云的空间几何特征,将特征乘以共享权重矩阵,以获取每个点的每一个特征的注意力分数;接着把归一化的分数作为权重乘以对应的全局特征并求和,得到聚合的全局特征;最后使用多层感知机将聚合的特征映射到部件分割结果。实验结果表明,相比于传统PointNet方法,该方法提升了部件分割的总平均交并比,同时在网络鲁棒性和计算复杂度方面具有显著优势。该方法有效优化了PointNet。     

结合空间深度卷积和残差的大尺度点云场景分割

目的 在点云场景中,语义分割对场景理解来说是至关重要的视觉任务。由于图像是结构化的,而点云是非结构化的,点云上的卷积通常比图像上的卷积更加困难,会消耗更多的计算和内存资源。在这种情况下,大尺度场景的分割往往需要分块进行,导致效率不足并且无法捕捉足够的场景信息。为了解决这个问题,本文设计了一种计算高效且内存高效的网络结构,可以用于端到端的大尺度场景语义分割。方法 结合空间深度卷积和残差结构设计空间深度残差（spatial depthwise residual,SDR）块,其具有高效的计算效率和内存效率,并且可以有效地从点云中学习到几何特征。另外,设计一种扩张特征整合（dilated feature aggregation,DFA）模块,可以有效地增加感受野而仅增加少量的计算量。结合SDR块和DFA模块,本文构建SDRNet（spatial depthwise residual network）,这是一种encoder-decoder深度网络结构,可以用于大尺度点云场景语义分割。同时,针对空间卷积核输入数据的分布不利于训练问题,提出层级标准化来减小参数学习的难度。特别地,针对稀疏雷达点云的旋转不变性,提出一种特殊的SDR块,可以消除雷达数据绕Z轴旋转的影响,显著提高网络处理激光雷达点云时的性能。结果 在S3DIS（stanford large-scale 3D indoor space）和SemanticKITTI（Karlsruhe Institute of Technology and Toyota Technological Institute）数据集上对提出的方法进行测试,并分析点数与帧率的关系。本文方法在S3DIS数据集上的平均交并比（mean intersection over union,mIoU）为71.7%,在SemanticKITTI上的mIoU在线单次扫描评估中达到59.1%。结论 实验结果表明,本文提出的SDRNet能够直接在大尺度场景下进行语义分割。在S3DIS和SemanticKITTI数据集上的实验结果证明本文方法在精度上有较好表现。通过分析点数量与帧率之间的关系,得到的数据表明本文提出的SDRNet能保持较高精度和较快的推理速率。     

一种鲁棒的多特征点云分类分割深度神经网络

现有的深度学习方法在处理点云分割任务时,难以有效地学习点云的局部特征,存在分类分割精度低和鲁棒性差的问题。构建深度神经网络RMFP-DNN用于多特征点云分类分割。分别利用自注意力模块和多层感知机提取点云的局部特征和全局特征,并将两者相互融合,提高分类分割的准确率和鲁棒性。实验结果表明,RMFP-DNN平均分类准确率和整体分类准确率分别为88.9%和92.6%,与PointNet、PointNet++、DGCNN等方法相比,准确率较高且鲁棒性较好。     

基于MANet的三维点云特征提取方法研究

在三维点云数据特征提取过程中,点云数据本身的稀疏性和不规则性会影响输入数据的全局特征表示,且现有方法未考虑不同特征通道的重要性差异,不利于点云特征的全局优化。提出一种基于多分组表征和注意力机制的MANet网络进行三维点云特征描述。为获得完整的点云特征信息,将点云数据输入多分组表征模块获得初始点云特征。为学习点云不同通道的重要性,引入新的通道注意力机制强调对特征表示重要的通道,抑制不重要的通道,进一步优化特征表示。将优化后的特征输入点云分类网络,实验结果表明,多分组表征可以感知局部信息,注意力机制能够优化全局特征表示,所提方法能够对点云数据进行有效学习,有助于提高点云分类的鲁棒性和准确率。在ModelNet10/40分类数据集上总体准确率（overall accuracy）分别达到95.1%和92.5%,在ScanNet和SHREC15数据集上总体准确率分别为78.6%和97.2%,上述结果均优于PointNet++网络。     

基于自注意力机制的点云分类分割

3D点云由于其无序性以及缺少拓扑信息使得点云的分类与分割仍具有挑战性.针对上述问题,我们设计了一种基于自注意力机制的3D点云分类算法,可学习点云的特征信息,用于目标分类与分割.首先,设计适用于点云的自注意力模块,用于点云的特征提取.通过构建领域图来加强输入嵌入,使用自注意力机制进行局部特征的提取与聚合.最后,通过多层感知机以及解码器-编码器的方式将局部特征进行结合,实现3D点云的分类与分割.该方法考虑了输入嵌入时单个点在点云中的局部语境信息,构建局部长距离下的网络结构,最终得到的结果更具区分度.在ShapeNetPart、RoofN3D等数据集上的实验证实所提方法的分类与分割性能较优.     

融合逆密度函数与关系形状卷积神经网络的点云分析

目的 3D点云与以规则的密集网格表示的图像不同,不仅不规则且无序,而且由于输入输出大小和顺序差异,具有密度不均匀以及形状和缩放比例存在差异的特性。为此,提出一种对3D点云进行卷积的方法,将关系形状卷积神经网络（relation-shape convolution neural network,RSCNN）与逆密度函数相结合,并在卷积网络中增添反卷积层,实现了点云更精确的分类分割效果。方法 在关系形状卷积神经网络中,将卷积核视为由权重函数和逆密度函数组成的3D点局部坐标的非线性函数。对给定的点,权重函数通过多层感知器网络学习,逆密度函数通过核密度估计（kernel density estimation,KDE）学习,逆密度函数的引入对点云采样率不均匀的情况进行弥补。在点云分割任务中,引入由插值和关系形状卷积层两部分组成的反卷积层,将特征从子采样点云传播回原始分辨率。结果 在ModelNet40、ShapeNet、ScanNet数据集上进行分类、部分分割和语义场景分割实验,验证模型的分类分割性能。在分类实验中,与PointNet++相比,整体精度提升3.1%,在PointNet++将法线也作为输入的情况下,精度依然提升了1.9%;在部分分割实验中,类平均交并比（mean intersection over union,mIoU）比PointNet++在法线作为输入情况下高6.0%,实例mIoU比PointNet++高1.4%;在语义场景分割实验中,mIoU比PointNet++高13.7%。在ScanNet数据集上进行不同步长有无逆密度函数的对比实验,实验证明逆密度函数将分割精度提升0.8%左右,有效提升了模型性能。结论 融合逆密度函数的关系形状卷积神经网络可以有效获取点云数据中的局部和全局特征,并对点云采样不均匀的情况实现一定程度的补偿,实现更优的分类和分割效果。     

基于深度学习的点云语义分割研究综述

近年来,深度传感器和三维激光扫描仪的普及推动了三维点云处理方法的快速发展。点云语义分割作为理解三维场景的关键步骤,受到了研究者的广泛关注。随着深度学习的迅速发展并广泛应用到三维语义分割领域,点云语义分割效果得到了显著提升。主要对基于深度学习的点云语义分割方法和研究现状进行了详细的综述。将基于深度学习的点云语义分割方法分为间接语义分割方法和直接语义分割方法,根据各方法的研究内容进一步细分,对每类方法中代表性算法进行分析介绍,总结每类方法的基本思想和优缺点,并系统地阐述了深度学习对语义分割领域的贡献。然后,归纳了当前主流的公共数据集和遥感数据集,并在此基础上对比主流点云语义分割方法的实验结果。最后,对语义分割技术未来的发展方向进行了展望。