基于动态图卷积和离散哈特莱转换差异性池化的点云数据分类分割网络

针对目前可以直接处理原始点云数据的深度学习网络PointNet,忽略了点与点之间的拓扑关系和全局特征信息单一的缺陷,提出一种基于动态图卷积和离散哈特莱转换（DHT）差异性池化的点云数据分类分割网络。首先,设计动态图卷积模块构建局部邻域图结构,通过图卷积网络获得点与点之间的位置关系,同时采用动态更新图结构的方式,增强网络表征能力;然后,通过离散哈特莱转换将特征转换到指定维度;最后,通过最大池化和平均池化并联通道获得全局特征。实验结果证明：提出的网络模型与PointNet网络模型在同样的数据集和评价标准上对比,点云分类任务上总体精度提高2.6个百分点,部件分割任务平均交并比（mIoU）提高4.1个百分点,场景语义分割任务mIoU提高8.6个百分点。通过运用该网络模型能有效提升点云数据分类分割的准确率,同时该网络具有更强的鲁棒性。     

基于递归切片网络的三维点云语义分割与实例分割

目的 针对三维点云语义与实例分割特征点提取精度不高、实例分割精度极度依赖语义分割的性能、在密集场景或小单元分割目标中出现语义类别错分以及实例边缘模糊等问题,提出了基于递归切片网络的三维点云语义分割与实例分割网络。方法 网络对输入点云进行切片,并将无序点云映射到有序序列上;利用双向长短期记忆网络（bidirectional long short-term memory,BiLSTM）得到带有局部特征和全局特征的编码特征矩阵;将编码特征矩阵解码为两个并行分支,进行多尺度的特征融合;对语义与实例特征进行融合,得到并行的语义与实例分割网络。结果 在斯坦福大尺度3D室内场景数据集（Stanford large-scale 3D indoor spaces dataset,S3DIS）以及ShapeNet数据集上,与目前最新点云分割方法进行实验对比。实验结果表明,在S3DIS数据集上,本文算法的语义分割的平均交并比指标为73%,较动态核卷积方法（position adaptive convolution,PAConv）提高7.4%,并且在13个类别中的8个类别取得最好成绩;实例分割中平均实例覆盖率指标为67.7%。在ShapeNet数据集上,语义分割的平均交并比为89.2%,较PAConv算法提高4.6%,较快速、鲁棒的点云语义与实例分割方法（fast and robust joint semantic-instance segmentation,3DCFS）提高1.6%。结论 本文提出的语义与实例分割融合网络,综合了语义分割与实例分割的优点,有效提高语义分割与实例分割精度。     

多特征融合与残差优化的点云语义分割方法

目的 当前的大场景3维点云语义分割方法一般是将大规模点云切成点云块再进行处理。然而在实际计算过程中,切割边界的几何特征容易被破坏,使得分割结果呈现明显的边界现象。因此,迫切需要以原始点云作为输入的高效深度学习网络模型,用于点云的语义分割。方法 为了解决该问题,提出基于多特征融合与残差优化的点云语义分割方法。网络通过一个多特征提取模块来提取每个点的几何结构特征以及语义特征,通过对特征的加权获取特征集合。在此基础上,引入注意力机制优化特征集合,构建特征聚合模块,聚合点云中最具辨别力的特征。最后在特征聚合模块中添加残差块,优化网络训练。最终网络的输出是每个点在数据集中各个类别的置信度。结果 本文提出的残差网络模型在S3DIS （Stanford Large-scale 3D Indoor Spaces Dataset）与户外场景点云分割数据集Semantic3D等2个数据集上与当前的主流算法进行了分割精度的对比。在S3DIS数据集中,本文算法在全局准确率以及平均准确率上均取得了较高精度,分别为87.2%,81.7%。在Semantic3D数据集上,本文算法在全局准确率和平均交并比上均取得了较高精度,分别为93.5%,74.0%,比GACNet （graph attention convolution network）分别高1.6%,3.2%。结论 实验结果验证了本文提出的残差优化网络在大规模点云语义分割的应用中,可以缓解深层次特征提取过程中梯度消失和网络过拟合现象并保持良好的分割性能。     

基于无监督域适应的室外点云语义分割

为处理室外大规模场景中语义分割网络训练需求数据量过大的问题,提出一种基于无监督域自适应的点云语义分割方法。该方法使用改进的RandLA-Net以SPTLS3D真实世界数据集的少量点云作为目标对象进行语义分割。模型在SensatUrban数据集上完成分割网络的预训练,通过缩小源域和目标域之间的域差距来完成模型的迁移。RandLA-Net编码过程会缺失原始点云全局特征,因此本文提出一种额外获取全局信息加入网络解码的方法。此外,为增强差异化信息的获取,RandLA-Net的局部注意力模块权值改为根据各点的特征和其邻域的平均特征的差值。实验显示,该网络在SemanticKITTI数据集上的平均交并比精度达到54.3%,在Semantic3D上的平均交并比精度达到了71.91%。预训练好的模型经过微调后平均交并比精度达到了80.05%,比直接训练的效果好8.83个百分点。     

基于特征增强的三维点云语义分割

为挖掘感知点云几何特征并通过特征增强的方式进一步提高点云语义分割效果,提出了一种基于特征增强的点云语义分割网络。首先,通过设计点云的几何特征感知（GFSOP）模块赋予网络点云局部几何结构的感知能力,捕获点间的空间特征以强化语义表征,并利用分层提取特征思想获得多尺度特征。同时,使用空间注意力和通道注意力融合预测点云语义标签,并通过强化空间关联性和通道依赖性提升分割性能。在室内数据集S3DIS(Stanford large-scale 3D Indoor Spaces)上的实验结果显示,所提网络相较于PointNet++在平均交并比（mIoU）上提升了5.7个百分点,在总体准确度（OA）上提升了3.1个百分点,且在存在噪声、点云密度不均和边界不清晰等问题的点云上表现出更强的泛化性能和更加鲁棒的分割效果。     

面向自动驾驶的交通场景语义分割

交通场景语义分割在自动驾驶中必不可少.为了解决目前的交通场景语义分割方法中由于池化、卷积等操作而造成的目标边界分割模糊、多类别目标及相似物体分割精度低等问题,提出一种带注意力机制的卷积神经网络分割方法.特征提取时,引入多样化的扩张卷积,以挖掘多尺度的语义信息.在信息解码后,添加通道及空间双注意力模块,可以在通道和空间两个维度层面进行注意力特征提取,让网络在学习过程中更侧重于重要信息.在Cityscapes数据集上的实验结果表明,该语义分割网络的平均交并比(MIoU)可达71.6％,超过了基网络为ResNet50的DeepLabv3+语义分割网络.所提方法能更加精细地分割出近似物体及多类别目标,对复杂交通场景图像的理解力更强.     

适用于点云数据的注意力机制研究

注意力机制作为一种即插即用的有效提高网络特征提取性能的手段,在自然语言处理、图像识别领域有着广泛的应用。然而由于点云数据的不规则性与无序性,使得注意力机制无法直接应用于点云领域。提出适用于点云的注意力机制,以PointNet类网络作为点云特征提取的骨干网络,通过对点云数据进行多角度池化,采用共享权重的多层感知器获取自适应注意力权重,并与原特征相乘以实现输入特征优化,从而提升网络性能,实现注意力机制在点云领域的应用。设计的适用于点云的注意力机制在ModelNet40分类任务上,帮助PointNet(vanilla)和PointNet网络的分类准确率分别提升0.89和0.40个百分点;在ShapeNet零件分割任务上,帮助PointNet网络的平均交并比提升1.38个百分点;在KITTI三维检测任务上,帮助基于视锥体法的融合检测Frustum-PointNet网络在行人和骑行者两种小物体的平均精度也取得了可观的提升。实验结果表明所设计的注意力机制在多种点云处理任务的有效性和轻量级特点。     

基于PointNet++的工井点云语义分割模型研究

受地下工井空间狭窄,环境复杂的影响,采集的工井点云数据存在在空间中分布不规则且不均匀、数据量大,难以实现多目标高效地语义分割等问题,本文提出了基于PointNet++的工井点云语义分割模型研究。首先采集了地下工井点云数据并加入语义标签制作模型训练需要的数据集;其次,为提高点云分割任务的性能,引入一种基于深度学习的PointNet++网络模型,并利用多分辨率分组（Multi-scale grouping,MSG)和随机输入（Random Input Dropout,DP）策略,实现地下工井地面、顶、爬梯、墙、电缆线和支架等的语义分割。最后,分割类别采用精确度、召回率、交并比,F1分数作为评价指标,结果表明,与PointNet网络模型相比,本文模型评价指标均展现出了显著的提升,在地面、井顶、井墙和电缆线等类别评价指标均超过80%,目标分割的性能良好,有利于地下电缆工井场景的多目标快速精准分割,为地下工程精细化管理奠定基础。     

基于超点图网络的三维点云室内场景分割模型

针对点云数据集样本不均衡及PointNet网络无法充分利用点云邻域信息的问题,提出一种三维点云场景分割模型。根据几何信息将原始点云块同质分割为超点,利用小型PointNet网络将点云原始特征映射到高维空间中,并挖掘场景中深层语义信息。在此基础上,构建自归一化属性门控单元优化点云上下文语义分割效果,采用二维图像领域中的Focal Loss损失函数实现点云场景分割。实验结果表明,该模型在S3DIS数据集上的平均交并比、总体精度、平均精度分别达到63.8%、86.4%、74.3%,较SPG模型分别提升1.7、0.9、1.3个百分点。     

结合动态图卷积和空间注意力的点云分类与分割

目的 随着3维采集技术的飞速发展,点云在计算机视觉、自动驾驶和机器人等领域有着广泛的应用前景。深度学习作为人工智能领域的主流技术,在解决各种3维视觉问题上已表现出巨大潜力。现有基于深度学习的3维点云分类分割方法通常在聚合局部邻域特征的过程中选择邻域特征中的最大值特征,忽略了其他邻域特征中的有用信息。方法 本文提出一种结合动态图卷积和空间注意力的点云分类分割方法（dynamic graph convolution spatial attention neural networks,DGCSA）。通过将动态图卷积模块与空间注意力模块相结合,实现更精确的点云分类分割效果。使用动态图卷积对点云数据进行K近邻构图并提取其边特征。在此基础上,针对局部邻域聚合过程中容易产生信息丢失的问题,设计了一种基于点的空间注意力（spatial attention,SA）模块,通过使用注意力机制自动学习出比最大值特征更具有代表性的局部特征,从而提高模型的分类分割精度。结果 本文分别在ModelNet40、ShapeNetPart和S3DIS（Stanford Large-scale 3D Indoor Spaces Dataset）数据集上进行分类、实例分割和语义场景分割实验,验证模型的分类分割性能。实验结果表明,该方法在分类任务上整体分类精度达到93.4%;实例分割的平均交并比达到85.3%;在室内场景分割的6折交叉检验平均交并比达到59.1%,相比基准网络动态图卷积网络分别提高0.8%、0.2%和3.0%,有效改善了模型性能。结论 使用动态图卷积模块提取点云特征,在聚合局部邻域特征中引入空间注意力机制,相较于使用最大值特征池化,可以更好地聚合邻域特征,有效提高了模型在点云上的分类、实例分割与室内场景语义分割的精度。     

结合语义信息与3D点云技术的未知环境地图构建方法

目的 机器人在进行同时定位与地图构建（simultaneous localization and mapping,SLAM）时需要有效利用未知复杂环境的场景信息,针对现有SLAM算法对场景细节理解不够及建图细节信息缺失的问题,本文构造出一种将SLAM点云定位技术与语义分割网络相结合的未知环境地图构建方法,实现高精度三维地图重建。方法 首先,利用场景的实时彩色信息进行相机的位姿估计,并构造融合空间多尺度稀疏及稠密特征的深度学习网络HieSemNet（hierarchical semantic network）,对未知场景信息进行语义分割,得到场景的实时二维语义信息;其次,利用深度信息和相机位姿进行空间点云估计,并将二维语义分割信息与三维点云信息融合,使语义分割的结果对应到点云的相应空间位置,构建出具有语义信息的高精度点云地图,实现三维地图重建。结果 为验证本文方法的有效性,分别针对所构造的HieSemNet网络和语义SLAM系统进行验证实验。实验结果表明,本文的网络在平均像素准确度和平均交并比上均取得了较好的精度,MPA（mean pixel accuracy）指标相较于其他网络分别提高了17.47%、11.67%、4.86%、2.90%和0.44%,MIoU（mean intersection over union）指标分别提高了13.94%、1.10%、6.28%、2.28%和0.62%。本文的SLAM算法可以获得更多的建图信息,构建的地图精度和准确度都更好。结论 本文方法充分考虑了不同尺寸物体的分割效果,提出的HieSemNet网络能有效提高场景语义分割准确性,此外,与现有的前沿语义SLAM系统相比,本文方法能够明显提高建图的精度和准确度,获得更高质量的地图。     

融合逆密度函数与关系形状卷积神经网络的点云分析

目的 3D点云与以规则的密集网格表示的图像不同,不仅不规则且无序,而且由于输入输出大小和顺序差异,具有密度不均匀以及形状和缩放比例存在差异的特性。为此,提出一种对3D点云进行卷积的方法,将关系形状卷积神经网络（relation-shape convolution neural network,RSCNN）与逆密度函数相结合,并在卷积网络中增添反卷积层,实现了点云更精确的分类分割效果。方法 在关系形状卷积神经网络中,将卷积核视为由权重函数和逆密度函数组成的3D点局部坐标的非线性函数。对给定的点,权重函数通过多层感知器网络学习,逆密度函数通过核密度估计（kernel density estimation,KDE）学习,逆密度函数的引入对点云采样率不均匀的情况进行弥补。在点云分割任务中,引入由插值和关系形状卷积层两部分组成的反卷积层,将特征从子采样点云传播回原始分辨率。结果 在ModelNet40、ShapeNet、ScanNet数据集上进行分类、部分分割和语义场景分割实验,验证模型的分类分割性能。在分类实验中,与PointNet++相比,整体精度提升3.1%,在PointNet++将法线也作为输入的情况下,精度依然提升了1.9%;在部分分割实验中,类平均交并比（mean intersection over union,mIoU）比PointNet++在法线作为输入情况下高6.0%,实例mIoU比PointNet++高1.4%;在语义场景分割实验中,mIoU比PointNet++高13.7%。在ScanNet数据集上进行不同步长有无逆密度函数的对比实验,实验证明逆密度函数将分割精度提升0.8%左右,有效提升了模型性能。结论 融合逆密度函数的关系形状卷积神经网络可以有效获取点云数据中的局部和全局特征,并对点云采样不均匀的情况实现一定程度的补偿,实现更优的分类和分割效果。     

基于全融合网络的三维点云语义分割

为提高室内场景的点云语义分割精度,设计了一个全融合点云语义分割网络。网络由特征编码模块、渐进式特征解码模块、多尺度特征解码模块、特征融合模块和语义分割头部组成。特征编码模块采用逆密度加权卷积作为特征编码器对点云数据进行逐级特征编码,提取点云数据的多尺度特征;然后通过渐进式特征解码器对高层语义特征进行逐层解码,得到点云的渐进式解码特征。同时,多尺度特征解码器对提取的点云多尺度特征分别进行特征解码,得到点云多尺度解码特征。最后将渐进式解码特征与多尺度解码特征融合,输入语义分割头部实现点云的语义分割。全融合网络增强了网络特征提取能力的鲁棒性,实验结果也验证了该网络的有效性。     

基于图模型与注意力机制的室外场景点云分割模型

针对在多对象且空间拓扑关系复杂的室外场景环境中相似地类区分难的问题，提出一种结合图模型与注意力机制模块的A-Edge-SPG(Attention-EdgeConv SuperPoint Graph)图神经网络。首先，利用图割和几何特征结合的方法对超点进行分割；其次，在超点内部构造局部邻接图，从而在捕获场景中点云的上下文信息的同时利用注意力机制模块凸显关键信息；最后，构建超点图（SPG）模型，并采用门控循环单元（GRU）聚合超点和超边特征，实现对不同地类点云间的精确分割。在Semantic3D数据集上对A-Edge-SPG模型和SPG-Net(SPG neural Network)模型的语义分割效果进行比较分析。实验结果表明，相较于SPG模型，A-Edge-SPG模型在总体分割精度（OA）、平均交并比（mIoU）和平均精度均值（mAA）上分别提升了1.8、5.1和2.8个百分点，并且在高植被、矮植被等相似地类的分割精度上取得了明显的提升，改善了相似地类间语义分割的效果。     

融合图注意力的摄影测量点云语义分割研究

随着无人机倾斜摄影测量技术的发展,通过密集影像匹配可以快速获得类比激光扫描数据精度的大规模室外点云,但是这些点云存在着不规则、遮挡严重、数据量庞大的特点,同时因为缺乏对象信息无法深入进行语义分析.针对上述问题,本文提出一种融合图注意力的摄影测量点云语义分割方法.首先构建了一种新的图卷积模块,在网络的每一层动态的更新点云局部邻域图,将跨层点描述与上下文特征结合起来并逐层汇聚点云空间潜在语义信息;然后在每个网络层引入通道注意力机制使网络能够自适应学习通道间的权重,并由此建立基于一种新的图注意模块的点云语义分割网络,实现复杂点云的细粒度语义分割.通过在两个公开的室外点云基准数据集上的实验结果表明,该方法能够显著提升网络对局部拓扑特征信息的学习能力,且对复杂场景点云语义分割具有良好的泛化能力.     

图卷积神经网络在点云语义分割中的研究综述

点云数据蕴含丰富的空间信息,可以通过激光雷达、3D传感器等设备大量采集,被广泛应用于自动驾驶、虚拟现实、城市规划和3D重建等领域。点云语义分割作为3D场景理解、识别和各种应用的基础而受到广泛关注。但不规则的点云数据无法直接作为传统卷积神经网络的输入,而图卷积神经网络可以利用图卷积算子直接对点云数据进行特征提取,使得图卷积神经网络已逐步成为点云语义分割领域的一个重要研究方向。基于此,对图卷积神经网络在3D点云语义分割应用中的研究进展进行综述,根据图卷积的类型对基于图卷积神经网络的点云语义分割方法进行分类,按照不同类别对比分析主流方法的模型架构及其特点,描述几个相关点云语义分割领域常用的公共数据集和评价指标,对点云语义分割方法进行总结和展望。     

融合图卷积和差异性池化函数的点云数据分类分割模型

目的 深度网络用于3维点云数据的分类分割任务时,精度与模型在全局和局部特征上的描述能力密切相关。现有的特征提取网络,往往将全局特征和不同尺度下的局部特征相结合,忽略了点与点之间的结构信息和位置关系。为此,通过在分类分割模型中引入图卷积神经网络（graph convolution neural network,GCN）和改进池化层函数,增强局部特征表征能力和获取更丰富的全局特征,改善模型对点云数据的分类分割性能。方法 GCN模块通过K近邻算法构造图结构,利用相邻点对的边缘卷积获取局部特征,在深度网络模型中动态扩展GCN使模型获得完备的局部特征。在池化层,通过选择差异性的池化函数,联合提取多个全局特征并进行综合,保证模型在数据抖动时的鲁棒性。结果 在ModelNet40、ShapeNet和S3DIS（stanford large-scale 3D indoor semantics）数据集上进行分类、部分分割以及语义场景分割实验,验证模型的分类分割性能。与PointNet相比,在ModelNet40分类实验中,整体精度和平均分类精度分别提升4%和3.7%;在ShapeNet部分分割数据集和S3DIS室内场景数据集中,平均交并比（mean intersection-over-union, mIoU）分别高1.4%和9.8%。采用不同的池化函数测试结果表明,本文提出的差异性池化函数与PointNet提出的池化函数相比,平均分类精度提升了0.9%,有效改善了模型性能。结论 本文改进的网络模型可以有效获取点云数据中的全局和局部特征,实现更优的分类和分割效果。     

融合稀疏注意力和实例增强的雷达点云分割

目的 雷达点云语义分割是3维环境感知的重要环节,准确分割雷达点云对象对无人驾驶汽车和自主移动机器人等应用具有重要意义。由于雷达点云数据具有非结构化特征,为提取有效的语义信息,通常将不规则的点云数据投影成结构化的2维图像,但会造成点云数据中几何信息丢失,不能得到高精度分割效果。此外,真实数据集中存在数据分布不均匀问题,导致小样本物体分割效果较差。为解决这些问题,本文提出一种基于稀疏注意力和实例增强的雷达点云分割方法,有效提高了激光雷达点云语义分割精度。方法 针对数据集中数据分布不平衡问题,采用实例注入方式增强点云数据。首先,通过提取数据集中的点云实例数据,并在训练中将实例数据注入到每一帧点云中,实现实例增强的效果。由于稀疏卷积网络不能获得较大的感受野,提出Transformer模块扩大网络的感受野。为了提取特征图的关键信息,使用基于稀疏卷积的空间注意力机制,显著提高了网络性能。另外,对不同类别点云对象的边缘,提出新的TVloss用于增强网络的监督能力。结果 本文提出的模型在SemanticKITTI和nuScenes数据集上进行测试。在SemanticKITTI数据集上,本文方法在线单帧...     

基于类别-实例分割的室内点云场景修复补全

三维室内场景修复补全是计算机图形学、数字几何处理、3D计算机视觉中的重要问题.针对室内场景修复补全中难以处理大规模点云数据的问题,本文提出了一种基于类别-实例分割的室内点云场景修复补全框架.该框架包括点云场景分割模块和点云形状补全模块,前者由基于PointNet的类别分割网络和基于聚类的实例分割模块完成,后者由基于编码器-解码器结构的点云补全网络实现.本文框架以缺失的室内场景点云数据为输入,首先根据"类别-实例"分割策略,采用PointNet对室内场景进行类别分割,并利用基于欧式距离的聚类方法进行实例分割得到室内各家具点云,然后借助点云补全网络将分割出的缺失家具点云逐一进行形状补全并融合进原始场景,最终实现室内点云场景的修复.其中,为了实现缺失家具点云形状的补全,本文提出了一种基于编码器-解码器结构的点云补全网络,首先通过输入变换和特征变换对齐缺失的家具点云数据采样点位置与特征信息;然后借助权共享多层感知器和PointSIFT特征提取模块对各采样点提取形状特征和近邻点特征信息,并利用最大池化层与多层感知器编码提取出采样点的特征码字;最后将采样点特征码字加上网格坐标数据作为解码器的输入,解码器使用两个连续的三层感知器折叠操作将网格数据转变成完整的点云补全数据.实验结果表明,本文提出的点云补全网络能够较好地补全室内场景中缺失的家具结构形状,同时基于该网络的场景修复补全框架能够有效修复大型室内点云场景.     

融合小样本元学习和原型对齐的点云分割算法

目的 针对点云分割需要大量监督信息所造成的时间成本高、计算效率低的问题，采用融合原型对齐的小样本元学习算法对点云进行语义分割，使模型能够在监督信息很少的情况下完成分割任务。方法 首先，为了避免小样本训练时易导致的过拟合问题，采用2个边缘卷积层（edge convolution layer，EdgeConv）与6个MLP （multilayer perceptron）交叉构造DGCNN （dynamic graph convolutional neural network），同时还保证了能充分学习到点云信息；然后，以N-way K-shot的形式将数据集输入上述网络学习支持集与查询集的特征，通过average pooling feature获取类别原型并融合原型对齐算法得到更为鲁棒的支持集原型；最后，通过计算查询集点云特征与支持集原型的欧氏距离实现点云分割。结果 在S3DIS （Stanford large-scale 3D indoor spaces dataset）、ScanNet和闽南古建筑数据集上进行点云语义分割实验，与原型网络和匹配网络在S3DIS数据集上进行比较。分割1-way时，平均交并比（mean intersection over union，mIoU）相比原型网络和匹配网络分别提高了0.06和0.33，最高类别的mIoU达到0.95；分割2-way时，mIoU相比原型网络提高了0.04；将DGCNN网络与PointNet++做特征提取器的对比时，分割ceiling和floor的mIoU分别提高了0.05和0.30。方法应用在ScanNet数据集和闽南古建筑数据集上的分割mIoU分别为0.63和0.51。结论 提出的方法可以在少量标记数据的情况下取得良好的点云分割效果。相比于此前需用大量标记数据所训练的模型而言，只需要很少的监督信息，便能够分割出该新类，提高了模型的泛化能力。当面临样本的标记数据难以获得的情况时，提出的方法更能够发挥关键作用。