基于深度学习的三维点云语义分割方法研究

综述了基于深度学习的三维点云语义分割方法的研究进展。利用文献分析法,按照数据的表现形式对基于深度学习的三维点云语义分割的方法进行阐述。探讨了近些年的国内外发展现状,分析了目前相关方法的优缺点,并展望了未来发展的趋势。深度学习的加入在点云语义分割技术研究上发挥着越来越重要的作用,推动了制造与包装等领域趋向于智能信息化。根据各类方法的优缺点,利用深度学习技术构建出基于投影、体素、多视图以及直接基于点云的2D-3D组合语义分割框架模型是未来的一个重要研究方向。     

基于深度学习的点云语义分割研究综述

近年来,深度传感器和三维激光扫描仪的普及推动了三维点云处理方法的快速发展。点云语义分割作为理解三维场景的关键步骤,受到了研究者的广泛关注。随着深度学习的迅速发展并广泛应用到三维语义分割领域,点云语义分割效果得到了显著提升。主要对基于深度学习的点云语义分割方法和研究现状进行了详细的综述。将基于深度学习的点云语义分割方法分为间接语义分割方法和直接语义分割方法,根据各方法的研究内容进一步细分,对每类方法中代表性算法进行分析介绍,总结每类方法的基本思想和优缺点,并系统地阐述了深度学习对语义分割领域的贡献。然后,归纳了当前主流的公共数据集和遥感数据集,并在此基础上对比主流点云语义分割方法的实验结果。最后,对语义分割技术未来的发展方向进行了展望。     

基于深度学习的三维点云分割综述

作为三维场景理解的重要技术之一,三维点云分割受到广泛的关注,具有重要的研究价值和广阔的应用前景.基于此,梳理基于深度学习的三维点云分割技术的最新研究进展;在介绍三维点云分割常用的8个室内和室外数据集的基础上,重点阐述和分析现有主要基于深度学习的语义分割、实例分割和部件分割方法,并基于量化数据进行部分方法的效能比较;最后从10个方面总结现有方法的不足,并针对性地提出工作展望.     

基于深度学习的大规模三维点云处理综述

随着三维视觉的快速发展, 基于深度学习的大规模三维点云实时处理成为研究热点. 以三维空间分布无序的大规模三维点云为背景, 综合分析介绍并对比深度学习实时处理三维视觉问题的最新进展, 对点云分割、形状分类、目标检测等方面算法优势与不足进行详细分析, 给出详细的性能分析与优劣对比, 并对点云常用数据集进行简要介绍, 并给出不同数据集的算法性能对比. 最后, 指出未来在基于深度学习方法处理三维点云问题上的研究方向.     

一种鲁棒的多特征点云分类分割深度神经网络

现有的深度学习方法在处理点云分割任务时,难以有效地学习点云的局部特征,存在分类分割精度低和鲁棒性差的问题。构建深度神经网络RMFP-DNN用于多特征点云分类分割。分别利用自注意力模块和多层感知机提取点云的局部特征和全局特征,并将两者相互融合,提高分类分割的准确率和鲁棒性。实验结果表明,RMFP-DNN平均分类准确率和整体分类准确率分别为88.9%和92.6%,与PointNet、PointNet++、DGCNN等方法相比,准确率较高且鲁棒性较好。     

一种面向散乱点云语义分割的深度残差?特征金字塔网络框架

针对当前基于深度学习的散乱点云语义特征提取方法通用性差以及特征提取不足导致的分割精度和可靠性差的难题, 提出了一种散乱点云语义分割深度残差?特征金字塔网络框架. 首先, 针对当前残差网络在卷积方式上的局限性, 定义一种立方体卷积运算, 不仅可以通过二维卷积运算实现三维表示点的高层特征的抽取, 还可以解决现有的参数化卷积设计通用性差的问题;其次, 将定义的立方体卷积计算与残差网络相结合, 构建面向散乱点云语义分割的深度残差特征学习网络框架; 进一步, 将深度残差网络与特征金字塔网络相结合, 实现三维表示点高层特征多尺度学习与散乱点云场景语义分割. 实验结果表明, 本文提出的立方体卷积运算具有良好的适用性, 且本文提出的深度残差?特征金字塔网络框架在分割精度方面优于现存同类方法.     

基于旋转不变深度层次聚类网络的点云分析

由于解决了三维点云的排列不变性问题,基于三维点云的深度学习方法在计算机三维视觉领域中取得了重大的突破,人们逐渐倾向于使用三维点云来描述物体并基于神经网络结构来提取点云的特征.然而,现有的方法依然无法解决旋转不变性问题,使得目前的模型鲁棒性较差;同时,神经网络结构的设计过于启发式,没有合理利用三维点云的几何结构与分布特性,导致网络结构的表达能力有待提升.鉴于此,提出了一种具有良好兼容性的严格旋转不变性表达以及深度层次类簇网络,试图从理论与实践两个层面解决上述问题.在点云识别、部件分割、语义分割这3个经典任务上进行了旋转鲁棒性对比实验,均取得了最优的效果.     

人体表面点云数据的拓扑特征检测与自动分割

对标准站立测量姿态下的人体表面点云数据的拓扑特征检测与自动分割进行了研究,提出基于全景深度图像表示的人体点云表面拓扑特征检测和自动分割新方法。首先把人体表面的点云数据转换为圆柱极坐标形式,获得人体扫描表面的全景深度图像表示,根据全景深度图像中的层次信息自动检测人体表面的拓扑特征,并根据拓扑特征把人体分割成5个功能结构。实验证明这种方法改进了人体表面点云数据的拓扑特征检测和自动分割的效率和精度。     

点云算法在医学领域的研究进展

点云作为一种重要的3维数据,能够直观地模拟生物器官、组织等的3维结构,基于医学点云数据的分类、分割、配准、目标检测等任务可以辅助医生进行更为准确的诊断和治疗,在临床医学以及个性化医疗器械辅助设计与3D打印有着重要的应用价值。随着深度学习的发展,越来越多的点云算法逐步由传统算法扩展到深度学习算法中。本文对点云算法在医学领域的研究及其应用进行综述,旨在总结目前用于医学领域的点云方法,包括医学点云的特点、获取途径以及数据转换方法;医学点云分割中的传统算法和深度学习算法;以及医学点云的配准任务定义、意义,以及基于有/无特征的配准方法。总结了医学点云在临床应用中仍存在的限制和挑战：1）医学图像重建的人体器官点云分布稀疏且包含噪音、误差;2）医学点云数据集标注困难、制作成本高,可用于训练深度学习模型的公开数据集非常稀少;3）前沿的点云处理算法大都基于自然场景点云数据集训练,这些算法在医学点云处理中的鲁棒性和泛化能力还有待验证。随着医学点云数据集质量和数量的提升,医学点云处理算法的研究将会吸引更多的研究者。     

基于深度学习的3维点云处理综述

深度学习在2维图像等结构化数据处理中表现出了优越性能,对非结构化的点云数据分析处理的潜力已经成为计算机图形学的重要研究方向,并在机器人、自动驾驶、虚拟及增强现实等领域取得一定进展.通过回顾近年来3维点云处理任务的主要研究问题,围绕深度学习在3维点云形状分析、结构提取、检测和修复等方向的应用,总结整理了典型算法.介绍了点云拓扑结构的提取方法,然后对比分析了变换、分类分割、检测跟踪、姿态估计等方向的以构建神经网络为主要研究方法的进展.最后,总结常用的3维点云公开数据集,分析对比了各类方法的特点与评价指标,指出其优势与不足,并从不同角度对基于深度学习的方法处理点云数据所面临的挑战与发展方向进行了讨论.     

CLOI-NET: Class segmentation of industrial facilities’ point cloud datasets

Shape segmentation from point cloud data is a core step of the digital twinning process for industrial facilities. However, it is also a very labor intensive step, which counteracts the perceived value of the resulting model. The state-of-the-art method for automating cylinder detection can detect cylinders with 62% precision and 70% recall, while other shapes must then be segmented manually and shape segmentation is not achieved. This performance is promising, but it is far from drastically eliminating the manual labor cost. We argue that the use of class segmentation deep learning algorithms has the theoretical potential to perform better in terms of per point accuracy and less manual segmentation time needed. However, such algorithms could not be used so far due to the lack of a pre-trained dataset of laser scanned industrial shapes as well as the lack of appropriate geometric features in order to learn these shapes. In this paper, we tackle both problems in three steps. First, we parse the industrial point cloud through a novel class segmentation solution (CLOI-NET) that consists of an optimized PointNET++ based deep learning network and post-processing algorithms that enforce stronger contextual relationships per point. We then allow the user to choose the optimal manual annotation of a test facility by means of active learning to further improve the results. We achieve the first step by clustering points in meaningful spatial 3D windows based on their location. Then, we apply a class segmentation deep network, and output a probability distribution of all label categories per point and improve the predicted labels by enforcing post-processing rules. We finally optimize the results by finding the optimal amount of data to be used for training experiments. We validate our method on the largest richly annotated dataset of the most important to model industrial shapes (CLOI) and yield 82% average accuracy per point, 95.6% average AUC among all classes and estimated 70% labor hour savings in class segmentation. This proves that it is the first to automatically segment industrial point cloud shapes with no prior knowledge at commercially viable performance and is the foundation for efficient industrial shape modeling in cluttered point clouds.     

结合动态图卷积和空间注意力的点云分类与分割

目的 随着3维采集技术的飞速发展,点云在计算机视觉、自动驾驶和机器人等领域有着广泛的应用前景。深度学习作为人工智能领域的主流技术,在解决各种3维视觉问题上已表现出巨大潜力。现有基于深度学习的3维点云分类分割方法通常在聚合局部邻域特征的过程中选择邻域特征中的最大值特征,忽略了其他邻域特征中的有用信息。方法 本文提出一种结合动态图卷积和空间注意力的点云分类分割方法（dynamic graph convolution spatial attention neural networks,DGCSA）。通过将动态图卷积模块与空间注意力模块相结合,实现更精确的点云分类分割效果。使用动态图卷积对点云数据进行K近邻构图并提取其边特征。在此基础上,针对局部邻域聚合过程中容易产生信息丢失的问题,设计了一种基于点的空间注意力（spatial attention,SA）模块,通过使用注意力机制自动学习出比最大值特征更具有代表性的局部特征,从而提高模型的分类分割精度。结果 本文分别在ModelNet40、ShapeNetPart和S3DIS（Stanford Large-scale 3D Indoor Spaces Dataset）数据集上进行分类、实例分割和语义场景分割实验,验证模型的分类分割性能。实验结果表明,该方法在分类任务上整体分类精度达到93.4%;实例分割的平均交并比达到85.3%;在室内场景分割的6折交叉检验平均交并比达到59.1%,相比基准网络动态图卷积网络分别提高0.8%、0.2%和3.0%,有效改善了模型性能。结论 使用动态图卷积模块提取点云特征,在聚合局部邻域特征中引入空间注意力机制,相较于使用最大值特征池化,可以更好地聚合邻域特征,有效提高了模型在点云上的分类、实例分割与室内场景语义分割的精度。     

利用隐式解码器的三维模型簇协同分割

目的 为建立3维模型语义部件之间的对应关系并实现模型自动分割,提出一种利用隐式解码器（implicit decoder,IM-decoder）的无监督3维模型簇协同分割网络。方法 首先对3维点云模型进行体素化操作,进而由CNN-encoder （convolutional neural network encoder）提取体素化点云模型的特征,并将模型信息映射至特征空间。然后使用注意力模块聚合3维模型相邻点特征,将聚合特征与3维点坐标作为IM-decoder的输入来增强模型的空间感知能力,并输出采样点相对于模型部件的内外状态。最后使用max pooling聚合解码器生成的隐式场,以得到模型的协同分割结果。结果 实验结果表明,本文算法在ShapeNet Part数据集上的mIoU （mean intersection-over-union）为62.1%,与目前已知的两类无监督3维点云模型分割方法相比,分别提高了22.5%和18.9%,分割性能得到了极大提升。与两种有监督方法相比,分别降低了19.3%和20.2%,但其在部件数较少的模型上可获得更优的分割效果。相比于使用交叉熵函数作为重构损失函数,本文使用均方差函数可获得更高的分割准确率,mIoU提高了26.3%。结论 与当前主流的无监督分割算法相比,本文利用隐式解码器进行3维模型簇协同分割的无监督方法分割准确率更高。