基于深度学习的点云语义分割研究综述

近年来,深度传感器和三维激光扫描仪的普及推动了三维点云处理方法的快速发展。点云语义分割作为理解三维场景的关键步骤,受到了研究者的广泛关注。随着深度学习的迅速发展并广泛应用到三维语义分割领域,点云语义分割效果得到了显著提升。主要对基于深度学习的点云语义分割方法和研究现状进行了详细的综述。将基于深度学习的点云语义分割方法分为间接语义分割方法和直接语义分割方法,根据各方法的研究内容进一步细分,对每类方法中代表性算法进行分析介绍,总结每类方法的基本思想和优缺点,并系统地阐述了深度学习对语义分割领域的贡献。然后,归纳了当前主流的公共数据集和遥感数据集,并在此基础上对比主流点云语义分割方法的实验结果。最后,对语义分割技术未来的发展方向进行了展望。     

基于深度学习的三维点云分类方法研究

随着深度学习和3D传感技术的快速发展,点云分类已在智能分级等领域得到了广泛的应用。为了更好地推进点云分类技术的研究与应用,利用管道体系结构对相关方法的研究进展进行全面而系统的梳理、分析和总结。首先,根据点云数据处理方式的不同,将现有的点云分类方法归纳为间接基于点云的方法和直接基于点云的方法。然后,着重介绍了具有代表性的方法和最新研究成果,同时比较分析了主要方法的核心思想、优缺点、适用范围、应用场景以及实验结果。最后,从四个方面对点云分类的未来发展以及研究方向进行了展望,结果表明,将间接和直接点云的方法进行2D-3D特征融合是未来的一个重要发展方向。     

基于深度学习的点云分割方法综述

点云分割是点云数据理解中的一个关键技术,但传统算法无法进行实时语义分割。近年来深度学习被应用在点云分割上并取得了重要进展。综述了近四年来基于深度学习的点云分割的最新工作,按基本思想分为基于视图和投影的方法、基于体素的方法、无序点云的方法、有序点云的方法以及无监督学习的方法,并简要评述;最后分析各类方法优劣并展望未来研究趋势。     

基于全融合网络的三维点云语义分割

为提高室内场景的点云语义分割精度,设计了一个全融合点云语义分割网络。网络由特征编码模块、渐进式特征解码模块、多尺度特征解码模块、特征融合模块和语义分割头部组成。特征编码模块采用逆密度加权卷积作为特征编码器对点云数据进行逐级特征编码,提取点云数据的多尺度特征;然后通过渐进式特征解码器对高层语义特征进行逐层解码,得到点云的渐进式解码特征。同时,多尺度特征解码器对提取的点云多尺度特征分别进行特征解码,得到点云多尺度解码特征。最后将渐进式解码特征与多尺度解码特征融合,输入语义分割头部实现点云的语义分割。全融合网络增强了网络特征提取能力的鲁棒性,实验结果也验证了该网络的有效性。     

基于区块特征融合的点云语义分割方法

为降低室外大规模点云场景中多类三维目标语义分割的计算复杂度,提出一种融合区块特征的语义分割方法。采用方形网格分割方法对三维点云进行区块划分、采样以及组合,求取简化的点云组合区块集,将其输入至区块特征提取和融合网络中从而获得每个区块的特征修正向量。设计点云区块全局特征修正网络,以残差的方式融合特征修正向量与原始点云全局特征,修正因分割造成的错误特征。在此基础上,将方形网格分割尺寸作为神经网络的参数引入反向传播过程中进行优化,从而建立高效的点云语义分割网络。实验结果表明,反向传播算法可以优化分割尺寸至最佳值附近,所提网络中的全局特征修正方法能够提高语义分割精度,该方法在Semantic3D数据集上的语义分割精度达到78.7%,较RandLA-Net方法提升1.3%,且在保证分割精度的前提下其点云预处理计算复杂度和网络计算时间明显降低,在处理点数为10万~100万的大规模点云时,点云语义分割速度较SPG、KPConv等方法提升2~4倍。     

基于深度学习的三维点云分割综述

作为三维场景理解的重要技术之一,三维点云分割受到广泛的关注,具有重要的研究价值和广阔的应用前景.基于此,梳理基于深度学习的三维点云分割技术的最新研究进展;在介绍三维点云分割常用的8个室内和室外数据集的基础上,重点阐述和分析现有主要基于深度学习的语义分割、实例分割和部件分割方法,并基于量化数据进行部分方法的效能比较;最后从10个方面总结现有方法的不足,并针对性地提出工作展望.     

基于深度学习的图像语义分割技术研究综述

图像语义分割技术是智能系统理解自然场景的关键技术之一,作为视觉智能领域的重要研究方向,该技术在移动机器人、无人机、智能驾驶以及智慧安防等领域具有广阔的应用前景。对于图像语义分割技术的研究发展历程进行了详细评述,包括从传统的语义分割方法到当前主流的基于深度学习的图像语义分割理论及其方法,重点阐述了基于深度学习的图像语义分割技术的框架及其实现过程,进而对当前具有代表性的典型算法的效果以及优缺点进行了分析,然后归纳了算法评价指标,最后对该技术的发展进行了总结与展望。该研究对于从事图像语义分割技术的研究人员和工程技术人员均具有很好的参考意义。     

学习几何结构特征的真实点云场景语义分割

有效获取点云数据在空间上的结构性特征是点云语义分割的关键。针对以往方法没有很好综合利用全局和局部特征问题,提出一种新的空间结构特征——点的盒子特征用于语义分割,设计一种编码-解码结构的网络框架,下采样过程中使用几何结构特征模块学习点云的全局空间特征和局部邻域特征,上采样过程中按分辨率逐级恢复成完整尺寸特征图进行语义分割。其中,几何结构特征模块包含两个子模块,一个是全局特征模块,该模块学习点的“盒子（box）”特征以表现点云在采样空间内概括的粗糙几何特征;另一个是局部特征模块,该模块使用特征提取——注意力机制结构表现点云在局部邻域内精确的细粒度几何特征。在公开数据集S3DIS、Semantic3D上进行了实验并与其他方法比较,实验结果表明mIoU均领先目前大部分主流的方法,部分细则类IoU取得最高。     

深度学习实时语义分割算法研究综述

语义分割是从像素的角度分割出图片中的不同对象,并对原始图片中的每个像素进行标注的一种技术。但由于无人机导航、遥感图像、医疗诊断等应用领域需要实时地进行语义分割处理。所以,基于深度学习的实时语义分割技术得到了迅速的发展。实时语义分割技术发展至今已有许多的技术与模型。基于此,在对相关文献进行研究的基础上,由语义分割技术引出了实时语义分割技术,并简单叙述了实时语义分割的优点。随后,研讨出目前实时语义分割存在的重难点。根据重难点进而对已存在的相关技术与模型进行阐述,并总结技术与模型的优缺点。最后,展望实时语义分割所面临的挑战,并对实时语义分割进行了总结与归纳,为后续的研讨提供了一些理论参考。     

基于深度学习的3D点云补全算法综述

三维视觉已成为当前研究的热点之一。在各种类型的三维数据描述中,点云由于其数据量小而呈现能力细腻被广泛应用于三维数据处理中。现实世界的点云数据通常是通过激光扫描仪、立体相机或低成本RGB-D扫描仪获取的。但是由于遮挡问题、光线反射、材料表面的透明度以及传感器分辨率和视角的限制,导致这些设备直接获取的通常是稀疏或者不完整点云,造成几何信息和语义信息的丢失进而影响到各种下游任务,如机器人操作,导航场景理解等。根据点云补全侧重点不同,将基于深度学习的三维点云补全技术划分为基于体素的形状补全和基于点的形状补全。     

图卷积神经网络在点云语义分割中的研究综述

点云数据蕴含丰富的空间信息,可以通过激光雷达、3D传感器等设备大量采集,被广泛应用于自动驾驶、虚拟现实、城市规划和3D重建等领域。点云语义分割作为3D场景理解、识别和各种应用的基础而受到广泛关注。但不规则的点云数据无法直接作为传统卷积神经网络的输入,而图卷积神经网络可以利用图卷积算子直接对点云数据进行特征提取,使得图卷积神经网络已逐步成为点云语义分割领域的一个重要研究方向。基于此,对图卷积神经网络在3D点云语义分割应用中的研究进展进行综述,根据图卷积的类型对基于图卷积神经网络的点云语义分割方法进行分类,按照不同类别对比分析主流方法的模型架构及其特点,描述几个相关点云语义分割领域常用的公共数据集和评价指标,对点云语义分割方法进行总结和展望。     

基于点云数据的三维目标识别和模型分割方法

三维模型的深度特征表示是三维目标识别和三维模型语义分割的关键和前提,在 机器人、自动驾驶、虚拟现实、遥感测绘等领域有着广泛的应用前景。然而传统的卷积神经网 络需要以规则化的数据作为输入,对于点云数据需要转换为视图或体素网格来处理,过程复杂 且损失了三维模型的几何结构信息。借助已有的可以直接处理点云数据的深度网络,针对产生 的特征缺少局部拓扑信息问题进行改进,提出一种利用双对称函数和空间转换网络获得更鲁棒、 鉴别力更强的特征。实验表明,通过端到端的方式很好地解决缺少局部信息问题,在三维目标 识别、三维场景语义分割任务上取得了更好的实验效果,并且相比于 PointNet++在相同精度的 情况下训练时间减少了 20%。     

基于K-means聚类方法的三维点云模型分割

提出采用K-means聚类分析方法对三维点云模型进行分割。论文指出,对于分布呈现类内团聚状三维点云模型,K均值聚类分割可以得到较好的结果。与三维网格模型的K均值聚类分割、点云模型的谱系聚类分割的实验结果比较证实了这一点。     

基于超点图网络的三维点云室内场景分割模型

针对点云数据集样本不均衡及PointNet网络无法充分利用点云邻域信息的问题,提出一种三维点云场景分割模型。根据几何信息将原始点云块同质分割为超点,利用小型PointNet网络将点云原始特征映射到高维空间中,并挖掘场景中深层语义信息。在此基础上,构建自归一化属性门控单元优化点云上下文语义分割效果,采用二维图像领域中的Focal Loss损失函数实现点云场景分割。实验结果表明,该模型在S3DIS数据集上的平均交并比、总体精度、平均精度分别达到63.8%、86.4%、74.3%,较SPG模型分别提升1.7、0.9、1.3个百分点。     

全监督学习的图像语义分割方法研究进展

近年来,随着深度学习进入计算机视觉领域,各种深度学习图像语义分割方法相继出现,其中全监督学习方法的分割效果显著超过弱监督学习方法.将全监督学习的图像语义分割方法分为五类,并对各类中最具有代表性的方法进行详细分析,重点阐述各种方法核心部分的实现过程.对语义分割领域中的主流数据集进行归纳总结,介绍了性能算法指标,并在主流数...