基于深度学习的三维点云语义分割方法研究

综述了基于深度学习的三维点云语义分割方法的研究进展。利用文献分析法,按照数据的表现形式对基于深度学习的三维点云语义分割的方法进行阐述。探讨了近些年的国内外发展现状,分析了目前相关方法的优缺点,并展望了未来发展的趋势。深度学习的加入在点云语义分割技术研究上发挥着越来越重要的作用,推动了制造与包装等领域趋向于智能信息化。根据各类方法的优缺点,利用深度学习技术构建出基于投影、体素、多视图以及直接基于点云的2D-3D组合语义分割框架模型是未来的一个重要研究方向。     

基于深度学习的点云语义分割研究综述

近年来,深度传感器和三维激光扫描仪的普及推动了三维点云处理方法的快速发展。点云语义分割作为理解三维场景的关键步骤,受到了研究者的广泛关注。随着深度学习的迅速发展并广泛应用到三维语义分割领域,点云语义分割效果得到了显著提升。主要对基于深度学习的点云语义分割方法和研究现状进行了详细的综述。将基于深度学习的点云语义分割方法分为间接语义分割方法和直接语义分割方法,根据各方法的研究内容进一步细分,对每类方法中代表性算法进行分析介绍,总结每类方法的基本思想和优缺点,并系统地阐述了深度学习对语义分割领域的贡献。然后,归纳了当前主流的公共数据集和遥感数据集,并在此基础上对比主流点云语义分割方法的实验结果。最后,对语义分割技术未来的发展方向进行了展望。     

基于深度学习的点云分割方法综述

点云分割是点云数据理解中的一个关键技术,但传统算法无法进行实时语义分割。近年来深度学习被应用在点云分割上并取得了重要进展。综述了近四年来基于深度学习的点云分割的最新工作,按基本思想分为基于视图和投影的方法、基于体素的方法、无序点云的方法、有序点云的方法以及无监督学习的方法,并简要评述;最后分析各类方法优劣并展望未来研究趋势。     

基于深度学习的大规模三维点云处理综述

随着三维视觉的快速发展, 基于深度学习的大规模三维点云实时处理成为研究热点. 以三维空间分布无序的大规模三维点云为背景, 综合分析介绍并对比深度学习实时处理三维视觉问题的最新进展, 对点云分割、形状分类、目标检测等方面算法优势与不足进行详细分析, 给出详细的性能分析与优劣对比, 并对点云常用数据集进行简要介绍, 并给出不同数据集的算法性能对比. 最后, 指出未来在基于深度学习方法处理三维点云问题上的研究方向.     

基于旋转不变深度层次聚类网络的点云分析

由于解决了三维点云的排列不变性问题,基于三维点云的深度学习方法在计算机三维视觉领域中取得了重大的突破,人们逐渐倾向于使用三维点云来描述物体并基于神经网络结构来提取点云的特征.然而,现有的方法依然无法解决旋转不变性问题,使得目前的模型鲁棒性较差;同时,神经网络结构的设计过于启发式,没有合理利用三维点云的几何结构与分布特性,导致网络结构的表达能力有待提升.鉴于此,提出了一种具有良好兼容性的严格旋转不变性表达以及深度层次类簇网络,试图从理论与实践两个层面解决上述问题.在点云识别、部件分割、语义分割这3个经典任务上进行了旋转鲁棒性对比实验,均取得了最优的效果.     

面向三维模型分割的边界感知点云神经网络

为了能够更好地应用深度神经网络学习三维模型的空间特征,获得更好的三维模型分割效果,提出面向三维模型分割的边界感知点云神经网络.首先,采用边界感知的网格点云化方法,将网格分割问题转化成点云标记问题;然后,利用数据切片方法对转化而来的点云数据进行重采样;最后,利用不同大小卷积核的滤波器提取点云数据的空间特征,并将点云标记的结果对应到原网格模型,得到三维模型分割的结果.在ShapeNetCore数据库上的实验结果表明,该方法不仅能够明显地提高分割的准确率,而且具有边界感知的特性,能够有效地避免过分割现象.     

结合伪标签生成与噪声标签学习的弱监督点云分割

针对当前基于深度学习的点云分割技术对点级别标注训练数据的依赖问题,提出一种基于伪标签生成与噪声标签学习的弱监督点云分割框架.首先,利用点云具有非局部相似性的特点,基于局部-非局部图对点云数据进行建模;其次,基于关系图卷积网络,以半监督的方式为稀疏标注的点云训练集数据生成高质量的伪标签;最后,针对生成的伪标签中存在噪声标签的问题,设计一种利用含噪声标签数据准确训练现有点云分割网络的渐进式噪声鲁棒损失函数.在ShapeNet Part与S3DIS等公开点云分割数据集上的实验结果表明,该框架在推理阶段不增加模型额外运算量的情况下,当使用10%的标签时,在ShapeNet Part数据集上的分割精度与全监督方法相差0.1%;当使用1%的标签时,在S3DIS数据集上的分割精度与全监督方法相差5.2%.     

一种面向散乱点云语义分割的深度残差?特征金字塔网络框架

针对当前基于深度学习的散乱点云语义特征提取方法通用性差以及特征提取不足导致的分割精度和可靠性差的难题, 提出了一种散乱点云语义分割深度残差?特征金字塔网络框架. 首先, 针对当前残差网络在卷积方式上的局限性, 定义一种立方体卷积运算, 不仅可以通过二维卷积运算实现三维表示点的高层特征的抽取, 还可以解决现有的参数化卷积设计通用性差的问题;其次, 将定义的立方体卷积计算与残差网络相结合, 构建面向散乱点云语义分割的深度残差特征学习网络框架; 进一步, 将深度残差网络与特征金字塔网络相结合, 实现三维表示点高层特征多尺度学习与散乱点云场景语义分割. 实验结果表明, 本文提出的立方体卷积运算具有良好的适用性, 且本文提出的深度残差?特征金字塔网络框架在分割精度方面优于现存同类方法.     

基于GCNN的CBCT模拟口扫点云数据牙齿分割算法

三维牙模型的获取并实现牙体边界的精准分割,对于口腔正畸及种植对牙齿的诊断和制定后续治疗计划具有重要意义.为了实现单个牙体的精准分割,提出一种基于CBCT数据模拟口扫点云数据实现牙齿自动分割的算法.借助锥形束计算机断层扫描(CBCT)重建出的三维牙模型,通过对牙模型的局部精细与全局粗略结构的深度学习网络,实现单个牙体的精准语义分割.该框架基于图卷积网络(graph convolutional neural networks, GCNN),主要包括2个部分:一是实例分割网络,用于获得牙体的大体形状及相对位置信息;二是细粒度分割网络,用于学习单个牙体的精细细节部分,对分配错误的标签增加惩罚机制,进一步提高了牙体分割精确度.利用文中构建的牙体数据集分别在所提算法、PointNet++和GACNet进行测试,结果表明,所采用的改进GCNN框架可实现精准的三维牙体分割.核心评估指标平均交并比(MIoU)的得分为0.91,优于目前普遍使用的点云语义分割框架PointNet++(MIoU=0.78)和GACNet(MIoU=0.88).实现基于CBCT模拟口扫点云数据的牙齿分割,对于进一步应用临床有重要意义.     

基于高斯混合模型聚类的Kinect深度数据分割

基于深度图像的室内场景理解是计算机视觉领域中的前沿问题。针对三维室内场景中平面较多的特性,提出一种基于高斯混合模型聚类的深度数据分割方法,实现对场景数据的平面提取。首先将Kinect获取的深度图像数据转换为离散三维数据点云,并对点云数据作去噪和采样处理;在此基础上计算所有点的法向量,利用高斯混合模型对整个三维点云的法向集合聚类,然后利用随机抽样一致性算法对各个聚类进行平面拟合,由每个聚类得到若干平面,最终把整个点云数据分割为一些平面的集合。实验结果表明,该方法得到的分割区域边界准确,分割质量较高。提取出的平面集合为以后的室内对象识别和场景理解工作奠定了较好的基础。     

基于深度学习的三维点云分类方法研究

随着深度学习和3D传感技术的快速发展,点云分类已在智能分级等领域得到了广泛的应用。为了更好地推进点云分类技术的研究与应用,利用管道体系结构对相关方法的研究进展进行全面而系统的梳理、分析和总结。首先,根据点云数据处理方式的不同,将现有的点云分类方法归纳为间接基于点云的方法和直接基于点云的方法。然后,着重介绍了具有代表性的方法和最新研究成果,同时比较分析了主要方法的核心思想、优缺点、适用范围、应用场景以及实验结果。最后,从四个方面对点云分类的未来发展以及研究方向进行了展望,结果表明,将间接和直接点云的方法进行2D-3D特征融合是未来的一个重要发展方向。     

利用隐式解码器的三维模型簇协同分割

目的为建立3维模型语义部件之间的对应关系并实现模型自动分割,提出一种利用隐式解码器(implicit decoder, IM-decoder)的无监督3维模型簇协同分割网络。方法首先对3维点云模型进行体素化操作,进而由CNN-encoder(convolutional neural network encoder)提取体素化点云模型的特征,并将模型信息映射至特征空间。然后使用注意力模块聚合3维模型相邻点特征,将聚合特征与3维点坐标作为IM-decoder的输入来增强模型的空间感知能力,并输出采样点相对于模型部件的内外状态。最后使用max pooling聚合解码器生成的隐式场,以得到模型的协同分割结果。结果实验结果表明,本文算法在Shape Net Part数据集上的m Io U(mean intersection-overunion)为62.1%,与目前已知的两类无监督3维点云模型分割方法相比,分别提高了22.5%和18.9%,分割性能得到了极大提升。与两种有监督方法相比,分别降低了19.3%和20.2%,但其在部件数较少的模型上可获得更优的分割效果。相比于使用交叉熵函数作为重构损失函...     

点云算法在医学领域的研究进展

点云作为一种重要的3维数据,能够直观地模拟生物器官、组织等的3维结构,基于医学点云数据的分类、分割、配准、目标检测等任务可以辅助医生进行更为准确的诊断和治疗,在临床医学以及个性化医疗器械辅助设计与3D打印有着重要的应用价值。随着深度学习的发展,越来越多的点云算法逐步由传统算法扩展到深度学习算法中。本文对点云算法在医学领域的研究及其应用进行综述,旨在总结目前用于医学领域的点云方法,包括医学点云的特点、获取途径以及数据转换方法;医学点云分割中的传统算法和深度学习算法;以及医学点云的配准任务定义、意义,以及基于有/无特征的配准方法。总结了医学点云在临床应用中仍存在的限制和挑战：1）医学图像重建的人体器官点云分布稀疏且包含噪音、误差;2）医学点云数据集标注困难、制作成本高,可用于训练深度学习模型的公开数据集非常稀少;3）前沿的点云处理算法大都基于自然场景点云数据集训练,这些算法在医学点云处理中的鲁棒性和泛化能力还有待验证。随着医学点云数据集质量和数量的提升,医学点云处理算法的研究将会吸引更多的研究者。     

深度学习在点云分类中的研究综述

点云数据被广泛用于多种三维场景,深度学习凭借提取特征自动化、泛化能力强等优势在三维点云的应用领域快速发展,逐渐成为点云分类的主流研究方法。根据提取方式的不同,将现有算法归纳为传统方法以及深度学习算法。着重介绍基于深度学习的代表性方法和最新研究,总结其基本思想以及优缺点,对比分析主要方法的实验结果;展望深度学习在点云分类领域的未来工作以及研究发展方向。     

深度学习在口腔医学影像中的应用与挑战

口腔医学影像是进行临床口腔疾病检测、筛查、诊断和治疗评估的重要工具,对口腔影像进行准确分析对于后续治疗计划的制定至关重要。常规的口腔医学影像分析依赖于医师的水平和经验,存在阅片效率低、可重复性低以及定量分析欠缺的问题。深度学习可以从大样本数据中自动学习并获取优良的特征表达,提升各类机器学习任务的效率和性能,目前已广泛应用于医学影像分析处理的各类任务之中。基于深度学习的口腔医学影像处理是目前的研究热点,但由于口腔医学领域内在的特殊性和复杂性,以及口腔医学影像数据样本量通常较小的问题,给深度学习方法在相关学习任务和场景的应用带来了新的挑战。本文从口腔医学影像领域常用的二维X射线影像、三维点云/网格影像和锥形束计算机断层扫描影像3种影像出发,介绍深度学习技术在口腔医学影像处理及分析领域应用的思路和现状,分析了各算法的优缺点及该领域所面临的问题和挑战,并对未来的研究方向和可能开展的临床应用进行展望,以助力智慧口腔建设。