基于深度学习的3维点云处理综述

深度学习在2维图像等结构化数据处理中表现出了优越性能,对非结构化的点云数据分析处理的潜力已经成为计算机图形学的重要研究方向,并在机器人、自动驾驶、虚拟及增强现实等领域取得一定进展.通过回顾近年来3维点云处理任务的主要研究问题,围绕深度学习在3维点云形状分析、结构提取、检测和修复等方向的应用,总结整理了典型算法.介绍了点云拓扑结构的提取方法,然后对比分析了变换、分类分割、检测跟踪、姿态估计等方向的以构建神经网络为主要研究方法的进展.最后,总结常用的3维点云公开数据集,分析对比了各类方法的特点与评价指标,指出其优势与不足,并从不同角度对基于深度学习的方法处理点云数据所面临的挑战与发展方向进行了讨论.     

颅骨点云模型的局部特征配准方法

目的 点云配准是计算机视觉领域里的一个研究热点,其应用领域涉及3维重建、目标识别、颅面复原等多个方面。颅骨配准是颅面复原的一个重要步骤,其配准的正确与否将直接影响到颅面复原的结果。为了提高颅骨配准的精度和收敛速度,提出一种基于局部特征的颅骨点云模型配准方法。方法 首先提取颅骨点云模型的局部深度、法线偏角和点云密度等局部特征;然后计算局部特征点集的相关性,得到相关候选点集,并通过删减外点实现颅骨点云的粗配准;最后采用基于高斯概率模型和动态迭代系数的改进迭代最近点 （ICP） 算法实现颅骨的细配准。结果 通过对公共点云数据模型以及颅骨点云数据模型分别进行配准实验,结果表明,基于局部特征的点云配准算法可以完成点云模型的精确配准,特别是对颅骨点云模型具有较好的配准效果。在颅骨细配准阶段,跟ICP算法相比,改进ICP算法的配准精度和收敛速度分别提高了约30%和60%;跟概率迭代最近点 （PCP） 算法相比,其配准精度差异不大,收敛速度提高了约50%。结论 基于局部特征的点云配准算法不仅可以用于公共点云数据模型的精确配准,而且更适用于颅骨点云数据模型的配准,是一种精度高、速度快的颅骨点云模型配准方法。     

基于点云能量计算的半刚性配准算法

针对3D复杂点云模型,提出一种基于能量值的半刚性配准算法。该算法首先对点云进行基于法向量夹角距离的分割处理从而生成多个刚性子点云。通过整数规划法计算子点云间的配准能量从而推测配准的初始3D变换矩阵。基于初始矩阵,点云的最终配准结果由子点云间刚性配准方法 ICP实现。实验结果证明该方法可有效应用于模拟场景以及真实复杂场景的配准应用中。     

基于3D-SIFT与4PCS融合的大数据量点云快速配准方法

测量点云与模型点云的配准是视觉定位的关键。针对测量点云数据量大且与CAD模型点云重叠率低造成视觉定位精度差、算法效率低的问题,提出一种基于三维尺度不变特征变换（3D-SIFT）与4点快速鲁棒匹配算法（4PCS）融合的测量点云与模型点云配准方法。首先利用深度相机对零件进行点云提取并对提取到的测量点云进行降噪和滤波处理;接着利用3D-SIFT特征点提取算法对测量点云和CAD模型点云进行特征点提取;最后把提取的特征点作为4PCS算法的初始值进行2种点云数据的配准。与常用的4PCS算法、Super-4PCS算法相比,在算法仿真与实际应用实验结果表明,本文算法在保证配准精度的前提下将配准速度提高30%以上。     

基于动态图卷积和空间金字塔池化的点云深度学习网络

点云数据的分类和语义分割在自动驾驶、智能机器人、全息投影等领域中有着重要应用。传统手工提取点云特征的方式,以及将三维点云数据转化为多视图、体素网格等数据形式后再进行特征学习的方式,都存在处理环节多、三维特征损失大等问题,分类和分割的精度较低。目前可以直接处理点云数据的深度神经网络PointNet忽略了点云的局部细粒度特征,对复杂点云场景的处理能力较弱。针对上述问题,提出了一种基于动态图卷积和空间金字塔池化的点云深度学习网络。该网络在PointNet的基础上使用动态图卷积模块来替换PointNet中的特征学习模块,增强了网络对局部拓扑结构信息的学习能力;同时设计了一种基于点的空间金字塔池化结构来捕获多尺度局部特征,该方式比PointNet++的多尺度采样点云、重复分组进行多尺度局部特征学习的方法更加简洁高效。实验结果表明,在点云分类和语义分割任务的3个基准数据集上,所提网络相较于现有网络具有更高的分类和分割精度。     

分形维数的全局点云初始配准算法

针对重叠率低、角度大的点云数据之间的配准进行了研究,提出基于分形维数的全局点云初始配准算法。计算点云中各点的维数值;通过维数属性,从点云中提取特征点;聚类特征点,形成全局结构;从全局结构中,获得全等三角形对,作为匹配点对,进行初始配准;进行剪枝迭代最近点（Trimmed Iterative Closest Point,Trimmed-ICP）细配准。该算法与全局最优迭代最近点（Global optimal Iterative Closest Point,Go-ICP）算法相比,能够有效缩小不同角度的点云数据之间的位姿差异,显著提升对重叠率低、角度大的点云数据的配准效果。     

多特征融合与残差优化的点云语义分割方法

目的 当前的大场景3维点云语义分割方法一般是将大规模点云切成点云块再进行处理。然而在实际计算过程中,切割边界的几何特征容易被破坏,使得分割结果呈现明显的边界现象。因此,迫切需要以原始点云作为输入的高效深度学习网络模型,用于点云的语义分割。方法 为了解决该问题,提出基于多特征融合与残差优化的点云语义分割方法。网络通过一个多特征提取模块来提取每个点的几何结构特征以及语义特征,通过对特征的加权获取特征集合。在此基础上,引入注意力机制优化特征集合,构建特征聚合模块,聚合点云中最具辨别力的特征。最后在特征聚合模块中添加残差块,优化网络训练。最终网络的输出是每个点在数据集中各个类别的置信度。结果 本文提出的残差网络模型在S3DIS （Stanford Large-scale 3D Indoor Spaces Dataset）与户外场景点云分割数据集Semantic3D等2个数据集上与当前的主流算法进行了分割精度的对比。在S3DIS数据集中,本文算法在全局准确率以及平均准确率上均取得了较高精度,分别为87.2%,81.7%。在Semantic3D数据集上,本文算法在全局准确率和平均交并比上均取得了较高精度,分别为93.5%,74.0%,比GACNet （graph attention convolution network）分别高1.6%,3.2%。结论 实验结果验证了本文提出的残差优化网络在大规模点云语义分割的应用中,可以缓解深层次特征提取过程中梯度消失和网络过拟合现象并保持良好的分割性能。     

基于区域分割的低覆盖点云配准算法

针对低覆盖点云配准的时间复杂度高、收敛速度缓慢以及对应点匹配易错等问题,提出一种基于区域分割的点云配准算法。首先,利用体积积分不变量计算点云上点的凹凸性,并提取凹凸特征点集;然后,采用基于混合流形谱聚类的分割算法对特征点集进行区域分割,并采用基于奇异值分解（SVD）的迭代最近点（ICP）算法对区域进行配准,从而实现点云的精确配准。实验结果表明,所提算法通过区域分割可以大幅提高点云区域的覆盖率,并且无需迭代即可计算刚体变换的最佳旋转矩阵,其配准精度比已有算法提高了10%以上,配准时间降低了20%以上。因此,所提算法是一种精度高、速度快的低覆盖点云配准算法。     

基于K-means++的多视图点云配准技术

针对大规模点集可能存在噪声、离群点及遮挡等情况,提出一种基于K-means+〖KG-*3〗+的多视图点云配准方法。首先,利用K-means+〖KG-*3〗+算法的随机播种技术对下采样后的多视图点集选取初始化的质心,并根据算法的基本原理完成聚类;其次,将点云数据存入K-D树结构,并利用最近邻搜索算法建立点集间的对应关系,从而提升对应点集的搜索效率;最后,通过迭代最近点算法依照扫描顺序计算各视图聚类得到的点云数据与所有视图间的刚性变换参数,将成对配准造成的误差均匀扩散到每个视图中,直至获得最终配准结果。在Stanford三维点云数据集上进行实验的结果表明,本文提出的方法比近年的部分多视图配准算法具有更高的配准精度及鲁棒性。     

基于深度学习的点云语义分割研究综述

近年来,深度传感器和三维激光扫描仪的普及推动了三维点云处理方法的快速发展。点云语义分割作为理解三维场景的关键步骤,受到了研究者的广泛关注。随着深度学习的迅速发展并广泛应用到三维语义分割领域,点云语义分割效果得到了显著提升。主要对基于深度学习的点云语义分割方法和研究现状进行了详细的综述。将基于深度学习的点云语义分割方法分为间接语义分割方法和直接语义分割方法,根据各方法的研究内容进一步细分,对每类方法中代表性算法进行分析介绍,总结每类方法的基本思想和优缺点,并系统地阐述了深度学习对语义分割领域的贡献。然后,归纳了当前主流的公共数据集和遥感数据集,并在此基础上对比主流点云语义分割方法的实验结果。最后,对语义分割技术未来的发展方向进行了展望。     

深度学习在点云分类中的研究综述

点云数据被广泛用于多种三维场景,深度学习凭借提取特征自动化、泛化能力强等优势在三维点云的应用领域快速发展,逐渐成为点云分类的主流研究方法。根据提取方式的不同,将现有算法归纳为传统方法以及深度学习算法。着重介绍基于深度学习的代表性方法和最新研究,总结其基本思想以及优缺点,对比分析主要方法的实验结果;展望深度学习在点云分类领域的未来工作以及研究发展方向。     

深度学习在口腔医学影像中的应用与挑战

口腔医学影像是进行临床口腔疾病检测、筛查、诊断和治疗评估的重要工具,对口腔影像进行准确分析对于后续治疗计划的制定至关重要。常规的口腔医学影像分析依赖于医师的水平和经验,存在阅片效率低、可重复性低以及定量分析欠缺的问题。深度学习可以从大样本数据中自动学习并获取优良的特征表达,提升各类机器学习任务的效率和性能,目前已广泛应用于医学影像分析处理的各类任务之中。基于深度学习的口腔医学影像处理是目前的研究热点,但由于口腔医学领域内在的特殊性和复杂性,以及口腔医学影像数据样本量通常较小的问题,给深度学习方法在相关学习任务和场景的应用带来了新的挑战。本文从口腔医学影像领域常用的二维X射线影像、三维点云/网格影像和锥形束计算机断层扫描影像3种影像出发,介绍深度学习技术在口腔医学影像处理及分析领域应用的思路和现状,分析了各算法的优缺点及该领域所面临的问题和挑战,并对未来的研究方向和可能开展的临床应用进行展望,以助力智慧口腔建设。     

三维点云配准方法研究进展

点云是一种3维表示方式,在广泛应用的同时产生了对点云处理的诸多挑战。其中,点云配准是一项非常值得研究的工作。点云配准旨在将多个点云正确配准到同一个坐标系下,形成更完整的点云。点云配准要应对点云非结构化、不均匀和噪声等干扰,要以更短的时间消耗达到更高的精度,时间消耗和精度往往是矛盾的,但在一定程度上优化是有可能的。点云配准广泛应用于3维重建、参数评估、定位和姿态估计等领域,在自动驾驶、机器人和增强现实等新兴应用上也有点云配准技术的参与。为此,研究者开发了多样巧妙的点云配准方法。本文梳理了一些比较有代表性的点云配准方法并进行分类总结,对比相关工作,尽量覆盖点云配准的各种形式,并对一些方法的细节加以分析介绍。将现有方法归纳为非学习方法和基于学习的方法进行分析。非学习方法分为经典方法和基于特征的方法;基于学习的方法分为结合了非学习方法的部分学习方法和直接的端到端学习方法。本文分别介绍了各类方法的典型算法,并对比总结算法特性,展望了点云配准技术的未来研究方向。     

基于深度学习的点云分割方法综述

点云分割是点云数据理解中的一个关键技术,但传统算法无法进行实时语义分割。近年来深度学习被应用在点云分割上并取得了重要进展。综述了近四年来基于深度学习的点云分割的最新工作,按基本思想分为基于视图和投影的方法、基于体素的方法、无序点云的方法、有序点云的方法以及无监督学习的方法,并简要评述;最后分析各类方法优劣并展望未来研究趋势。     

基于深度学习的大规模三维点云处理综述

随着三维视觉的快速发展, 基于深度学习的大规模三维点云实时处理成为研究热点. 以三维空间分布无序的大规模三维点云为背景, 综合分析介绍并对比深度学习实时处理三维视觉问题的最新进展, 对点云分割、形状分类、目标检测等方面算法优势与不足进行详细分析, 给出详细的性能分析与优劣对比, 并对点云常用数据集进行简要介绍, 并给出不同数据集的算法性能对比. 最后, 指出未来在基于深度学习方法处理三维点云问题上的研究方向.     

基于深度学习的三维点云分割综述

作为三维场景理解的重要技术之一,三维点云分割受到广泛的关注,具有重要的研究价值和广阔的应用前景.基于此,梳理基于深度学习的三维点云分割技术的最新研究进展;在介绍三维点云分割常用的8个室内和室外数据集的基础上,重点阐述和分析现有主要基于深度学习的语义分割、实例分割和部件分割方法,并基于量化数据进行部分方法的效能比较;最后从10个方面总结现有方法的不足,并针对性地提出工作展望.     

深度学习在医学影像中的应用综述

深度学习能自动从大样本数据中学习获得优良的特征表达,有效提升各种机器学习任务的性能,已广泛应用于信号处理、计算机视觉和自然语言处理等诸多领域。基于深度学习的医学影像智能计算是目前智慧医疗领域的研究热点,其中深度学习方法已经应用于医学影像处理、分析的全流程。由于医学影像内在的特殊性、复杂性,特别是考虑到医学影像领域普遍存在的小样本问题,相关学习任务和应用场景对深度学习方法提出了新要求。本文以临床常用的X射线、超声、计算机断层扫描和磁共振等4种影像为例,对深度学习在医学影像中的应用现状进行综述,特别面向图像重建、病灶检测、图像分割、图像配准和计算机辅助诊断这5大任务的主要深度学习方法的进展进行介绍,并对发展趋势进行展望。     

三维视觉前沿进展

在自动驾驶、机器人、数字城市以及虚拟/混合现实等应用的驱动下,三维视觉得到了广泛的关注。三维视觉研究主要围绕深度图像获取、视觉定位与制图、三维建模及三维理解等任务而展开。本文围绕上述三维视觉任务,对国内外研究进展进行了综合评述和对比分析。首先,针对深度图像获取任务,从非端到端立体匹配、端到端立体匹配及无监督立体匹配3个方面对立体匹配研究进展进行了回顾,从深度回归网络和深度补全网络两个方面对单目深度估计研究进展进行了回顾。其次,针对视觉定位与制图任务,从端到端视觉定位和非端到端视觉定位两个方面对大场景下的视觉定位研究进展进行了回顾,并从视觉同步定位与地图构建和融合其他传感器的同步定位与地图构建两个方面对同步定位与地图构建的研究进展进行了回顾。再次,针对三维建模任务,从深度三维表征学习、深度三维生成模型、结构化表征学习与生成模型以及基于深度学习的三维重建等4个方面对三维几何建模研究进展进行了回顾,并从多视RGB重建、单深度相机和多深度相机方法以及单视图RGB方法等3个方面对人体动态建模研究进展进行了回顾。最后,针对三维理解任务,从点云语义分割和点云实例分割两个方面对点云语义理解研究进展进行了回顾。在此基础上,给出了三维视觉研究的未来发展趋势,旨在为相关研究者提供参考。     

CrackEmbed: Point feature embedding for crack segmentation from disaster site point clouds with anomaly detection

Laser-scanned point clouds can be used to represent the 3D as-damaged condition of building structures in a post-disaster scenario. Performing crack detection from the acquired point clouds is a critical component of disaster relief tasks such as structural damage assessment and risk assessment. Crack detection methods based on intensity or normals commonly result in noisy detections. On the other hand, deep learning methods can achieve higher accuracy but require a large dataset of annotated cracks. This research proposes an unsupervised learning framework based on anomaly detection to segment out cracked regions from disaster site point clouds. First, building components of interest are extracted from the point cloud scene using region growing segmentation. Next, a point-based deep neural network is used to extract discriminative point features using the geometry of the local point neighborhood. The neural network embedding, CrackEmbed, is trained using the triplet loss function on the S3DIS dataset. Then, an anomaly detection algorithm is used to separate out the points belonging to cracked regions based on the distribution of these point features. The proposed method was evaluated on laser-scanned point clouds from the 2015 Nepal earthquake as well as a disaster response training facility in the U.S. Evaluation results based on the point-level precision and recall metrics showed that CrackEmbed in conjunction with the isolation forest algorithm resulted in the best performance overall.