深度学习点云质量增强方法综述

随着三维探测技术的发展,点云逐渐成为最常用的三维物体/场景表征数据类型之一,广泛应用于自动驾驶、增强现实及虚拟现实等领域。然而,受限于硬件设备、采集环境以及遮挡等因素,采集的原始点云通常是不完整、稀疏、嘈杂的,为点云的处理和分析带来了巨大挑战。在此背景下,点云质量增强技术旨在对原始点云进行处理以获得结构完整、密集且接近无噪的点云,具有重要意义。本文对现阶段深度学习点云质量增强方法进行了系统综述,为后续研究者提供研究基础。首先,简要介绍了点云数据处理中通用的关键技术;分别介绍了补全、上采样和去噪3类点云质量增强方法,并对3类方法中的现有算法进行了分类、梳理及总结。其中,点云补全与点云去噪算法均可根据是否采用编码器—解码器结构分为两大类,点云上采样算法可根据网络主要结构分为基于卷积神经网络的方法、基于生成对抗网络的方法和基于图卷积神经网络的方法。其次,总结了质量增强任务中常用的数据集与评价指标,并分别对比分析了现阶段点云补全、上采样和去噪中主流算法的性能。最后,通过系统的梳理,凝练出点云质量增强方向所面临的挑战,并对未来的研究趋势进行了展望。此外,本文汇总了涉及的文献及其开源代码,详见链接https：//github.com/LilydotEE/Point_cloud_quality_enhancement。     

激光扫描点云法矢精确计算与表面光顺方法

为在光顺的同时保持特征,在精确计算点云表面法矢的基础上,提出附加约束的双边滤波器光顺方法.首先考虑激光扫描点云分布特点对其进行预采样处理,提高法矢估算初值的精度;然后利用抗差最小二乘拟合提高法矢估算精度,并基于拟合中误差和点间距离构造双边滤波器对法矢进行进一步修正,得到较为精确的法矢估算结果;最后通过分析传统双边滤波器存在的问题,引入"噪声度"概念,基于噪声度和点间距离构造双边滤波器,并附加法矢和预测距离以区分拐角特征.实验结果表明了方法的特征保持能力和高效性.     

基于深度学习的3D点云补全算法综述

三维视觉已成为当前研究的热点之一。在各种类型的三维数据描述中,点云由于其数据量小而呈现能力细腻被广泛应用于三维数据处理中。现实世界的点云数据通常是通过激光扫描仪、立体相机或低成本RGB-D扫描仪获取的。但是由于遮挡问题、光线反射、材料表面的透明度以及传感器分辨率和视角的限制,导致这些设备直接获取的通常是稀疏或者不完整点云,造成几何信息和语义信息的丢失进而影响到各种下游任务,如机器人操作,导航场景理解等。根据点云补全侧重点不同,将基于深度学习的三维点云补全技术划分为基于体素的形状补全和基于点的形状补全。     

基于点云法矢变化的点云简化方法研究

为了提高实体反求的效率,提出一种点云快速简化方法。该方法基于空间六面体栅格分割点云,依据栅格的拓扑结构搜寻测量点的邻域点,并采用一种三角面片的加权算法估算出每个测量点的法矢,并由此计算出每一个测量点到微切平面的距离,通过设置相应的法矢角度及距离阈值来对点云进行简化。实验表明该方法能够明显提高数据简化的效率。     

基于深度学习的三维点云修复技术综述

三维点云是最常用的三维场景/物体表示方法之一.根据点云修复侧重点不同,将基于深度学习的三维点云修复技术划分为密集重建、补全重建和去噪重建3类;详细分析了相关典型修复模型及关键技术,如特征编码、特征扩展和损失函数设计;总结了常用的网络模块、点云数据集和评估准则;最后讨论了3类修复技术之间的关系,并从旋转不变性特征提取、细节信息修复、拓扑关系保持、几何算法应用和多模态数据融合5个方面探讨了点云修复技术面临的挑战及未来发展趋势.     

基于深度学习的三维点云分类方法研究

随着深度学习和3D传感技术的快速发展,点云分类已在智能分级等领域得到了广泛的应用。为了更好地推进点云分类技术的研究与应用,利用管道体系结构对相关方法的研究进展进行全面而系统的梳理、分析和总结。首先,根据点云数据处理方式的不同,将现有的点云分类方法归纳为间接基于点云的方法和直接基于点云的方法。然后,着重介绍了具有代表性的方法和最新研究成果,同时比较分析了主要方法的核心思想、优缺点、适用范围、应用场景以及实验结果。最后,从四个方面对点云分类的未来发展以及研究方向进行了展望,结果表明,将间接和直接点云的方法进行2D-3D特征融合是未来的一个重要发展方向。     

基于噪声分类的双边滤波点云去噪算法

针对三维点云数据模型在去噪光顺中存在不同尺度噪声的问题,提出一种基于噪声分类的双边滤波点云去噪算法。该算法首先将噪声细分为大尺度和小尺度噪声,并使用统计滤波结合半径滤波对大尺度噪声进行去除;然后对三维点云数据进行曲率估计,并对现有点云双边滤波进行改进,增强其鲁棒性和保特征性;最后使用改进的双边滤波对小尺度噪声进行光顺,实现三维点云数据模型的去噪、光顺。与单独使用双边滤波、Fleishman双边滤波相比,改进算法在三维点云数据模型光顺平均误差指标上分别降低了50.53%和21.67%。实验结果表明,该改进算法对噪声进行尺度的细分既提高了计算效率,又避免了过光顺和细节失真,较好地保持模型中的几何特征。     

基于CUDA的点云去噪算法

提出一种基于统一计算设备架构(CUDA)的双边滤波点云去噪算法,将点云去噪划分为多个并行度较高的步骤,利用GPU的并行计算能力,设计每个步骤的CUDA核函数。采用高斯加权的法矢计算方法,在双边去噪算法中加入面积权重缓解过光顺。实验结果表明,该算法能有效提高法矢计算的准确度,与CPU算法相比,计算速度提高了多个数量级。     

基于Kinect深度信息的实时三维重建和滤波算法研究

分析了基于Kinect输出的深度数据进行场景实时三维重建的算法。针对实现过程中出现的深度图像噪声过大的问题,根据其信号结构的特点给出了改进的双边滤波算法。新算法利用已知的深度图像噪声范围,将权值函数修改为二值函数,并结合RGB图像弥补了缺失的深度信息。实验表明,新算法无论是在降噪性能还是计算效率上,都大大优于已有的双边滤波,其中计算速度是原始算法的6倍。     

基于深度学习的点云分割方法综述

点云分割是点云数据理解中的一个关键技术,但传统算法无法进行实时语义分割。近年来深度学习被应用在点云分割上并取得了重要进展。综述了近四年来基于深度学习的点云分割的最新工作,按基本思想分为基于视图和投影的方法、基于体素的方法、无序点云的方法、有序点云的方法以及无监督学习的方法,并简要评述;最后分析各类方法优劣并展望未来研究趋势。     

基于深度学习的点云语义分割研究综述

近年来,深度传感器和三维激光扫描仪的普及推动了三维点云处理方法的快速发展。点云语义分割作为理解三维场景的关键步骤,受到了研究者的广泛关注。随着深度学习的迅速发展并广泛应用到三维语义分割领域,点云语义分割效果得到了显著提升。主要对基于深度学习的点云语义分割方法和研究现状进行了详细的综述。将基于深度学习的点云语义分割方法分为间接语义分割方法和直接语义分割方法,根据各方法的研究内容进一步细分,对每类方法中代表性算法进行分析介绍,总结每类方法的基本思想和优缺点,并系统地阐述了深度学习对语义分割领域的贡献。然后,归纳了当前主流的公共数据集和遥感数据集,并在此基础上对比主流点云语义分割方法的实验结果。最后,对语义分割技术未来的发展方向进行了展望。     

基于深度学习的3维点云处理综述

深度学习在2维图像等结构化数据处理中表现出了优越性能,对非结构化的点云数据分析处理的潜力已经成为计算机图形学的重要研究方向,并在机器人、自动驾驶、虚拟及增强现实等领域取得一定进展.通过回顾近年来3维点云处理任务的主要研究问题,围绕深度学习在3维点云形状分析、结构提取、检测和修复等方向的应用,总结整理了典型算法.介绍了点云拓扑结构的提取方法,然后对比分析了变换、分类分割、检测跟踪、姿态估计等方向的以构建神经网络为主要研究方法的进展.最后,总结常用的3维点云公开数据集,分析对比了各类方法的特点与评价指标,指出其优势与不足,并从不同角度对基于深度学习的方法处理点云数据所面临的挑战与发展方向进行了讨论.     

基于深度学习的三维点云语义分割方法研究

综述了基于深度学习的三维点云语义分割方法的研究进展。利用文献分析法,按照数据的表现形式对基于深度学习的三维点云语义分割的方法进行阐述。探讨了近些年的国内外发展现状,分析了目前相关方法的优缺点,并展望了未来发展的趋势。深度学习的加入在点云语义分割技术研究上发挥着越来越重要的作用,推动了制造与包装等领域趋向于智能信息化。根据各类方法的优缺点,利用深度学习技术构建出基于投影、体素、多视图以及直接基于点云的2D-3D组合语义分割框架模型是未来的一个重要研究方向。     

深度学习在点云分类中的研究综述

点云数据被广泛用于多种三维场景,深度学习凭借提取特征自动化、泛化能力强等优势在三维点云的应用领域快速发展,逐渐成为点云分类的主流研究方法。根据提取方式的不同,将现有算法归纳为传统方法以及深度学习算法。着重介绍基于深度学习的代表性方法和最新研究,总结其基本思想以及优缺点,对比分析主要方法的实验结果;展望深度学习在点云分类领域的未来工作以及研究发展方向。     

点云数据在深度学习中表示方法的研究

为了实现在深度学习中能够端到端表示点云模型,提出基于八叉树和K-D树（OctKD）的点云数据表示方法。该方法将无组织的点云转换为体素空间,在体素空间对三维模型进行八叉树剖分,改进了八叉树编码方式;构建节点间的邻接关系,在GPU端并行构建八叉树;为了克服八叉树编码检索效率低的问题,采用三维K-D树索引单个三维空间点。实验结果表明该方法能够真实反映模型本身的细节特征,提高了点云模型的构造时间和检索效率。这种新的数据结构实现将点云转换为卷积神经网络可以接收的数据形式。     

基于旋转不变深度层次聚类网络的点云分析

由于解决了三维点云的排列不变性问题,基于三维点云的深度学习方法在计算机三维视觉领域中取得了重大的突破,人们逐渐倾向于使用三维点云来描述物体并基于神经网络结构来提取点云的特征.然而,现有的方法依然无法解决旋转不变性问题,使得目前的模型鲁棒性较差;同时,神经网络结构的设计过于启发式,没有合理利用三维点云的几何结构与分布特性,导致网络结构的表达能力有待提升.鉴于此,提出了一种具有良好兼容性的严格旋转不变性表达以及深度层次类簇网络,试图从理论与实践两个层面解决上述问题.在点云识别、部件分割、语义分割这3个经典任务上进行了旋转鲁棒性对比实验,均取得了最优的效果.     

学习几何结构特征的真实点云场景语义分割

有效获取点云数据在空间上的结构性特征是点云语义分割的关键。针对以往方法没有很好综合利用全局和局部特征问题,提出一种新的空间结构特征——点的盒子特征用于语义分割,设计一种编码-解码结构的网络框架,下采样过程中使用几何结构特征模块学习点云的全局空间特征和局部邻域特征,上采样过程中按分辨率逐级恢复成完整尺寸特征图进行语义分割。其中,几何结构特征模块包含两个子模块,一个是全局特征模块,该模块学习点的“盒子（box）”特征以表现点云在采样空间内概括的粗糙几何特征;另一个是局部特征模块,该模块使用特征提取——注意力机制结构表现点云在局部邻域内精确的细粒度几何特征。在公开数据集S3DIS、Semantic3D上进行了实验并与其他方法比较,实验结果表明mIoU均领先目前大部分主流的方法,部分细则类IoU取得最高。