基于深度学习的三维点云修复技术综述

三维点云是最常用的三维场景/物体表示方法之一.根据点云修复侧重点不同,将基于深度学习的三维点云修复技术划分为密集重建、补全重建和去噪重建3类;详细分析了相关典型修复模型及关键技术,如特征编码、特征扩展和损失函数设计;总结了常用的网络模块、点云数据集和评估准则;最后讨论了3类修复技术之间的关系,并从旋转不变性特征提取、细节信息修复、拓扑关系保持、几何算法应用和多模态数据融合5个方面探讨了点云修复技术面临的挑战及未来发展趋势.     

基于类别-实例分割的室内点云场景修复补全

三维室内场景修复补全是计算机图形学、数字几何处理、3D计算机视觉中的重要问题.针对室内场景修复补全中难以处理大规模点云数据的问题,本文提出了一种基于类别-实例分割的室内点云场景修复补全框架.该框架包括点云场景分割模块和点云形状补全模块,前者由基于PointNet的类别分割网络和基于聚类的实例分割模块完成,后者由基于编码器-解码器结构的点云补全网络实现.本文框架以缺失的室内场景点云数据为输入,首先根据"类别-实例"分割策略,采用PointNet对室内场景进行类别分割,并利用基于欧式距离的聚类方法进行实例分割得到室内各家具点云,然后借助点云补全网络将分割出的缺失家具点云逐一进行形状补全并融合进原始场景,最终实现室内点云场景的修复.其中,为了实现缺失家具点云形状的补全,本文提出了一种基于编码器-解码器结构的点云补全网络,首先通过输入变换和特征变换对齐缺失的家具点云数据采样点位置与特征信息;然后借助权共享多层感知器和PointSIFT特征提取模块对各采样点提取形状特征和近邻点特征信息,并利用最大池化层与多层感知器编码提取出采样点的特征码字;最后将采样点特征码字加上网格坐标数据作为解码器的输入,解码器使用两个连续的三层感知器折叠操作将网格数据转变成完整的点云补全数据.实验结果表明,本文提出的点云补全网络能够较好地补全室内场景中缺失的家具结构形状,同时基于该网络的场景修复补全框架能够有效修复大型室内点云场景.     

融合稀疏点云补全的3D目标检测算法

基于雷达点云的 3D 目标检测方法有效地解决了 RGB 图像的 2D 目标检测易受光照、天气等因 素影响的问题。但由于雷达的分辨率以及扫描距离等问题,激光雷达采集到的点云往往是稀疏的,这将会影响 3D 目标检测精度。针对这个问题,提出一种融合稀疏点云补全的目标检测算法,采用编码、解码机制构建点 云补全网络,由输入的部分稀疏点云生成完整的密集点云,根据级联解码方式的特性,定义了一个新的复合损 失函数。除了原有的折叠解码阶段的损失之外,还增加了全连接解码阶段存在的损失,以保证解码网络的总体 误差最小,从而使得点云补全网络生成信息更完整的密集点云 Ydetail,并将补全的点云应用到 3D 目标检测任务 中。实验结果表明,该算法能够很好地将 KITTI 数据集中稀疏的汽车点云补全,并且有效地提升目标检测的精 度,特别是针对中等和困难等级的数据效果更佳,提升幅度分别达到 6.81%和 9.29%。     

基于区域生长的非结构巷道点云去噪方法

目前针对地下巷道点云去噪研究未完全满足巷道点云的特殊去噪需求,尤其是在狭长、密闭且复杂的地下巷道环境中,未能充分应对管壁附属物、粉尘和人为噪声等因素造成的挑战。通过分析井下非结构场景和传感器误差,考虑行人、移动设备和管网带来的噪声,提出一种基于区域生长的非结构巷道点云去噪方法。利用三维激光扫描技术获得井下巷道场景的3D点云信息,并分析其中由于井下非结构场景和传感器误差造成的异常点,以及行人、移动设备和风/水管网形成的噪声特点;利用k维树（kd-tree）构建点云的拓扑关系,选取适当的种子节点和生长准则,设定合适的曲率和角度阈值,通过区域生长算法实现巷道点云的有效分割,去除未加入分割区域的离群点云;根据噪声特点,基于巷道点云区域分割结果进一步去噪优化。试验结果表明：对于巷道中存在行人、设备等特征的情况,建议将区域生长算法的角度阈值设定为10°左右,曲率阈值设定为3左右;在实际应用中,应平衡数据量的减少与去噪效果,以确保数据处理的有效性,同时提高数据质量;采用基于区域生长的非结构巷道点云去噪方法进行去噪时,点云数量减少幅度介于SOR滤波器和低通滤波器之间,能有效移除行人、设备等噪声。     

利用Kinect深度信息的三维点云配准方法研究

针对三维重建中的点云配准问题,提出一种基于点云特征的自动配准算法。利用微软Kinect传感器采集物体的多视角深度图像,提取目标区域并转化为三维点云。对点云进行滤波并估计快速点特征直方图特征,结合双向快速近似最近邻搜索算法得到初始对应点集,并使用随机采样一致性算法确定最终对应点集。根据奇异值分解法求出点云的变换矩阵初始值,在初始配准的基础上运用迭代最近点算法做精细配准。实验结果表明,该配准方法既保证了三维点云的配准质量,又降低了计算复杂度,具有较高的可操作性和鲁棒性。     

嵌入Transformer结构的多尺度点云补全

目的 当前点云补全的深度学习算法多采用自编码器结构,然而编码器端常用的多层感知器（multilayer perceptron,MLP）网络往往只聚焦于点云整体形状,很难对物体的细节特征进行有效提取,使点云残缺结构的补全效果不佳。因此需要一种准确的点云局部特征提取算法,用于点云补全任务。方法 为解决该问题,本文提出了嵌入注意力模块的多尺度点云补全算法。网络整体采用编码器—解码器结构,通过编码器端的特征嵌入层和Transformer层提取并融合3种不同分辨率的残缺点云特征信息,将其输入到全连接网络的解码器中,输出逐级补全的缺失点云。最后在解码器端添加注意力鉴别器,借鉴生成对抗网络（generative adversarial networks,GAN）的思想,优化网络补全性能。结果 采用倒角距离（Chamfer distance,CD）作为评价标准,本文算法在2个数据集上与相关的4种方法进行了实验比较,在ShapeNet数据集上,相比于性能第2的PF-Net （point fractal network）模型,本文算法的类别平均CD值降低了3.73%;在ModelNet10数据集上,相比于PF-Net模型,本文算法的类别平均CD值降低了12.75%。不同算法的可视化补全效果图,验证了本文算法具有更精准的细节结构补全能力和面对类别中特殊样本的强泛化能力。结论 本文所提出的基于Transformer结构的多尺度点云补全算法,更好地提取了残缺点云的局部特征信息,使得点云补全的结果更加准确。     

基于深度学习的3D点云补全算法综述

三维视觉已成为当前研究的热点之一。在各种类型的三维数据描述中，点云由于其数据量小而呈现能力细腻被广泛应用于三维数据处理中。现实世界的点云数据通常是通过激光扫描仪、立体相机或低成本RGB-D扫描仪获取的。但是由于遮挡问题、光线反射、材料表面的透明度以及传感器分辨率和视角的限制，导致这些设备直接获取的通常是稀疏或者不完整点云，造成几何信息和语义信息的丢失进而影响到各种下游任务，如机器人操作，导航场景理解等。根据点云补全侧重点不同，将基于深度学习的三维点云补全技术划分为基于体素的形状补全和基于点的形状补全。     

基于多尺度特征融合和对比池化的点云补全网络

点云补全在点云处理任务中具有重要作用,它可以提高数据质量、辅助生成精确三维模型,为多种应用提供可靠数据支撑。然而,现有基于深度网络的点云补全算法采用的单层次全局特征提取方法较为简单,没有充分挖掘潜在语义信息,并在编码过程中丢失部分细节信息。为解决这些问题,提出了一种多尺度特征逐级融合的点云补全网络,并结合注意力机制提出了一种全新的池化方法。实验结果表明,在PCN、ShapeNet34和ShapeNet55三个数据集上取得了SOTA水平,证明该网络具有更好的特征表示能力和补全效果。     

应用于三维点云数据去噪的改进C均值算法

针对三维激光扫描仪采集到的点云数据中离群点不易区分和去噪难度大的问题,提出了一种改进的C均值算法。通过分析三维点云数据特征,在传统C均值算法中引入模糊聚类权重因子,降低类内距离和拉大类间距离,有效增强了离群点特征以降低识别难度。进而将识别出的噪声分类别处理,利用改进的C均值算法去除大尺度噪声,构造双边滤波算法去除小尺度噪声数据。与密度聚类算法、正交整体最小二乘平面拟合和基于特征选择的双边滤波点云去噪等算法相比,去噪准确度分别提升了7.3%、6.5%和6.0%,实验结果表明该算法可以有效去除大尺度噪声并能较好地保留有效数据。     

一种聚类与滤波融合的点云去噪平滑方法

针对采集的原始三维点云数据存在噪声、表面不光滑不利于后期三维重建的问题,提出一种自适应密度聚类与双边滤波融合的三维点云去噪平滑方法。该方法首先对点云模型进行自适应密度聚类分析,根据聚类结果删除模型中的噪声点;然后再计算采样点的k邻域,并求得利用k邻域构造采样点所在平面的法矢,进而得到双边滤波因子,以对点云模型进行平滑。实验结果表明,该算法能有效识别并去除噪声,并对点云模型进行平滑,同时还能保持原始模型的特征信息。     

3D点云形状补全GAN

在真实的扫描环境中,由于视线遮挡或技术人员操作不当,实际采集到的点云模型会存在形状不完整的问题。点云模型的不完整性会对后续应用产生严重的影响,因此提出3D点云形状补全GAN用于完成点云模型的形状补全。该网络的点云重建部分由PointNet中用于数据对齐的T-Net结构与3D点云AutoEncoder网络相结合,来完成预测和填充缺失数据,识别器采用3D点云AutoEncoder中的Encoder部分对补全3D点云数据与真实的3D点云数据进行区分。最后,在ShapeNet数据集中训练上述网络结构,对所训练的网络模型进行验证并与其他基准方法进行定性比较。从实验结果可以看出,3D点云形状补全GAN可以将具有缺失数据的点云模型补全为完整的3D点云。在ShapeNet的3个子数据集chair,table以及bed上,相比基于3D点云AutoEncoder的方法,所提方法的F 1分数分别提高了3.0%,3.3%以及3.1%,相比基于体素3D-EPN的方法,所提方法的F 1分数分别提高了9.9%,5.8%以及4.3%。     

基于卷积神经网络的三维目标检测研究综述

深度学习尤其卷积神经网络为精确目标检测提供可能,推动三维目标检测在自动驾驶、机器人等领域发挥重要作用.文中综述基于卷积神经网络的三维目标检测研究进展.首先总结三维目标检测的应用价值、基本流程及存在的挑战.再介绍卷积神经网络基本原理、典型的二维目标检测网络结构、常用的开源数据集及点云表示形式等相关基础知识.然后介绍卷积神经网络在三维目标检测中的应用进展,根据不同数据模态及方法共性对方法进行梳理.最后对当前三维目标检测研究存在的问题进行论述,对未来的研究发展趋势进行展望.     

基于广义多项式神经网络的点云数据隐式曲面重构方法

针对点云数据的三维重建问题,提出了一种隐曲面重构的广义多项式神经网络新方法.该广义多项式神经网络隐层各神经元激励函数互不相同且线性无关,能够对应地学习点云数据样本中不同的模式,因此,具有较好的学习能力.基于梯度下降法原理,推导了其学习算法.仿真实验尝试将该方法应用于一些简单封闭物体的带噪点云数据隐式曲面重建,取得了较理想的重建质量和去噪效果.     

基于噪声分类的双边滤波点云去噪算法

针对三维点云数据模型在去噪光顺中存在不同尺度噪声的问题,提出一种基于噪声分类的双边滤波点云去噪算法。该算法首先将噪声细分为大尺度和小尺度噪声,并使用统计滤波结合半径滤波对大尺度噪声进行去除;然后对三维点云数据进行曲率估计,并对现有点云双边滤波进行改进,增强其鲁棒性和保特征性;最后使用改进的双边滤波对小尺度噪声进行光顺,实现三维点云数据模型的去噪、光顺。与单独使用双边滤波、Fleishman双边滤波相比,改进算法在三维点云数据模型光顺平均误差指标上分别降低了50.53%和21.67%。实验结果表明,该改进算法对噪声进行尺度的细分既提高了计算效率,又避免了过光顺和细节失真,较好地保持模型中的几何特征。     

基于二维点云图的三维人体建模方法

近年来基于二维图像的三维建模方法取得了快速发展,但就人体建模而言,由于摄像头采集到的二维人体图像包含衣物、发丝等大量的纹理信息,而像虚拟试衣等相关应用需要将人体表面的衣物褶皱等纹理信息去除,同时考虑到裸体数据采集侵犯了用户的隐私,因此提出一种基于二维点云图像到三维人体模型的新型建模方法。与摄像机等辅助设备进行二维图片数据集的采集不同,该算法的输入是由三维人体点云模型以顶点模式绘制的二维点云渲染图。主要工作是建立一个由二维点云图和相应的人体黑白二值图构成的数据集,并训练一个由前者生成后者的生成对抗网络模型。该模型将二维点云图转化为相应的黑白二值图。将该二值图输入一个训练好的卷积神经网络,用于评估二维图像到三维人体模型构建的效果。考虑到由不完整三维点云数据重建完整的三维人体网格模型是一个具有挑战性的问题,因此通过模拟二维点云的破损和残缺状态,使得算法能够处理不完整的二维点云图。大量的实验结果表明,该方法重建出的三维人体模型能够有效实现视觉上的真实感,为了对重建后的精度进行定量的分析,选取了人体特征中具有代表性的腰围特征作为误差评估;为了增加三维人体模型库中人体形态的多样性,还引入一种便捷的三维人体模型数据增强技术。实验结果表明,该算法只需要输入一张二维点云图像,就能快速创建出相应的数字化人体模型。     

基于模板替换的室内场景建模方法研究

当前,室内场景建模相关研究已经取得很多进展,特别是基于多视角融合的建模 框架与基于单视角的建模框架的提出,增强了机器人的环境感知能力。但仍然存在以下不足： ①基于多视角融合的建模方式预处理时间长,建模完成后需线下优化过程,不能满足特定条件 下的建模需求;②基于单视角的建模算法输出一般为体素,建模质量较低,信息缺失严重,对 于场景细节无法精确刻画,难以满足机器人交互的要求。特提出一种基于模板替换的室内场景 建模方法研究。首先,预处理由设备采集到的三维点云场景,分割出存在点云缺失的单个对象, 并利用虚拟扫描技术采样对象表面点并计算法向量与曲率。采用八叉树网格结构,将点云的法 向量与曲率信息分别存入网格中,再利用卷积神经网络(CNN)提取高维特征向量,将其与数据 库中三维对象特征进行欧氏距离比较,得到检索序列。从序列中挑选出最相似的对象,利用迭 代就近点(ICP)配准方法,与扫描场景进行配准,完成场景优化。对提出的网络模型在 2 个基准 数据集上进行测试并表现出良好的性能。     

基于机械臂的Kinect车辆轮廓点云配准

车辆轮廓的三维点云模型在汽车智能化制造及维保过程中具有重要作用。为提高点云配准的精度和效率,以汽车维保机器人为研究对象,提出一种基于点云数据处理技术的车辆轮廓扫描定位及点云数据配准方法。在机械臂末端安装Kinect深度传感器实现精准移动,在汽车四周采集点云数据并进行预处理,根据机械臂运动学方程计算传感器采样位姿,完成初步配准。在此基础上,使用迭代最近点算法完成车辆轮廓点云的精确配准。实验结果表明,该方法可完成各视角点云数据的准确、快速配准,得到完整的三维点云数字模型。     

大规模点云选择及精简

点云选择与精简是三维扫描系统中应对背景数据、冗余采样、分布不均匀 等问题的必要后处理步骤。针对定制低成本三维扫描系统的需求,传统方法仍有很多局限性。 这是由于研究领域未提供支持套索UI 接口的点云选择算法;传统点云精简方法侧重曲率自 适应分布,无法保证平坦区域的均衡分布。论文提出一种支持套索UI 接口的点云选择算法, 通过构建套索形状矩形覆盖与点云八叉树剔除大部分点在多边形内的判断;提出一种基于 Poisson-disk 采样的均衡分布的点云精简算法,并以采样点邻域球布尔交运算来定义曲面上 的圆盘半径度量,具有保持尖锐边特征及边界的性质。实验结果表明,论文方法能够较好满 足低成本三维扫描系统中点云删减处理的需求。     

MF-Net：结合残差网络的多尺度特征点云补全网络

针对目前点云补全网络只关注全局特征造成的语义信息丢失问题，提出了一个基于残差网络的多尺度特征提取的点云补全网络。网络采用端到端的思想，为避免单一特征不全面问题，将原始输入采样为三种不同尺度的点云；利用级联方式递归式融合不同方法提取的低分辨率点云的全局特征和原始点云的局部特征，形成特征向量并输入全连接网络，实现粗点云的预测；将拼接后的原始点云和粗点云送入精细重构单元，再在精细重构单元中融合注意力机制并利用残差网络进行由粗略到精细的补全；通过计算粗点云、稠密点云与真实点云之间的联合损失函数以提高补全性能。在ShapeNet数据集和KITTI数据集上的实验证明，无论是定性比较还是定量比较，提出的方法对残缺点云均具有较好的补全效果，同时也体现了该方法具有泛化能力。     

基于原始点云的三维目标检测算法

针对当前三维目标检测中存在的数据降采样难、特征提取不充分、感受野有限、候选包围盒回归质量不高等问题,基于3DSSD三维目标检测算法,提出了一种基于原始点云、单阶段、无锚框的三维目标检测算法RPV-SSD(random point voxel single stage object detector),该算法由随机体素采样层、3D稀疏卷积层、特征聚合层、候选点生成层、区域建议网络层共五个部分组成,主要通过聚合随机体素采样的关键点逐点特征、体素稀疏卷积特征、鸟瞰图特征,进而实现对物体类别、3D包围盒以及物体朝向的预测。在KITTI数据集上的实验表明,该算法整体表现良好,不仅能够命中真值标签中的目标并且回归较好的包围盒,还能够从物体的不完整点云推测出物体的类别及其完整形状,提高目标检测性能。