基于类别-实例分割的室内点云场景修复补全

三维室内场景修复补全是计算机图形学、数字几何处理、3D计算机视觉中的重要问题.针对室内场景修复补全中难以处理大规模点云数据的问题,本文提出了一种基于类别-实例分割的室内点云场景修复补全框架.该框架包括点云场景分割模块和点云形状补全模块,前者由基于PointNet的类别分割网络和基于聚类的实例分割模块完成,后者由基于编码器-解码器结构的点云补全网络实现.本文框架以缺失的室内场景点云数据为输入,首先根据"类别-实例"分割策略,采用PointNet对室内场景进行类别分割,并利用基于欧式距离的聚类方法进行实例分割得到室内各家具点云,然后借助点云补全网络将分割出的缺失家具点云逐一进行形状补全并融合进原始场景,最终实现室内点云场景的修复.其中,为了实现缺失家具点云形状的补全,本文提出了一种基于编码器-解码器结构的点云补全网络,首先通过输入变换和特征变换对齐缺失的家具点云数据采样点位置与特征信息;然后借助权共享多层感知器和PointSIFT特征提取模块对各采样点提取形状特征和近邻点特征信息,并利用最大池化层与多层感知器编码提取出采样点的特征码字;最后将采样点特征码字加上网格坐标数据作为解码器的输入,解码器使用两个连续的三层感知器折叠操作将网格数据转变成完整的点云补全数据.实验结果表明,本文提出的点云补全网络能够较好地补全室内场景中缺失的家具结构形状,同时基于该网络的场景修复补全框架能够有效修复大型室内点云场景.     

MF-Net：结合残差网络的多尺度特征点云补全网络

针对目前点云补全网络只关注全局特征造成的语义信息丢失问题，提出了一个基于残差网络的多尺度特征提取的点云补全网络。网络采用端到端的思想，为避免单一特征不全面问题，将原始输入采样为三种不同尺度的点云；利用级联方式递归式融合不同方法提取的低分辨率点云的全局特征和原始点云的局部特征，形成特征向量并输入全连接网络，实现粗点云的预测；将拼接后的原始点云和粗点云送入精细重构单元，再在精细重构单元中融合注意力机制并利用残差网络进行由粗略到精细的补全；通过计算粗点云、稠密点云与真实点云之间的联合损失函数以提高补全性能。在ShapeNet数据集和KITTI数据集上的实验证明，无论是定性比较还是定量比较，提出的方法对残缺点云均具有较好的补全效果，同时也体现了该方法具有泛化能力。     

基于自注意力机制的点云分类分割

3D点云由于其无序性以及缺少拓扑信息使得点云的分类与分割仍具有挑战性.针对上述问题,我们设计了一种基于自注意力机制的3D点云分类算法,可学习点云的特征信息,用于目标分类与分割.首先,设计适用于点云的自注意力模块,用于点云的特征提取.通过构建领域图来加强输入嵌入,使用自注意力机制进行局部特征的提取与聚合.最后,通过多层感知机以及解码器-编码器的方式将局部特征进行结合,实现3D点云的分类与分割.该方法考虑了输入嵌入时单个点在点云中的局部语境信息,构建局部长距离下的网络结构,最终得到的结果更具区分度.在ShapeNetPart、RoofN3D等数据集上的实验证实所提方法的分类与分割性能较优.     

融合缺失点云形状信息的保结构修复网络EI北大核心CSCD

传统点云模型修复中由于未考虑输入的缺失点云形状固有特征,难以有效地保持原始形状结构特征信息.为此,提出一种融合缺失点云形状信息的保结构修复网络.该网络采用编码器-解码器结构,借助多层感知器和最大池化层以获得输入点云形状的特征码字.其中,编码器以缺失的点云数据作为输入;解码器则对编码得到的点云特征码字使用4个2D网格进行折叠操作以拟合点云形状得到粗修复结果,再将输入点云数据与粗修复结果进行拼接融合,并对融合后的点云数据经过迭代最远点采样得到最终的点云形状修复结果.实验结果表明,与已有网络修复结果相比,该网络在ModelNet40数据集上的平均误差低11%~53%,在ShapeNet数据集上的平均误差低15%~28%,而对具有精细结构的物体修复结果的平均误差低59%~70%.该网络在修复点云形状缺失部分的同时,能够有效地保持输入形状的结构特征信息,对不同程度的数据缺失具有鲁棒性;与已有网络相比,该网络点云修复结果的误差较小、点云分布较均匀.     

基于多尺度特征融合和对比池化的点云补全网络

点云补全在点云处理任务中具有重要作用,它可以提高数据质量、辅助生成精确三维模型,为多种应用提供可靠数据支撑。然而,现有基于深度网络的点云补全算法采用的单层次全局特征提取方法较为简单,没有充分挖掘潜在语义信息,并在编码过程中丢失部分细节信息。为解决这些问题,提出了一种多尺度特征逐级融合的点云补全网络,并结合注意力机制提出了一种全新的池化方法。实验结果表明,在PCN、ShapeNet34和ShapeNet55三个数据集上取得了SOTA水平,证明该网络具有更好的特征表示能力和补全效果。     

多尺度注意力融合和抗噪声的轻量点云人脸识别模型

在低质量点云人脸数据集上,判别性特征的提取和模型对噪声的鲁棒性是解决点云人脸识别问题 的关键。针对现有轻量点云人脸识别算法不能充分提取判别性特征和数据集中存在大量噪声而影响模型训练的问 题,设计轻量高效的网络模型,提出了基于多尺度注意力融合和抗噪声的自适应损失函数的点云人脸识别算法。 首先通过不同卷积模块获得不同感受野大小的特征图。然后进行多尺度的注意力特征提取,并使用高层的注意力 权重来引导低层注意力权重的生成,最后进行通道融合得到多尺度融合的特征,提升了模型捕获人脸细节特征的 能力。其次,根据低质量点云人脸图像的噪声信息特点,设计了一种新颖的抗噪声的自适应损失函数(anti-noise adaptive loss),以应对数据集大量噪声对模型训练过程中可能造成的负面影响,提升模型的鲁棒性和泛化能力。 在开源数据集 Lock3DFace 和本文提出的 KinectFaces 数据集上的实验结果表明,与当前的主流算法相比该算法模 型在低质量点云人脸识别任务中具有更好的识别效果。     

基于全融合网络的三维点云语义分割

为提高室内场景的点云语义分割精度,设计了一个全融合点云语义分割网络。网络由特征编码模块、渐进式特征解码模块、多尺度特征解码模块、特征融合模块和语义分割头部组成。特征编码模块采用逆密度加权卷积作为特征编码器对点云数据进行逐级特征编码,提取点云数据的多尺度特征;然后通过渐进式特征解码器对高层语义特征进行逐层解码,得到点云的渐进式解码特征。同时,多尺度特征解码器对提取的点云多尺度特征分别进行特征解码,得到点云多尺度解码特征。最后将渐进式解码特征与多尺度解码特征融合,输入语义分割头部实现点云的语义分割。全融合网络增强了网络特征提取能力的鲁棒性,实验结果也验证了该网络的有效性。     

基于环查询和通道注意力的点云分类与分割

点云数据的特征处理是机器人、自动驾驶等领域中三维物体识别技术的关键组成部分,针对点云局部特征信息重复提取、点云物体整体几何结构缺乏识别等问题,提出一种基于环查询和通道注意力的点云分类与分割网络。首先将单层环查询和特征通道注意力机制进行结合,减少局部信息冗余并加强局部特征;然后计算法线变化识别出物体边缘、拐角区域的高响应点,并将其法线特征加入全局特征表示中,加强物体整体几何结构的识别。在 ModelNet40 和 ShapeNet Part 数据集上与多种点云网络进行比较,实验结果表明,该网络不仅有较高的点云分类与分割精度,同时在训练时间和内存占用等方面也优于其他方法,此外对于不同输入点云数量具有较强鲁棒性。因此该网络是一种有效、可行的点云分类与分割网络。     

RFNet:用于三维点云分类的卷积神经网络

由于点云的非结构性和无序性,目前已有的点云分类网络在精度上仍然需要进一步提高.通过考虑局部结构的构建、全局特征聚合和损失函数改进三个方面,构造一个有效的点云分类网络.首先,针对点云的非结构性,通过学习中心点特征与近邻点特征之间的关系,为不规则的近邻点分配不同的权重,以此构建局部结构;然后,使用注意力思想,提出加权平均池化(Weighted average pooling, WAP),通过自注意力方式,学习每个高维特征的注意力分数,在应对点云无序性的同时,可以有效地聚合冗余的高维特征;最后,利用交叉熵损失与中心损失之间的互补关系,提出联合损失函数(Joint loss function, JL),在增大类间距离的同时,减小类内距离,进一步提高了网络的分类能力.在合成数据集ModelNet40、ShapeNetCore和真实世界数据集ScanObjectNN上进行实验,与目前性能最好的多个网络相比较,验证了该整体网络结构的优越性.     

深度学习点云质量增强方法综述

随着三维探测技术的发展,点云逐渐成为最常用的三维物体/场景表征数据类型之一,广泛应用于自动驾驶、增强现实及虚拟现实等领域。然而,受限于硬件设备、采集环境以及遮挡等因素,采集的原始点云通常是不完整、稀疏、嘈杂的,为点云的处理和分析带来了巨大挑战。在此背景下,点云质量增强技术旨在对原始点云进行处理以获得结构完整、密集且接近无噪的点云,具有重要意义。本文对现阶段深度学习点云质量增强方法进行了系统综述,为后续研究者提供研究基础。首先,简要介绍了点云数据处理中通用的关键技术;分别介绍了补全、上采样和去噪3类点云质量增强方法,并对3类方法中的现有算法进行了分类、梳理及总结。其中,点云补全与点云去噪算法均可根据是否采用编码器—解码器结构分为两大类,点云上采样算法可根据网络主要结构分为基于卷积神经网络的方法、基于生成对抗网络的方法和基于图卷积神经网络的方法。其次,总结了质量增强任务中常用的数据集与评价指标,并分别对比分析了现阶段点云补全、上采样和去噪中主流算法的性能。最后,通过系统的梳理,凝练出点云质量增强方向所面临的挑战,并对未来的研究趋势进行了展望。此外,本文汇总了涉及的文献及其开源代码,详见链接https：//github.com/LilydotEE/Point_cloud_quality_enhancement。     

3D点云形状补全GAN

在真实的扫描环境中,由于视线遮挡或技术人员操作不当,实际采集到的点云模型会存在形状不完整的问题。点云模型的不完整性会对后续应用产生严重的影响,因此提出3D点云形状补全GAN用于完成点云模型的形状补全。该网络的点云重建部分由PointNet中用于数据对齐的T-Net结构与3D点云AutoEncoder网络相结合,来完成预测和填充缺失数据,识别器采用3D点云AutoEncoder中的Encoder部分对补全3D点云数据与真实的3D点云数据进行区分。最后,在ShapeNet数据集中训练上述网络结构,对所训练的网络模型进行验证并与其他基准方法进行定性比较。从实验结果可以看出,3D点云形状补全GAN可以将具有缺失数据的点云模型补全为完整的3D点云。在ShapeNet的3个子数据集chair,table以及bed上,相比基于3D点云AutoEncoder的方法,所提方法的F 1分数分别提高了3.0%,3.3%以及3.1%,相比基于体素3D-EPN的方法,所提方法的F 1分数分别提高了9.9%,5.8%以及4.3%。     

学习点云邻域信息的三维物体形状补全

在现实世界中,点云数据的采集方式有激光雷达、双目相机和深度相机,但是在机器人采集过程中由于设备分辨率、周围环境等因素的影响,收集到的点云数据通常是非完整的。为了解决物体形状缺失的问题,提出了一种使用局部邻域信息的三维物体形状自动补全的网络架构。该架构包括点云特征提取网络模块和点云生成网络模块,输入为缺失的点云形状,输出为缺失部分的点云形状,将输入与输出点云形状进行合并完成物体的形状补全。采用倒角距离和测地距离进行评估,实验结果表明,在ShapeNet数据集上,平均倒角距离和平均测地距离均小于多层感知机特征提取网络与PCN网络的值,两值分别为0.000 84和0.028。对于现实中扫描的点云数据进行补全处理也达到了预期效果,说明该网络有较强的泛化性,可以修复不同类别的物体。     

多特征融合与残差优化的点云语义分割方法

目的 当前的大场景3维点云语义分割方法一般是将大规模点云切成点云块再进行处理。然而在实际计算过程中,切割边界的几何特征容易被破坏,使得分割结果呈现明显的边界现象。因此,迫切需要以原始点云作为输入的高效深度学习网络模型,用于点云的语义分割。方法 为了解决该问题,提出基于多特征融合与残差优化的点云语义分割方法。网络通过一个多特征提取模块来提取每个点的几何结构特征以及语义特征,通过对特征的加权获取特征集合。在此基础上,引入注意力机制优化特征集合,构建特征聚合模块,聚合点云中最具辨别力的特征。最后在特征聚合模块中添加残差块,优化网络训练。最终网络的输出是每个点在数据集中各个类别的置信度。结果 本文提出的残差网络模型在S3DIS （Stanford Large-scale 3D Indoor Spaces Dataset）与户外场景点云分割数据集Semantic3D等2个数据集上与当前的主流算法进行了分割精度的对比。在S3DIS数据集中,本文算法在全局准确率以及平均准确率上均取得了较高精度,分别为87.2%,81.7%。在Semantic3D数据集上,本文算法在全局准确率和平均交并比上均取得了较高精度,分别为93.5%,74.0%,比GACNet （graph attention convolution network）分别高1.6%,3.2%。结论 实验结果验证了本文提出的残差优化网络在大规模点云语义分割的应用中,可以缓解深层次特征提取过程中梯度消失和网络过拟合现象并保持良好的分割性能。     

融合稀疏点云补全的3D目标检测算法

基于雷达点云的3D目标检测方法有效地解决了RGB图像的2D目标检测易受光照、天气等因素影响的问题.但由于雷达的分辨率以及扫描距离等问题,激光雷达采集到的点云往往是稀疏的,这将会影响3D目标检测精度.针对这个问题,提出一种融合稀疏点云补全的目标检测算法,采用编码、解码机制构建点云补全网络,由输入的部分稀疏点云生成完整的密...     

基于区块特征融合的点云语义分割方法

为降低室外大规模点云场景中多类三维目标语义分割的计算复杂度,提出一种融合区块特征的语义分割方法。采用方形网格分割方法对三维点云进行区块划分、采样以及组合,求取简化的点云组合区块集,将其输入至区块特征提取和融合网络中从而获得每个区块的特征修正向量。设计点云区块全局特征修正网络,以残差的方式融合特征修正向量与原始点云全局特征,修正因分割造成的错误特征。在此基础上,将方形网格分割尺寸作为神经网络的参数引入反向传播过程中进行优化,从而建立高效的点云语义分割网络。实验结果表明,反向传播算法可以优化分割尺寸至最佳值附近,所提网络中的全局特征修正方法能够提高语义分割精度,该方法在Semantic3D数据集上的语义分割精度达到78.7%,较RandLA-Net方法提升1.3%,且在保证分割精度的前提下其点云预处理计算复杂度和网络计算时间明显降低,在处理点数为10万~100万的大规模点云时,点云语义分割速度较SPG、KPConv等方法提升2~4倍。     

基于Spider卷积的三维点云分类与分割网络

针对传统的卷积神经网络（CNN）不能直接处理点云数据，需先将点云数据转换为多视图或者体素化网格，导致过程复杂且点云识别精度低的问题，提出一种新型的点云分类与分割网络Linked-Spider CNN。首先，在Spider CNN基础上通过增加Spider卷积层数以获取点云深层次特征；其次，引入残差网络的思想在每层Spider卷积增加短连接构成残差块；然后，将每层残差块的输出特征进行拼接融合形成点云特征；最后，使用三层全连接层对点云特征进行分类或者利用多层卷积层对点云特征进行分割。在ModelNet40和ShapeNet Parts数据集上将所提网络与PointNet、PointNet++和Spider CNN等网络进行对比实验，实验结果表明，所提网络可以提高点云的分类精度和分割效果，说明该网络具有更快的收敛速度和更强的鲁棒性。     

面向形状特征的多维度多层级点云分析

目的 3维点云是编码几何信息的主要数据结构,与2维视觉数据不同的是,点云中隐藏了3维物体中重要的形状特征。为更好地从无序的点云中挖掘形状特征,本文提出一种能够端到端且鲁棒地处理点云数据的多维度多层级神经网络(multi-dimensional multi-layer neural network,MM-Net)。方法多维度特征修正与融合(multidimensional feature correction and fusion module,MDCF)模块从多个维度自适应地修正局部特征和逐点特征,并将其整合至高维空间以获得丰富的区域形状。另一方面,多层级特征衔接(multi-layer feature articulation module,MLFA)模块利用多个层级间的远程依赖关系,推理得到网络所需的全局形状。此外设计了两种分别应用于点云分类与分割任务的网络结构MM-Net-C(multi-dimensional multi-layer feature classification network)和MM-Net-S(multi-dimensional multi-layer fe...     

融合逆密度函数与关系形状卷积神经网络的点云分析

目的 3D点云与以规则的密集网格表示的图像不同,不仅不规则且无序,而且由于输入输出大小和顺序差异,具有密度不均匀以及形状和缩放比例存在差异的特性。为此,提出一种对3D点云进行卷积的方法,将关系形状卷积神经网络（relation-shape convolution neural network,RSCNN）与逆密度函数相结合,并在卷积网络中增添反卷积层,实现了点云更精确的分类分割效果。方法 在关系形状卷积神经网络中,将卷积核视为由权重函数和逆密度函数组成的3D点局部坐标的非线性函数。对给定的点,权重函数通过多层感知器网络学习,逆密度函数通过核密度估计（kernel density estimation,KDE）学习,逆密度函数的引入对点云采样率不均匀的情况进行弥补。在点云分割任务中,引入由插值和关系形状卷积层两部分组成的反卷积层,将特征从子采样点云传播回原始分辨率。结果 在ModelNet40、ShapeNet、ScanNet数据集上进行分类、部分分割和语义场景分割实验,验证模型的分类分割性能。在分类实验中,与PointNet++相比,整体精度提升3.1%,在PointNet++将法线也作为输入的情况下,精度依然提升了1.9%;在部分分割实验中,类平均交并比（mean intersection over union,mIoU）比PointNet++在法线作为输入情况下高6.0%,实例mIoU比PointNet++高1.4%;在语义场景分割实验中,mIoU比PointNet++高13.7%。在ScanNet数据集上进行不同步长有无逆密度函数的对比实验,实验证明逆密度函数将分割精度提升0.8%左右,有效提升了模型性能。结论 融合逆密度函数的关系形状卷积神经网络可以有效获取点云数据中的局部和全局特征,并对点云采样不均匀的情况实现一定程度的补偿,实现更优的分类和分割效果。