基于多尺度特征融合和对比池化的点云补全网络

点云补全在点云处理任务中具有重要作用,它可以提高数据质量、辅助生成精确三维模型,为多种应用提供可靠数据支撑。然而,现有基于深度网络的点云补全算法采用的单层次全局特征提取方法较为简单,没有充分挖掘潜在语义信息,并在编码过程中丢失部分细节信息。为解决这些问题,提出了一种多尺度特征逐级融合的点云补全网络,并结合注意力机制提出了一种全新的池化方法。实验结果表明,在PCN、ShapeNet34和ShapeNet55三个数据集上取得了SOTA水平,证明该网络具有更好的特征表示能力和补全效果。     

嵌入Transformer结构的多尺度点云补全

目的当前点云补全的深度学习算法多采用自编码器结构,然而编码器端常用的多层感知器(multilayer perceptron,MLP)网络往往只聚焦于点云整体形状,很难对物体的细节特征进行有效提取,使点云残缺结构的补全效果不佳。因此需要一种准确的点云局部特征提取算法,用于点云补全任务。方法为解决该问题,本文提出了嵌入注意力模块的多尺度点云补全算法。网络整体采用编码器—解码器结构,通过编码器端的特征嵌入层和Transformer层提取并融合3种不同分辨率的残缺点云特征信息,将其输入到全连接网络的解码器中,输出逐级补全的缺失点云。最后在解码器端添加注意力鉴别器,借鉴生成对抗网络(generative adversarial networks,GAN)的思想,优化网络补全性能。结果采用倒角距离(Chamfer distance,CD)作为评价标准,本文算法在2个数据集上与相关的4种方法进行了实验比较,在Shape Net数据集上,相比于性能第2的PF-Net(point fractal network)模型,本文算法的类别平均CD值降低了3.73%;在ModelNet10数据集上,相比于PF-...     

基于残差边卷积的3D点云分类算法

3D点云的不规则性与无序性使点云的分类仍具有挑战性.针对上述问题,文中设计基于残差边卷积的3D点云分类算法,可直接从点云学习到具有区分度的形状描述子,用于目标分类.首先,设计具有残差学习的边卷积模块,用于点云的特征提取.通过K近邻算法,该边卷积模块在输入点云上构建局部图,使用卷积及最大池化进行局部特征的提取与聚合.然后,通过多层感知器从原始点特征中提取全局特征,并以残差学习的方式与局部特征结合.最后,以该卷积块为基本单元,构建深度神经卷积网络,实现3D点云的分类.文中方法较全面地考虑点云局部特征与全局特征的有机结合,网络具有更深层次的结构,最终得到的形状描述子更抽象,具有更高的区分度.在具有挑战性的ModelNet40、ScanObjectNN数据集上的实验证实文中方法的分类性能较优.     

融合缺失点云形状信息的保结构修复网络EI北大核心CSCD

传统点云模型修复中由于未考虑输入的缺失点云形状固有特征,难以有效地保持原始形状结构特征信息.为此,提出一种融合缺失点云形状信息的保结构修复网络.该网络采用编码器-解码器结构,借助多层感知器和最大池化层以获得输入点云形状的特征码字.其中,编码器以缺失的点云数据作为输入;解码器则对编码得到的点云特征码字使用4个2D网格进行折叠操作以拟合点云形状得到粗修复结果,再将输入点云数据与粗修复结果进行拼接融合,并对融合后的点云数据经过迭代最远点采样得到最终的点云形状修复结果.实验结果表明,与已有网络修复结果相比,该网络在ModelNet40数据集上的平均误差低11%~53%,在ShapeNet数据集上的平均误差低15%~28%,而对具有精细结构的物体修复结果的平均误差低59%~70%.该网络在修复点云形状缺失部分的同时,能够有效地保持输入形状的结构特征信息,对不同程度的数据缺失具有鲁棒性;与已有网络相比,该网络点云修复结果的误差较小、点云分布较均匀.     

基于Spider卷积的三维点云分类与分割网络

针对传统的卷积神经网络（CNN）不能直接处理点云数据，需先将点云数据转换为多视图或者体素化网格，导致过程复杂且点云识别精度低的问题，提出一种新型的点云分类与分割网络Linked-Spider CNN。首先，在Spider CNN基础上通过增加Spider卷积层数以获取点云深层次特征；其次，引入残差网络的思想在每层Spider卷积增加短连接构成残差块；然后，将每层残差块的输出特征进行拼接融合形成点云特征；最后，使用三层全连接层对点云特征进行分类或者利用多层卷积层对点云特征进行分割。在ModelNet40和ShapeNet Parts数据集上将所提网络与PointNet、PointNet++和Spider CNN等网络进行对比实验，实验结果表明，所提网络可以提高点云的分类精度和分割效果，说明该网络具有更快的收敛速度和更强的鲁棒性。     

基于区块特征融合的点云语义分割方法

为降低室外大规模点云场景中多类三维目标语义分割的计算复杂度,提出一种融合区块特征的语义分割方法。采用方形网格分割方法对三维点云进行区块划分、采样以及组合,求取简化的点云组合区块集,将其输入至区块特征提取和融合网络中从而获得每个区块的特征修正向量。设计点云区块全局特征修正网络,以残差的方式融合特征修正向量与原始点云全局特征,修正因分割造成的错误特征。在此基础上,将方形网格分割尺寸作为神经网络的参数引入反向传播过程中进行优化,从而建立高效的点云语义分割网络。实验结果表明,反向传播算法可以优化分割尺寸至最佳值附近,所提网络中的全局特征修正方法能够提高语义分割精度,该方法在Semantic3D数据集上的语义分割精度达到78.7%,较RandLA-Net方法提升1.3%,且在保证分割精度的前提下其点云预处理计算复杂度和网络计算时间明显降低,在处理点数为10万~100万的大规模点云时,点云语义分割速度较SPG、KPConv等方法提升2~4倍。     

基于类别-实例分割的室内点云场景修复补全

三维室内场景修复补全是计算机图形学、数字几何处理、3D计算机视觉中的重要问题.针对室内场景修复补全中难以处理大规模点云数据的问题,本文提出了一种基于类别-实例分割的室内点云场景修复补全框架.该框架包括点云场景分割模块和点云形状补全模块,前者由基于PointNet的类别分割网络和基于聚类的实例分割模块完成,后者由基于编码器-解码器结构的点云补全网络实现.本文框架以缺失的室内场景点云数据为输入,首先根据"类别-实例"分割策略,采用PointNet对室内场景进行类别分割,并利用基于欧式距离的聚类方法进行实例分割得到室内各家具点云,然后借助点云补全网络将分割出的缺失家具点云逐一进行形状补全并融合进原始场景,最终实现室内点云场景的修复.其中,为了实现缺失家具点云形状的补全,本文提出了一种基于编码器-解码器结构的点云补全网络,首先通过输入变换和特征变换对齐缺失的家具点云数据采样点位置与特征信息;然后借助权共享多层感知器和PointSIFT特征提取模块对各采样点提取形状特征和近邻点特征信息,并利用最大池化层与多层感知器编码提取出采样点的特征码字;最后将采样点特征码字加上网格坐标数据作为解码器的输入,解码器使用两个连续的三层感知器折叠操作将网格数据转变成完整的点云补全数据.实验结果表明,本文提出的点云补全网络能够较好地补全室内场景中缺失的家具结构形状,同时基于该网络的场景修复补全框架能够有效修复大型室内点云场景.     

基于编码特征学习的3D点云语义分割网络

目前点云语义分割已广泛应用到自动驾驶、虚拟现实等多个领域，但现阶段点云分割算法无法提取较完整的空间结构信息，难以解释每个点编码信息的问题.针对此缺陷，文中提出基于编码特征学习的3D点云语义分割网络.首先，在引入角度信息和增强特征的基础上构造局部特征编码器(Local Feature Encoder, LFE),学习较完整的局部空间结构，缓解相似物体错分割问题.然后，设计混合池化聚合模块(Mixed Pooling Polymerization, MPP),聚合粗犷特征和精细特征，同时保证点云的排序不变性.最后，采用多尺度特征融合，充分利用编码层不同尺度特征，实现准确的语义分割.在两个大型基准数据集S3DIS和SemanticKITTI上的实验表明文中网络的优越性.     

基于PointConv改进的点云分类网络

近年来,点云数据在自动驾驶和机器人等领域广泛应用。随着相关数据集的完善,以原始点云作为输入的深度学习方法接连涌现。针对点云的排列不变性和平移不变性特点,PointConv[1]使用逆密度加权的非线性卷积核提取局部特征。基于此,论文充分聚合上下文语义信息,用多层次、多尺度的密集特征对PointConv进行改进,实现了对多级局部邻域特征的综合利用,从而增强了网络的泛化能力。在数据集ModelNet40上的对比测试表明,改进后网络的整体准确率和类平均准确率均显著提高,进一步证明了该网络的有效性。     

基于全融合网络的三维点云语义分割

为提高室内场景的点云语义分割精度,设计了一个全融合点云语义分割网络。网络由特征编码模块、渐进式特征解码模块、多尺度特征解码模块、特征融合模块和语义分割头部组成。特征编码模块采用逆密度加权卷积作为特征编码器对点云数据进行逐级特征编码,提取点云数据的多尺度特征;然后通过渐进式特征解码器对高层语义特征进行逐层解码,得到点云的渐进式解码特征。同时,多尺度特征解码器对提取的点云多尺度特征分别进行特征解码,得到点云多尺度解码特征。最后将渐进式解码特征与多尺度解码特征融合,输入语义分割头部实现点云的语义分割。全融合网络增强了网络特征提取能力的鲁棒性,实验结果也验证了该网络的有效性。     

三维场景分割中多模态数据融合的2D-3D耦合网络

提出基于二维空间RGB颜色和三维点云数据融合的语义理解网络。先使用轻量级网络提取二维图像的特征，再基于二维图像特征、几何结构和全局环境信息提取三维场景语义分割框架。该算法采用异构网络，有效地将图像和点云信息结合起来，解决了单点云数据处理结果不够精细的问题。     

多特征融合与残差优化的点云语义分割方法

目的 当前的大场景3维点云语义分割方法一般是将大规模点云切成点云块再进行处理。然而在实际计算过程中,切割边界的几何特征容易被破坏,使得分割结果呈现明显的边界现象。因此,迫切需要以原始点云作为输入的高效深度学习网络模型,用于点云的语义分割。方法 为了解决该问题,提出基于多特征融合与残差优化的点云语义分割方法。网络通过一个多特征提取模块来提取每个点的几何结构特征以及语义特征,通过对特征的加权获取特征集合。在此基础上,引入注意力机制优化特征集合,构建特征聚合模块,聚合点云中最具辨别力的特征。最后在特征聚合模块中添加残差块,优化网络训练。最终网络的输出是每个点在数据集中各个类别的置信度。结果 本文提出的残差网络模型在S3DIS （Stanford Large-scale 3D Indoor Spaces Dataset）与户外场景点云分割数据集Semantic3D等2个数据集上与当前的主流算法进行了分割精度的对比。在S3DIS数据集中,本文算法在全局准确率以及平均准确率上均取得了较高精度,分别为87.2%,81.7%。在Semantic3D数据集上,本文算法在全局准确率和平均交并比上均取得了较高精度,分别为93.5%,74.0%,比GACNet （graph attention convolution network）分别高1.6%,3.2%。结论 实验结果验证了本文提出的残差优化网络在大规模点云语义分割的应用中,可以缓解深层次特征提取过程中梯度消失和网络过拟合现象并保持良好的分割性能。     

基于时空注意的毫米波雷达人体活动识别网络

为了解决传统方式利用摄像头进行人体活动识别抗干扰性差以及侵犯用户隐私的问题,提出一种基于时空注意的毫米波雷达3D点云数据的人体活动识别网络,以实现智能应用上下文的准确感知。该网络首先使用二级滑动时间窗口分别累积和分离人体活动产生的点云数据作为分类器的输入,利用PointLSTM单元根据点云坐标关系聚合点特征和状态以提取人体活动的时间序列特征;然后拼接时空特征,通过采样分组模块降低整体网络计算量以及提升网络对局部特征的聚合能力;最后使用堆叠的注意力模块深度融合动态点云数据时空上的全局和局部特征以完成对人体活动任务的准确分类。利用毫米波雷达采集了多种人体活动点云数据集,实验结果表明,提出的时空注意网络平均准确度可达98.64%,能够有效识别复杂且差异小的人体活动类型,完成人体活动识别系统的要求。     

基于视图融合和注意力机制的三维小目标识别

三维小目标识别是点云处理中的一个重要问题。针对小目标探测中点云稀疏导致网络提取特征少的问题，提出一种基于视图融合和注意力机制的点云识别网络。传统网络直接作用于单视角点云，其特征只包含目标的一部分，因此提出采用视图融合聚合不同视角下的局部点，以此增强全局特征。接着，针对聚合后的全局点特征提取困难的问题，提出采用注意力机制突出关键局部特征。实验结果表明，提出的方法在公开数据集ModelNet和真实环境中采集的Aircraft数据集上的效果都优于其它流行算法。     

基于MANet的三维点云特征提取方法研究

在三维点云数据特征提取过程中,点云数据本身的稀疏性和不规则性会影响输入数据的全局特征表示,且现有方法未考虑不同特征通道的重要性差异,不利于点云特征的全局优化。提出一种基于多分组表征和注意力机制的MANet网络进行三维点云特征描述。为获得完整的点云特征信息,将点云数据输入多分组表征模块获得初始点云特征。为学习点云不同通道的重要性,引入新的通道注意力机制强调对特征表示重要的通道,抑制不重要的通道,进一步优化特征表示。将优化后的特征输入点云分类网络,实验结果表明,多分组表征可以感知局部信息,注意力机制能够优化全局特征表示,所提方法能够对点云数据进行有效学习,有助于提高点云分类的鲁棒性和准确率。在ModelNet10/40分类数据集上总体准确率（overall accuracy）分别达到95.1%和92.5%,在ScanNet和SHREC15数据集上总体准确率分别为78.6%和97.2%,上述结果均优于PointNet++网络。     

MSP-Net:多尺度点云分类网络

针对传统点云分类网络难以充分发挥卷积神经网络优势的问题,提出一种多尺度点云分类网络MSP-Net.首先,基于局部区域划分的完备性、自适应性、重叠性及多尺度特性要求,提出了多尺度局部区域划分算法,并以点云及不同层次的特征为输入,得到多尺度局部区域;然后构建了包含单尺度特征提取、低层次特征聚合及多尺度特征融合等模块的多尺度点云分类网络.该网络充分地模拟了卷积神经网络的作用原理,具备随着网络尺度和深度的增加,局部感受野越来越大,特征抽象程度越来越高的基本特征.最后将该算法应用在标准公开数据集ModelNet10和ModelNet40上,分别取得了94.71%和91.73%的分类准确率,表明该算法在同类工作中处于领先或相当的水平,验证了算法思想的可行性及有效性.     

基于二阶相似性测度的点云配准网络

为了提高点云配准在异常点移除以及位姿变换矩阵求取时的精度，设计了一种点云配准方法，在PointDSC网络的基础上，将二阶相似性测度引入到特征聚合模块，嵌入到匹配点对的特征之中，提高了特征提取时内点与异常点的初始特征差异；引入二阶兼容性矩阵到谱匹配模块中，改进了相容性矩阵的求取，通过嵌入的特征去估计特征点对是内点还是异常点的置信度，提高了异常点与内点的区分精度，更好地移除异常点；利用局部-全局的配准方法根据内点求解点云的位姿变换矩阵，提高了位姿变换矩阵的求取速度及精度。在3DMatch数据集上进行了配准实验，验证了提出的方法在多种不同的数据集场景下都能够很好地实现点云配准任务，提高了配准的速度与精度。     

基于递归切片网络的三维点云语义分割与实例分割

目的 针对三维点云语义与实例分割特征点提取精度不高、实例分割精度极度依赖语义分割的性能、在密集场景或小单元分割目标中出现语义类别错分以及实例边缘模糊等问题,提出了基于递归切片网络的三维点云语义分割与实例分割网络。方法 网络对输入点云进行切片,并将无序点云映射到有序序列上;利用双向长短期记忆网络（bidirectional long short-term memory,BiLSTM）得到带有局部特征和全局特征的编码特征矩阵;将编码特征矩阵解码为两个并行分支,进行多尺度的特征融合;对语义与实例特征进行融合,得到并行的语义与实例分割网络。结果 在斯坦福大尺度3D室内场景数据集（Stanford large-scale 3D indoor spaces dataset,S3DIS）以及ShapeNet数据集上,与目前最新点云分割方法进行实验对比。实验结果表明,在S3DIS数据集上,本文算法的语义分割的平均交并比指标为73%,较动态核卷积方法（position adaptive convolution,PAConv）提高7.4%,并且在13个类别中的8个类别取得最好成绩;实例分割中平均实例覆盖率指标为67.7%。在ShapeNet数据集上,语义分割的平均交并比为89.2%,较PAConv算法提高4.6%,较快速、鲁棒的点云语义与实例分割方法（fast and robust joint semantic-instance segmentation,3DCFS）提高1.6%。结论 本文提出的语义与实例分割融合网络,综合了语义分割与实例分割的优点,有效提高语义分割与实例分割精度。     

结合密集残差结构和多尺度剪枝的点云压缩网络

目的 点云是一种重要的三维数据表示形式,已在无人驾驶、虚拟现实、三维测量等领域得到了应用。由于点云具有分辨率高的特性,数据传输需要消耗大量的网络带宽和存储资源,严重阻碍了进一步推广。为此,在深度学习的点云自编码器压缩框架基础上,提出一种结合密集残差结构和多尺度剪枝的点云压缩网络,实现了对点云几何信息和颜色信息的高效压缩。方法 针对点云的稀疏化特点以及传统体素网格表示点云时分辨率不足的问题,采用稀疏张量作为点云的表示方法,并使用稀疏卷积和子流形卷积取代常规卷积提取点云特征;为了捕获压缩过程中高维信息的依赖性,将密集残差结构和通道注意力机制引入到点云特征提取模块;为了补偿采样过程的特征损失以及减少模型训练的动态内存占用,自编码器采用多尺度渐进式结构,并在其解码器不同尺度的上采样层之后加入剪枝层。为了扩展本文网络的适用范围,设计了基于几何信息的点云颜色压缩方法,以保留点云全局颜色特征。结果 针对几何信息压缩,本文网络在MVUB（Microsoft voxelized upper bodies）、8iVFB（8i voxelized full bodies）和Owlii（Owlii dynamic human mesh sequence dataset）3个数据集上与其他5种方法进行比较。相对MPEG（moving picture experts group）提出的点云压缩标准V-PCC（video-based point cloud compression）,BD-Rate（bjontegaard delta rate）分别增加了41%、54%和33%。本文网络的编码运行时间与G-PCC（geometry-based point cloud compression）相当,仅为V-PCC的2.8%。针对颜色信息压缩,本文网络在低比特率下的YUV-PSNR（YUV peak signal to noise ratio）性能优于G-PCC中基于八叉树的颜色压缩方法。结论 本文网络在几何压缩和颜色压缩上优于主流的点云压缩方法,能在速率较小的情况下保留更多原始点云信息。     

扩展点态卷积网络的点云分类分割模型

目的 点态卷积网络用于点云分类分割任务时,由于点态卷积算子可直接处理点云数据,逐点提取局部特征向量,解决了结构化点云带来的维度剧增和信息丢失等问题。但是为了保持点云数据结构的一致性,点态卷积算子及卷积网络模型本身并不具有描述点云全局特征的结构,因此,对点态卷积网络模型进行扩展,扩展后的模型具有的全局特征是保证分类分割准确性的重要依据。方法 构造中心点放射模型来描述点云逐点相对于全局的几何约束关系,将其引入到点态卷积网络的特征拼接环节扩展特征向量,从而为点态卷积网络构建完善的局部—全局特征描述,用于点云数据的分类分割任务。首先,将点云视为由中心点以一定方向和距离放射到物体表面的点的集合,由中心点指向点云各点的放射矢量,其矢量大小确定了各点所存在的曲面和对于中心点的紧密程度,矢量方向描述了各点对于中心点的包围方向及存在的射线。进而由点云中的坐标信息得到点云的中心点,逐点计算放射矢量构造中心点放射模型,用以描述点云的全局特征。然后,利用点云数据的坐标信息来检索点的属性,确定卷积中参与特定点卷积运算的邻域,点态卷积算子遍历点云各点,输出逐点局部特征,进一步经多层点态卷积操作得到不同深度上的局部特征描述。最后,将中心点放射模型的全局特征和点态卷积的局部特征拼接,完成特征扩展,得到点态卷积网络的扩展模型。拼接后的局部—全局特征输入全连接层用于类标签预测,输入点态卷积层用于逐点标签预测。结果 在ModelNet40和S3DIS（Stanford large-scale 3D indoor spaces dataset）数据集上分别进行实验,验证模型的分类分割性能。在ModelNet40的分类实验中,与点态卷积网络相比,扩展后的网络模型在整体分类精度和类属分类精度上分别提高1.8%和3.5%,在S3DIS数据集的分割实验中,扩展后的点态卷积网络模型整体分割精度和,类属分割精度分别提高0.7%和2.2%。结论 引入的中心点放射模型可以有效获取点云数据的全局特征,扩展后的点态卷积网络模型实现了更优的分类和分割效果。