基于局部关系卷积的点云分类与分割模型

深度学习已成为点云分析的主要方法,但是现有方法在点云特征抽象时无法充分参考局部形状信息,因此对局部形状变化感知的鲁棒性较差,难以针对形状特征生成合适的卷积核。为此,提出了局部关系卷积（local relation convolution,LRConv）,一种通过全面局部关系感知形状特征的卷积算子。参考点云局部中所有邻域点之间的低维空间关系,定义了一种不依赖于点的顺序与刚性变换的局部关系描述;使用多层感知机从关系描述中学习得到局部区域中每个点对应的卷积权重;通过卷积权重来变换点的特征,并聚合局部区域的抽象特征。在基准测试实验中,LRConv分类网络在ModelNet上的分类准确率较PointNet++提高了2.1个百分点,LRConv零件分割网络在ShapeNet上的分割类别平均重合度较PointNet++提高了1.5个百分点。实验结果充分验证了LRConv在特征抽象中的有效性。     

对稀疏点云规则化处理的分类卷积神经网络

深度学习作为点云分类的重要方法之一，通常会因为点云的稀疏性、无序性、有限性等特点，导致卷积算子不能充分提取局部空间相关性，直接使用卷积提取点的相关特征将导致特征信息的丢失。为此提出一种经过X变换后的点云分类卷积神经网络：XTNet(convolutional neural network based on X-transform)。XTNet对输入的原始点云数据进行X变换，将它们置换成潜在的规范顺序，抑制点云无序性、稀疏性对卷积操作的影响，避免卷积操作过程中的信息丢失；使用K近邻算法构建局部区域后，使用卷积层提取局部信息；在提取局部特征的同时通过通道扩充增加信息传递、丰富特征；在各局部特征提取模块间设置跳跃连接，进一步减少局部信息的丢失。在标准公开数据集ModelNet40和真实数据集ScanObjectNN中进行了实验。实验结果表明，与目前主流的多个高性能网络相比，XTNet分类准确率提高了0.3～4个百分点，并且拥有良好的鲁棒性和普适性。     

基于Spider卷积的三维点云分类与分割网络

针对传统的卷积神经网络（CNN）不能直接处理点云数据，需先将点云数据转换为多视图或者体素化网格，导致过程复杂且点云识别精度低的问题，提出一种新型的点云分类与分割网络Linked-Spider CNN。首先，在Spider CNN基础上通过增加Spider卷积层数以获取点云深层次特征；其次，引入残差网络的思想在每层Spider卷积增加短连接构成残差块；然后，将每层残差块的输出特征进行拼接融合形成点云特征；最后，使用三层全连接层对点云特征进行分类或者利用多层卷积层对点云特征进行分割。在ModelNet40和ShapeNet Parts数据集上将所提网络与PointNet、PointNet++和Spider CNN等网络进行对比实验，实验结果表明，所提网络可以提高点云的分类精度和分割效果，说明该网络具有更快的收敛速度和更强的鲁棒性。     

结合动态图卷积和空间注意力的点云分类与分割

目的 随着3维采集技术的飞速发展,点云在计算机视觉、自动驾驶和机器人等领域有着广泛的应用前景。深度学习作为人工智能领域的主流技术,在解决各种3维视觉问题上已表现出巨大潜力。现有基于深度学习的3维点云分类分割方法通常在聚合局部邻域特征的过程中选择邻域特征中的最大值特征,忽略了其他邻域特征中的有用信息。方法 本文提出一种结合动态图卷积和空间注意力的点云分类分割方法（dynamic graph convolution spatial attention neural networks,DGCSA）。通过将动态图卷积模块与空间注意力模块相结合,实现更精确的点云分类分割效果。使用动态图卷积对点云数据进行K近邻构图并提取其边特征。在此基础上,针对局部邻域聚合过程中容易产生信息丢失的问题,设计了一种基于点的空间注意力（spatial attention,SA）模块,通过使用注意力机制自动学习出比最大值特征更具有代表性的局部特征,从而提高模型的分类分割精度。结果 本文分别在ModelNet40、ShapeNetPart和S3DIS（Stanford Large-scale 3D Indoor Spaces Dataset）数据集上进行分类、实例分割和语义场景分割实验,验证模型的分类分割性能。实验结果表明,该方法在分类任务上整体分类精度达到93.4%;实例分割的平均交并比达到85.3%;在室内场景分割的6折交叉检验平均交并比达到59.1%,相比基准网络动态图卷积网络分别提高0.8%、0.2%和3.0%,有效改善了模型性能。结论 使用动态图卷积模块提取点云特征,在聚合局部邻域特征中引入空间注意力机制,相较于使用最大值特征池化,可以更好地聚合邻域特征,有效提高了模型在点云上的分类、实例分割与室内场景语义分割的精度。     

融合图卷积和差异性池化函数的点云数据分类分割模型

目的 深度网络用于3维点云数据的分类分割任务时,精度与模型在全局和局部特征上的描述能力密切相关。现有的特征提取网络,往往将全局特征和不同尺度下的局部特征相结合,忽略了点与点之间的结构信息和位置关系。为此,通过在分类分割模型中引入图卷积神经网络（graph convolution neural network,GCN）和改进池化层函数,增强局部特征表征能力和获取更丰富的全局特征,改善模型对点云数据的分类分割性能。方法 GCN模块通过K近邻算法构造图结构,利用相邻点对的边缘卷积获取局部特征,在深度网络模型中动态扩展GCN使模型获得完备的局部特征。在池化层,通过选择差异性的池化函数,联合提取多个全局特征并进行综合,保证模型在数据抖动时的鲁棒性。结果 在ModelNet40、ShapeNet和S3DIS（stanford large-scale 3D indoor semantics）数据集上进行分类、部分分割以及语义场景分割实验,验证模型的分类分割性能。与PointNet相比,在ModelNet40分类实验中,整体精度和平均分类精度分别提升4%和3.7%;在ShapeNet部分分割数据集和S3DIS室内场景数据集中,平均交并比（mean intersection-over-union, mIoU）分别高1.4%和9.8%。采用不同的池化函数测试结果表明,本文提出的差异性池化函数与PointNet提出的池化函数相比,平均分类精度提升了0.9%,有效改善了模型性能。结论 本文改进的网络模型可以有效获取点云数据中的全局和局部特征,实现更优的分类和分割效果。     

基于三维点云的卷积运算综述

随着深度相机、激光雷达等3D扫描设备的普及，用点云表示3D数据的方法越来越流行，对点云数据的分析与处理也引起了视觉研究领域的极大兴趣.一般来说，由于分布在3D几何空间中的点云是无序的，可以形成特定的结构，因此学习到的特征表示应该具备排列不变性、旋转和平移不变性、形状区分性.近年来，越来越多的研究人员基于点云的这些特性采用深度学习这一人工智能领域中的主流技术来处理分析点云数据.其中，卷积神经网络使用的卷积运算具备权重共享、局部聚合和变换不变等优点，减少了训练参数的个数，并具有较强的鲁棒性，可以有效地降低网络复杂度并提升网络性能，因此在各种2D视觉问题（如图像、视频）上的研究及应用已经相对成熟，这也引起了研究人员的高度关注并尝试将其引入到点云处理任务中.但传统的标准卷积运算往往无法直接作用于点云这种不规则数据上，一些研究人员进而对卷积运算及其卷积算子展开了深入的探索，并提出了多种卷积策略和网络以提高计算效率和算法性能.为了促进之后的研究，首先对现有点云研究中所使用的卷积方法进行了概述，包括基于投影的方法、基于体素的方法、基于晶格的方法、基于图的方法和基于点的方法.之后着重针对直接处理3D点...     

面向形状特征的多维度多层级点云分析

目的 3维点云是编码几何信息的主要数据结构,与2维视觉数据不同的是,点云中隐藏了3维物体中重要的形状特征。为更好地从无序的点云中挖掘形状特征,本文提出一种能够端到端且鲁棒地处理点云数据的多维度多层级神经网络(multi-dimensional multi-layer neural network,MM-Net)。方法多维度特征修正与融合(multidimensional feature correction and fusion module,MDCF)模块从多个维度自适应地修正局部特征和逐点特征,并将其整合至高维空间以获得丰富的区域形状。另一方面,多层级特征衔接(multi-layer feature articulation module,MLFA)模块利用多个层级间的远程依赖关系,推理得到网络所需的全局形状。此外设计了两种分别应用于点云分类与分割任务的网络结构MM-Net-C(multi-dimensional multi-layer feature classification network)和MM-Net-S(multi-dimensional multi-layer fe...     

基于残差边卷积的3D点云分类算法

3D点云的不规则性与无序性使点云的分类仍具有挑战性.针对上述问题,文中设计基于残差边卷积的3D点云分类算法,可直接从点云学习到具有区分度的形状描述子,用于目标分类.首先,设计具有残差学习的边卷积模块,用于点云的特征提取.通过K近邻算法,该边卷积模块在输入点云上构建局部图,使用卷积及最大池化进行局部特征的提取与聚合.然后,通过多层感知器从原始点特征中提取全局特征,并以残差学习的方式与局部特征结合.最后,以该卷积块为基本单元,构建深度神经卷积网络,实现3D点云的分类.文中方法较全面地考虑点云局部特征与全局特征的有机结合,网络具有更深层次的结构,最终得到的形状描述子更抽象,具有更高的区分度.在具有挑战性的ModelNet40、ScanObjectNN数据集上的实验证实文中方法的分类性能较优.     

RFNet: 用于三维点云分类的卷积神经网络

由于点云的非结构性和无序性, 目前已有的点云分类网络在精度上仍然需要进一步提高. 通过考虑局部结构的构建、全局特征聚合和损失函数改进三个方面, 构造一个有效的点云分类网络. 首先, 针对点云的非结构性, 通过学习中心点特征与近邻点特征之间的关系, 为不规则的近邻点分配不同的权重, 以此构建局部结构; 然后, 使用注意力思想, 提出加权平均池化(Weighted average pooling, WAP), 通过自注意力方式, 学习每个高维特征的注意力分数, 在应对点云无序性的同时, 可以有效地聚合冗余的高维特征; 最后, 利用交叉熵损失与中心损失之间的互补关系, 提出联合损失函数(Joint loss function, JL), 在增大类间距离的同时, 减小类内距离, 进一步提高了网络的分类能力. 在合成数据集ModelNet40、ShapeNetCore和真实世界数据集ScanObjectNN上进行实验, 与目前性能最好的多个网络相比较, 验证了该整体网络结构的优越性.     

基于卷积神经网络和贝叶斯分类器的句子分类模型

针对传统句子分类模型存在特征提取过程复杂且分类准确率较低等不足,利用当下流行的基于深度学习模型的卷积神经网络在特征提取上的优势,结合传统句子分类方法提出一种基于卷积神经网络和贝叶斯分类器的句子分类模型。该模型首先利用卷积神经网络提取文本特征,其次利用主成分分析法对文本特征进行降维,最后利用贝叶斯分类器进行句子分类。实验结果表明在康奈尔大学公开的影评数据集和斯坦福大学情感分类数据集上,所提出的方法优于只使用深度学习的模型或传统句子分类模型。     

扩展点态卷积网络的点云分类分割模型

目的 点态卷积网络用于点云分类分割任务时,由于点态卷积算子可直接处理点云数据,逐点提取局部特征向量,解决了结构化点云带来的维度剧增和信息丢失等问题。但是为了保持点云数据结构的一致性,点态卷积算子及卷积网络模型本身并不具有描述点云全局特征的结构,因此,对点态卷积网络模型进行扩展,扩展后的模型具有的全局特征是保证分类分割准确性的重要依据。方法 构造中心点放射模型来描述点云逐点相对于全局的几何约束关系,将其引入到点态卷积网络的特征拼接环节扩展特征向量,从而为点态卷积网络构建完善的局部—全局特征描述,用于点云数据的分类分割任务。首先,将点云视为由中心点以一定方向和距离放射到物体表面的点的集合,由中心点指向点云各点的放射矢量,其矢量大小确定了各点所存在的曲面和对于中心点的紧密程度,矢量方向描述了各点对于中心点的包围方向及存在的射线。进而由点云中的坐标信息得到点云的中心点,逐点计算放射矢量构造中心点放射模型,用以描述点云的全局特征。然后,利用点云数据的坐标信息来检索点的属性,确定卷积中参与特定点卷积运算的邻域,点态卷积算子遍历点云各点,输出逐点局部特征,进一步经多层点态卷积操作得到不同深度上的局部特征描述。最后,将中心点放射模型的全局特征和点态卷积的局部特征拼接,完成特征扩展,得到点态卷积网络的扩展模型。拼接后的局部—全局特征输入全连接层用于类标签预测,输入点态卷积层用于逐点标签预测。结果 在ModelNet40和S3DIS（Stanford large-scale 3D indoor spaces dataset）数据集上分别进行实验,验证模型的分类分割性能。在ModelNet40的分类实验中,与点态卷积网络相比,扩展后的网络模型在整体分类精度和类属分类精度上分别提高1.8%和3.5%,在S3DIS数据集的分割实验中,扩展后的点态卷积网络模型整体分割精度和,类属分割精度分别提高0.7%和2.2%。结论 引入的中心点放射模型可以有效获取点云数据的全局特征,扩展后的点态卷积网络模型实现了更优的分类和分割效果。     

面向目标6DoF姿态与尺寸估计的全卷积神经网络模型

针对6DoF姿态估计需要收集与标注大量数据训练神经网络提出一种小数据集下面向目标6DoF姿态与尺寸估计的全卷积神经网络模型以降低人工操作成本。首先采用注意力机制与特征金字塔相结合的方式通过区域建议网络提取感兴趣区域,将该区域输入并行融合全卷积网络获得掩膜图;其次通过增加跳跃连接丰富每个卷积后的特征信息,将其融合并通过分类获得预测标准化坐标空间图;最后将得到的掩膜图与标准化坐标空间图通过三维点云配准获得目标的6DoF姿态与尺寸。实验表明,该方法在小数据集下较PVN3D方法精度提升约2.6%,较GPVPose方法精度提升约1%。     

结合密度阈值和三角形组逼近的点云压缩方法

针对非均匀采集点云数据压缩中压缩精度和压缩时间较难权衡的问题,提出一种结合密度阈值和三角形组逼近的压缩方法,并且用八叉树划分得到的非空体素来设置密度阈值以构造三角形组,实现点云表面模拟。首先,根据体素内点的分布确定三角形组的顶点;接着,排序顶点以生成每个三角形;最后,引入密度阈值来构造平行于坐标轴的射线,根据射线与三角形的交点来生成不同密度区域上的细分点。采用dragon、horse、skull、radome、dog和PCB点云数据,对改进区域重心法、曲率压缩法、改进曲率分级法、K近邻长方体法和所提方法进行对比实验。实验结果表明,在相同体素尺寸下,所提方法的特征表达效果优于改进区域重心法;在压缩率接近的情况下,所提方法在时间效率上优于曲率压缩法、改进曲率分级法、K近邻长方体法;在压缩精度上,所提方法所建模型最大偏差、标准偏差和表面积变化率皆低于改进区域重心法、曲率压缩法、改进曲率分级法和K近邻长方体法所建模型。实验结果表明,所提方法在较好地保留特征信息的同时,可在较短的耗时下对点云实现有效压缩。     

卷积神经网络在心拍类识别中的应用

心电图（ECG）心拍分类对心脏疾病的临床诊断具有重要意义,但是ECG四类心拍间数据不平衡问题严重制约着心拍分类性能的提升。针对这一问题,以卷积神经网络（CNN）为基础,首先在组合四类心拍等量数据基础上构建用于表达噪声及四类心拍间共性信息的通用CNN模型,接着以通用CNN模型为基础分别在四类心拍数据上构建四个更为有效表达对应心拍类别倾向性信息的类别CNN模型,最后综合四个类别CNN模型的输出判别心拍类型。在MIT-BIH心电图数据库上的实验结果显示,该方法的平均灵敏度为99.68%、平均阳性检测率是98.58%、综合指标是99.12%,显著优于二级联合聚类法在MIT-BIH心电图数据库上的分类性能。     

结合空间深度卷积和残差的大尺度点云场景分割

目的 在点云场景中,语义分割对场景理解来说是至关重要的视觉任务。由于图像是结构化的,而点云是非结构化的,点云上的卷积通常比图像上的卷积更加困难,会消耗更多的计算和内存资源。在这种情况下,大尺度场景的分割往往需要分块进行,导致效率不足并且无法捕捉足够的场景信息。为了解决这个问题,本文设计了一种计算高效且内存高效的网络结构,可以用于端到端的大尺度场景语义分割。方法 结合空间深度卷积和残差结构设计空间深度残差（spatial depthwise residual,SDR）块,其具有高效的计算效率和内存效率,并且可以有效地从点云中学习到几何特征。另外,设计一种扩张特征整合（dilated feature aggregation,DFA）模块,可以有效地增加感受野而仅增加少量的计算量。结合SDR块和DFA模块,本文构建SDRNet（spatial depthwise residual network）,这是一种encoder-decoder深度网络结构,可以用于大尺度点云场景语义分割。同时,针对空间卷积核输入数据的分布不利于训练问题,提出层级标准化来减小参数学习的难度。特别地,针对稀疏雷达点云的旋转不变性,提出一种特殊的SDR块,可以消除雷达数据绕Z轴旋转的影响,显著提高网络处理激光雷达点云时的性能。结果 在S3DIS（stanford large-scale 3D indoor space）和SemanticKITTI（Karlsruhe Institute of Technology and Toyota Technological Institute）数据集上对提出的方法进行测试,并分析点数与帧率的关系。本文方法在S3DIS数据集上的平均交并比（mean intersection over union,mIoU）为71.7%,在SemanticKITTI上的mIoU在线单次扫描评估中达到59.1%。结论 实验结果表明,本文提出的SDRNet能够直接在大尺度场景下进行语义分割。在S3DIS和SemanticKITTI数据集上的实验结果证明本文方法在精度上有较好表现。通过分析点数量与帧率之间的关系,得到的数据表明本文提出的SDRNet能保持较高精度和较快的推理速率。     

结合空间结构卷积和注意力机制的三维点云分类网络

目的 三维点云分类作为一项关键任务,在计算机视觉、机器人和自动驾驶等领域有着广泛的应用场景。现有的三维点云分类网络在使用边卷积进行局部特征提取时通常存在输入特征差异性小,空间结构信息提取、融合不充分等问题。针对上述问题,设计了一种结合空间结构卷积和注意力机制的点云分类网络。方法 首先,提出一种空间结构卷积,在边卷积的基础上引入邻接点之间的相对位置信息来降低输入特征相似性,而后从结构和位置两个角度分别进行特征编码,实现更具多样性的局部几何结构捕获。其次,设计了全局特征编码模块,从坐标信息中提炼全局特征信息,同时在网络中融合了注意力机制,用于关联局部和全局特征表示,有效保留了全局特征信息,实现全局特征的适应性调整。最后,将局部几何结构信息和全局位置信息进行有效的融合,获得更具代表性和差异性的特征表征。结果 设计实验在公开数据集ModelNet40上对提出的网络模型的性能进行评估,点云分类总体准确率和平均准确率分别达到93.0%和89.7%,具备良好的分类性能和预测效率。实验结果表明,空间结构卷积的使用有效增加了输入特征的多样性,位置和结构的单独编码有效提高了局部特征的表达能力。同时,提出的注意力加权方式在保留全局特征前提下实现了局部特征和全局特征的关联。结论 提出的网络有较强的细粒度特征提取能力,具有良好的分类性能。