基于Spider卷积的三维点云分类与分割网络

针对传统的卷积神经网络（CNN）不能直接处理点云数据，需先将点云数据转换为多视图或者体素化网格，导致过程复杂且点云识别精度低的问题，提出一种新型的点云分类与分割网络Linked-Spider CNN。首先，在Spider CNN基础上通过增加Spider卷积层数以获取点云深层次特征；其次，引入残差网络的思想在每层Spider卷积增加短连接构成残差块；然后，将每层残差块的输出特征进行拼接融合形成点云特征；最后，使用三层全连接层对点云特征进行分类或者利用多层卷积层对点云特征进行分割。在ModelNet40和ShapeNet Parts数据集上将所提网络与PointNet、PointNet++和Spider CNN等网络进行对比实验，实验结果表明，所提网络可以提高点云的分类精度和分割效果，说明该网络具有更快的收敛速度和更强的鲁棒性。     

基于深度卷积神经网络的点云三维目标识别方法研究

为了提高对三维点云目标的识别精确度,提出一种基于深度卷积神经网络(CNN,convolutional neural network)的点云目标识别模型;针对已有的深度卷积点云目标识别网络无法有效提取点云局部拓扑特征的问题,采用迭代最远点采样(FPS,terative farthest point sampling)结合方向卷积编码方式来捕获局部形状特征;并引入空间变换网络(STN,spatial transform network)使点云数据能够自适应进行空间变换和对齐,以解决点云数据旋转性会造成目标识别结果不稳定的问题;实验结果表明：文中提出的点云目标识别方法有效提高了识别精度度,相较于PointNet在ModelNet40和ShapeNetCore两个数据集上分别提高1.2%和1.4%。     

基于残差边卷积的3D点云分类算法

3D点云的不规则性与无序性使点云的分类仍具有挑战性.针对上述问题,文中设计基于残差边卷积的3D点云分类算法,可直接从点云学习到具有区分度的形状描述子,用于目标分类.首先,设计具有残差学习的边卷积模块,用于点云的特征提取.通过K近邻算法,该边卷积模块在输入点云上构建局部图,使用卷积及最大池化进行局部特征的提取与聚合.然后,通过多层感知器从原始点特征中提取全局特征,并以残差学习的方式与局部特征结合.最后,以该卷积块为基本单元,构建深度神经卷积网络,实现3D点云的分类.文中方法较全面地考虑点云局部特征与全局特征的有机结合,网络具有更深层次的结构,最终得到的形状描述子更抽象,具有更高的区分度.在具有挑战性的ModelNet40、ScanObjectNN数据集上的实验证实文中方法的分类性能较优.     

对稀疏点云规则化处理的分类卷积神经网络

深度学习作为点云分类的重要方法之一,通常会因为点云的稀疏性、无序性、有限性等特点,导致卷积算子不能充分提取局部空间相关性,直接使用卷积提取点的相关特征将导致特征信息的丢失。为此提出一种经过X变换后的点云分类卷积神经网络：XTNet(convolutional neural network based on X-transform)。XTNet对输入的原始点云数据进行X变换,将它们置换成潜在的规范顺序,抑制点云无序性、稀疏性对卷积操作的影响,避免卷积操作过程中的信息丢失;使用K近邻算法构建局部区域后,使用卷积层提取局部信息;在提取局部特征的同时通过通道扩充增加信息传递、丰富特征;在各局部特征提取模块间设置跳跃连接,进一步减少局部信息的丢失。在标准公开数据集ModelNet40和真实数据集ScanObjectNN中进行了实验。实验结果表明,与目前主流的多个高性能网络相比,XTNet分类准确率提高了0.3～4个百分点,并且拥有良好的鲁棒性和普适性。     

基于卷积神经网络的三维目标检测研究综述

深度学习尤其卷积神经网络为精确目标检测提供可能,推动三维目标检测在自动驾驶、机器人等领域发挥重要作用.文中综述基于卷积神经网络的三维目标检测研究进展.首先总结三维目标检测的应用价值、基本流程及存在的挑战.再介绍卷积神经网络基本原理、典型的二维目标检测网络结构、常用的开源数据集及点云表示形式等相关基础知识.然后介绍卷积神经网络在三维目标检测中的应用进展,根据不同数据模态及方法共性对方法进行梳理.最后对当前三维目标检测研究存在的问题进行论述,对未来的研究发展趋势进行展望.     

基于局部关系卷积的点云分类与分割模型

深度学习已成为点云分析的主要方法,但是现有方法在点云特征抽象时无法充分参考局部形状信息,因此对局部形状变化感知的鲁棒性较差,难以针对形状特征生成合适的卷积核。为此,提出了局部关系卷积（local relation convolution,LRConv）,一种通过全面局部关系感知形状特征的卷积算子。参考点云局部中所有邻域点之间的低维空间关系,定义了一种不依赖于点的顺序与刚性变换的局部关系描述;使用多层感知机从关系描述中学习得到局部区域中每个点对应的卷积权重;通过卷积权重来变换点的特征,并聚合局部区域的抽象特征。在基准测试实验中,LRConv分类网络在ModelNet上的分类准确率较PointNet++提高了2.1个百分点,LRConv零件分割网络在ShapeNet上的分割类别平均重合度较PointNet++提高了1.5个百分点。实验结果充分验证了LRConv在特征抽象中的有效性。     

集图卷积和三维方向卷积的点云分类分割模型

现有的深度学习方法在提取点云的局部特征时往往忽略了节点间的位置关系和方向信息,导致不能有效地学习点云的局部特征。为解决这一问题,提出一种集图卷积和三维方向卷积的点云分类分割模型GCN3D。GCN3D模型将图卷积神经网络应用在点云分类分割领域。将点云视作图上的节点,对每个节点求其K近邻,建立局部K近邻邻域内两两节点之间的边,并通过图卷积神经网络参数化边特征以捕捉节点间局部位置关系并更新中心节点特征;使用方向编码模块将节点的邻域划分为八个方位的细粒度的邻域小块,并按照三维空间坐标轴的方向依次将局部邻域结构内的节点特征映射到不同细粒度邻域空间内以提取节点间的方向信息,并且叠加两个方向编码模块增大网络的感受野,提高模型对于稀疏点云数据的鲁棒性并获取局部邻域多尺度特征。在ModelNet40数据集和ShapeNet数据集上分别进行点云分类和点云部分分割的实验。结果表明,相比没有考虑局部特征信息的PointNet,GCN3D模型在ModelNet40数据集上的总体分类精度提高了3.8个百分点,平均分类精度提高了4.3个百分点;在ShapeNet数据集上的平均交并比提高了1.5个百分点。相比其他深度...     

基于卦限卷积神经网络的3D点云分析

基于深度学习的三维点云数据分析技术得到了越来越广泛的关注, 然而点云数据的不规则性使得高效提取点云中的局部结构信息仍然是一大研究难点. 本文提出了一种能够作用于局部空间邻域的卦限卷积神经网络(Octant convolutional neural network, Octant-CNN), 它由卦限卷积模块和下采样模块组成. 针对输入点云, 卦限卷积模块在每个点的近邻空间中定位8个卦限内的最近邻点, 接着通过多层卷积操作将8卦限中的几何特征抽象成语义特征, 并将低层几何特征与高层语义特征进行有效融合, 从而实现了利用卷积操作高效提取三维邻域内的局部结构信息; 下采样模块对原始点集进行分组及特征聚合, 从而提高特征的感受野范围, 并且降低网络的计算复杂度. Octant-CNN通过对卦限卷积模块和下采样模块的分层组合, 实现了对三维点云进行由底层到抽象、从局部到全局的特征表示. 实验结果表明, Octant-CNN在对象分类、部件分割、语义分割和目标检测四个场景中均取得了较好的性能.     

基于动态图卷积的混合注意力点云特征学习网络

当前针对点云模型的形状分类、部件分割等工作的深度学习网络缺乏从全局和局部两个角度综合利用上下文信息的能力,从而阻碍了点云对象在细节部分的准确度性能。因此,该文提出了一种通道注意力与局部区域注意力相结合的混合注意力机制,并基于动态图卷积构建了新的三维点云特征学习网络EDANet。通过通道注意力优化边卷积的处理过程,充分挖掘点云的局部特征信息,同时使用局部区域注意力从全局视角提取上下文特征,并将两部分信息相结合并逐层传递,从而提高特征提取效果网络的能力。在ModelNet40与ShareNet数据集上分别进行了点云形状分类、部件分割实验,实验结果表明在ModelNet40数据集上,EDANet网络的总体精度OA达到了92.9%,相较于PointNet、PointNet++、DGCNN分别高出了3.7%、2.3%、0.7%。在ShareNet数据集上平均并交比(mIoU)达到了86%,相较于PointNet、PointNet++、DGCNN分别高出了2.3%、0.9%、0.8%。相比其他深度学习网络也具有不同程度的性能提高。验证了该方法在点云处理任务中的优越性能。     

结合空间结构卷积和注意力机制的三维点云分类网络

目的 三维点云分类作为一项关键任务,在计算机视觉、机器人和自动驾驶等领域有着广泛的应用场景。现有的三维点云分类网络在使用边卷积进行局部特征提取时通常存在输入特征差异性小,空间结构信息提取、融合不充分等问题。针对上述问题,设计了一种结合空间结构卷积和注意力机制的点云分类网络。方法 首先,提出一种空间结构卷积,在边卷积的基础上引入邻接点之间的相对位置信息来降低输入特征相似性,而后从结构和位置两个角度分别进行特征编码,实现更具多样性的局部几何结构捕获。其次,设计了全局特征编码模块,从坐标信息中提炼全局特征信息,同时在网络中融合了注意力机制,用于关联局部和全局特征表示,有效保留了全局特征信息,实现全局特征的适应性调整。最后,将局部几何结构信息和全局位置信息进行有效的融合,获得更具代表性和差异性的特征表征。结果 设计实验在公开数据集ModelNet40上对提出的网络模型的性能进行评估,点云分类总体准确率和平均准确率分别达到93.0%和89.7%,具备良好的分类性能和预测效率。实验结果表明,空间结构卷积的使用有效增加了输入特征的多样性,位置和结构的单独编码有效提高了局部特征的表达能力。同时,提出的注意力加权方式在保留全局特征前提下实现了局部特征和全局特征的关联。结论 提出的网络有较强的细粒度特征提取能力,具有良好的分类性能。     

基于多尺度动态图卷积网络的3D点云分类

3D点云数据是一种不规则性数据,传统卷积神经网络无法直接对3D点云数据进行处理.对此,提出一种基于多尺度动态图卷积网络的3D点云分类模型.利用最远点采样方法采样3D点云数据集的代表点,降低模型计算复杂度;利用不同尺度的k最邻近节点聚合方式,对图中每一个中心节点的k最邻近节点进行定位;利用边卷积操作对中心节点及其邻接节点...     

基于深度学习的三维点云修复技术综述

三维点云是最常用的三维场景/物体表示方法之一.根据点云修复侧重点不同,将基于深度学习的三维点云修复技术划分为密集重建、补全重建和去噪重建3类;详细分析了相关典型修复模型及关键技术,如特征编码、特征扩展和损失函数设计;总结了常用的网络模块、点云数据集和评估准则;最后讨论了3类修复技术之间的关系,并从旋转不变性特征提取、细节信息修复、拓扑关系保持、几何算法应用和多模态数据融合5个方面探讨了点云修复技术面临的挑战及未来发展趋势.     

基于节点结构的点云分类网络

点云数据的非结构化和不均匀分布给点云物体特征表示和分类任务带来极大挑战。为了提取点云物体的三维结构特征,现有方法多采用复杂的局部特征提取结构组建分层网络,导致特征提取网络复杂且主要关注点云物体的局部结构。为更好地提取不均匀分布的点云物体特征,提出采样点卷积密度自适应加权的节点结构网络(NsNet)。该卷积网络通过高斯密度对采样点自适应加权以区分采样点的密度差异,从而更好地刻画物体的整体结构;其次,通过加入球形坐标简化网络结构以降低模型复杂度。在3个公开数据集上与PointNet++和PointMLP等方法进行比较,实验结果表明：基于自适应密度加权的NsNet比PointNet++和PointMLP的总准确率(OA)分别提高了9.1和1.3个百分点;与PointMLP相比减少了4.6×10⁶的参数量。NsNet可有效解决点云分布不均导致的边缘点信息损失问题,提高分类精度,降低模型复杂度。     

基于未知物体三维点云特征的机器人六自由度抓取

针对非结构化环境中任意位姿的未知物体,提出了一种基于点云特征的机器人六自由度抓取位姿检测方法,以解决直接从点云中获取目标抓取位姿的难题.首先,根据点云的基本几何信息生成抓取候选,并通过力平衡等方法优化这些候选;然后,利用可直接处理点云的卷积神经网络ConvPoint评估样本,得分最高的抓取将被执行,其中抓取位姿采样和评估网络都是以原始点云作为输入;最后,利用仿真和实际抓取实验进行测试.结果表明,该方法在常用对象上实现了88.33%的抓取成功率,并可以有效地拓展到抓取其他形状的未知物体.     

RFNet: 用于三维点云分类的卷积神经网络

由于点云的非结构性和无序性, 目前已有的点云分类网络在精度上仍然需要进一步提高. 通过考虑局部结构的构建、全局特征聚合和损失函数改进三个方面, 构造一个有效的点云分类网络. 首先, 针对点云的非结构性, 通过学习中心点特征与近邻点特征之间的关系, 为不规则的近邻点分配不同的权重, 以此构建局部结构; 然后, 使用注意力思想, 提出加权平均池化(Weighted average pooling, WAP), 通过自注意力方式, 学习每个高维特征的注意力分数, 在应对点云无序性的同时, 可以有效地聚合冗余的高维特征; 最后, 利用交叉熵损失与中心损失之间的互补关系, 提出联合损失函数(Joint loss function, JL), 在增大类间距离的同时, 减小类内距离, 进一步提高了网络的分类能力. 在合成数据集ModelNet40、ShapeNetCore和真实世界数据集ScanObjectNN上进行实验, 与目前性能最好的多个网络相比较, 验证了该整体网络结构的优越性.     

融合逆密度函数与关系形状卷积神经网络的点云分析

目的 3D点云与以规则的密集网格表示的图像不同,不仅不规则且无序,而且由于输入输出大小和顺序差异,具有密度不均匀以及形状和缩放比例存在差异的特性。为此,提出一种对3D点云进行卷积的方法,将关系形状卷积神经网络（relation-shape convolution neural network,RSCNN）与逆密度函数相结合,并在卷积网络中增添反卷积层,实现了点云更精确的分类分割效果。方法 在关系形状卷积神经网络中,将卷积核视为由权重函数和逆密度函数组成的3D点局部坐标的非线性函数。对给定的点,权重函数通过多层感知器网络学习,逆密度函数通过核密度估计（kernel density estimation,KDE）学习,逆密度函数的引入对点云采样率不均匀的情况进行弥补。在点云分割任务中,引入由插值和关系形状卷积层两部分组成的反卷积层,将特征从子采样点云传播回原始分辨率。结果 在ModelNet40、ShapeNet、ScanNet数据集上进行分类、部分分割和语义场景分割实验,验证模型的分类分割性能。在分类实验中,与PointNet++相比,整体精度提升3.1%,在PointNet++将法线也作为输入的情况下,精度依然提升了1.9%;在部分分割实验中,类平均交并比（mean intersection over union,mIoU）比PointNet++在法线作为输入情况下高6.0%,实例mIoU比PointNet++高1.4%;在语义场景分割实验中,mIoU比PointNet++高13.7%。在ScanNet数据集上进行不同步长有无逆密度函数的对比实验,实验证明逆密度函数将分割精度提升0.8%左右,有效提升了模型性能。结论 融合逆密度函数的关系形状卷积神经网络可以有效获取点云数据中的局部和全局特征,并对点云采样不均匀的情况实现一定程度的补偿,实现更优的分类和分割效果。