SSA-PointNet++:空间自注意力机制下的3D点云语义分割网络

为增强捕捉细粒度局部特征能力以进一步提高复杂场景点云语义分割精度,将自注意力机制引入PointNet++构建点云语义分割网络SSA-PointNet++.首先将采样点邻域的自注意力明确分为中心自注意力和邻域自注意力两部分,综合两者并结合不同空间编码方式增强网络模型对采样点邻域拓扑结构的学习;然后构建注意力池化模块以强化...     

适用于点云数据的注意力机制研究

注意力机制作为一种即插即用的有效提高网络特征提取性能的手段,在自然语言处理、图像识别领域有着广泛的应用。然而由于点云数据的不规则性与无序性,使得注意力机制无法直接应用于点云领域。提出适用于点云的注意力机制,以PointNet类网络作为点云特征提取的骨干网络,通过对点云数据进行多角度池化,采用共享权重的多层感知器获取自适应注意力权重,并与原特征相乘以实现输入特征优化,从而提升网络性能,实现注意力机制在点云领域的应用。设计的适用于点云的注意力机制在ModelNet40分类任务上,帮助PointNet(vanilla)和PointNet网络的分类准确率分别提升0.89和0.40个百分点;在ShapeNet零件分割任务上,帮助PointNet网络的平均交并比提升1.38个百分点;在KITTI三维检测任务上,帮助基于视锥体法的融合检测Frustum-PointNet网络在行人和骑行者两种小物体的平均精度也取得了可观的提升。实验结果表明所设计的注意力机制在多种点云处理任务的有效性和轻量级特点。     

基于动态图卷积的混合注意力点云特征学习网络

当前针对点云模型的形状分类、部件分割等工作的深度学习网络缺乏从全局和局部两个角度综合利用上下文信息的能力,从而阻碍了点云对象在细节部分的准确度性能。因此,该文提出了一种通道注意力与局部区域注意力相结合的混合注意力机制,并基于动态图卷积构建了新的三维点云特征学习网络EDANet。通过通道注意力优化边卷积的处理过程,充分挖掘点云的局部特征信息,同时使用局部区域注意力从全局视角提取上下文特征,并将两部分信息相结合并逐层传递,从而提高特征提取效果网络的能力。在ModelNet40与ShareNet数据集上分别进行了点云形状分类、部件分割实验,实验结果表明在ModelNet40数据集上,EDANet网络的总体精度OA达到了92.9%,相较于PointNet、PointNet++、DGCNN分别高出了3.7%、2.3%、0.7%。在ShareNet数据集上平均并交比(mIoU)达到了86%,相较于PointNet、PointNet++、DGCNN分别高出了2.3%、0.9%、0.8%。相比其他深度学习网络也具有不同程度的性能提高。验证了该方法在点云处理任务中的优越性能。     

基于环查询和通道注意力的点云分类与分割

点云数据的特征处理是机器人、自动驾驶等领域中三维物体识别技术的关键组成部分,针对点云局部特征信息重复提取、点云物体整体几何结构缺乏识别等问题,提出一种基于环查询和通道注意力的点云分类与分割网络。首先将单层环查询和特征通道注意力机制进行结合,减少局部信息冗余并加强局部特征;然后计算法线变化识别出物体边缘、拐角区域的高响应点,并将其法线特征加入全局特征表示中,加强物体整体几何结构的识别。在ModelNet40和ShapeNet Part数据集上与多种点云网络进行比较,实验结果表明,该网络不仅有较高的点云分类与分割精度,同时在训练时间和内存占用等方面也优于其他方法,此外对于不同输入点云数量具有较强鲁棒性。因此该网络是一种有效、可行的点云分类与分割网络。     

结合动态图卷积和空间注意力的点云分类与分割

目的 随着3维采集技术的飞速发展,点云在计算机视觉、自动驾驶和机器人等领域有着广泛的应用前景。深度学习作为人工智能领域的主流技术,在解决各种3维视觉问题上已表现出巨大潜力。现有基于深度学习的3维点云分类分割方法通常在聚合局部邻域特征的过程中选择邻域特征中的最大值特征,忽略了其他邻域特征中的有用信息。方法 本文提出一种结合动态图卷积和空间注意力的点云分类分割方法（dynamic graph convolution spatial attention neural networks,DGCSA）。通过将动态图卷积模块与空间注意力模块相结合,实现更精确的点云分类分割效果。使用动态图卷积对点云数据进行K近邻构图并提取其边特征。在此基础上,针对局部邻域聚合过程中容易产生信息丢失的问题,设计了一种基于点的空间注意力（spatial attention,SA）模块,通过使用注意力机制自动学习出比最大值特征更具有代表性的局部特征,从而提高模型的分类分割精度。结果 本文分别在ModelNet40、ShapeNetPart和S3DIS（Stanford Large-scale 3D Indoor Spaces Dataset）数据集上进行分类、实例分割和语义场景分割实验,验证模型的分类分割性能。实验结果表明,该方法在分类任务上整体分类精度达到93.4%;实例分割的平均交并比达到85.3%;在室内场景分割的6折交叉检验平均交并比达到59.1%,相比基准网络动态图卷积网络分别提高0.8%、0.2%和3.0%,有效改善了模型性能。结论 使用动态图卷积模块提取点云特征,在聚合局部邻域特征中引入空间注意力机制,相较于使用最大值特征池化,可以更好地聚合邻域特征,有效提高了模型在点云上的分类、实例分割与室内场景语义分割的精度。     

基于自注意力机制的脑血肿分割和出血量测量算法

出血量是脑出血疾病分级、治疗方案确定和预后判断的重要指标。但由于大脑结构的复杂性、血肿形态和位置的多样性,在CT影像中准确可靠地分割血肿和测量出血量极为困难。本文提出一种基于自注意力机制深度学习网络的脑血肿分割和出血量测量算法。首先,为克服大脑结构的复杂性,弥补卷积模块只能进行线性运算和提取局部特征的缺点,在分割网络编码器末端引入自注意力模块,通过高阶运算,提取图像全域的特征关联特性,从全局角度提取血肿;然后引入通道和空间注意力模块,通过训练学习得到各个通道和特征区域上的权重,通过该权重突出有用信息,抑制无用信息;最后,根据脑出血患者多层CT影像切片的血肿分割结果,计算出血量。在真实脑出血CT影像数据集上的实验结果表明,本文算法在多种情况下的脑血肿分割和出血量测量上均取得了较好的效果,即使在形状不规则或贴近颅骨的情况下,本文算法仍然较为有效。     

学习几何结构特征的真实点云场景语义分割

有效获取点云数据在空间上的结构性特征是点云语义分割的关键。针对以往方法没有很好综合利用全局和局部特征问题,提出一种新的空间结构特征——点的盒子特征用于语义分割,设计一种编码-解码结构的网络框架,下采样过程中使用几何结构特征模块学习点云的全局空间特征和局部邻域特征,上采样过程中按分辨率逐级恢复成完整尺寸特征图进行语义分割。其中,几何结构特征模块包含两个子模块,一个是全局特征模块,该模块学习点的“盒子（box）”特征以表现点云在采样空间内概括的粗糙几何特征;另一个是局部特征模块,该模块使用特征提取——注意力机制结构表现点云在局部邻域内精确的细粒度几何特征。在公开数据集S3DIS、Semantic3D上进行了实验并与其他方法比较,实验结果表明mIoU均领先目前大部分主流的方法,部分细则类IoU取得最高。     

RFNet: 用于三维点云分类的卷积神经网络

由于点云的非结构性和无序性, 目前已有的点云分类网络在精度上仍然需要进一步提高. 通过考虑局部结构的构建、全局特征聚合和损失函数改进三个方面, 构造一个有效的点云分类网络. 首先, 针对点云的非结构性, 通过学习中心点特征与近邻点特征之间的关系, 为不规则的近邻点分配不同的权重, 以此构建局部结构; 然后, 使用注意力思想, 提出加权平均池化(Weighted average pooling, WAP), 通过自注意力方式, 学习每个高维特征的注意力分数, 在应对点云无序性的同时, 可以有效地聚合冗余的高维特征; 最后, 利用交叉熵损失与中心损失之间的互补关系, 提出联合损失函数(Joint loss function, JL), 在增大类间距离的同时, 减小类内距离, 进一步提高了网络的分类能力. 在合成数据集ModelNet40、ShapeNetCore和真实世界数据集ScanObjectNN上进行实验, 与目前性能最好的多个网络相比较, 验证了该整体网络结构的优越性.     

基于局部关系卷积的点云分类与分割模型

深度学习已成为点云分析的主要方法,但是现有方法在点云特征抽象时无法充分参考局部形状信息,因此对局部形状变化感知的鲁棒性较差,难以针对形状特征生成合适的卷积核。为此,提出了局部关系卷积（local relation convolution,LRConv）,一种通过全面局部关系感知形状特征的卷积算子。参考点云局部中所有邻域点之间的低维空间关系,定义了一种不依赖于点的顺序与刚性变换的局部关系描述;使用多层感知机从关系描述中学习得到局部区域中每个点对应的卷积权重;通过卷积权重来变换点的特征,并聚合局部区域的抽象特征。在基准测试实验中,LRConv分类网络在ModelNet上的分类准确率较PointNet++提高了2.1个百分点,LRConv零件分割网络在ShapeNet上的分割类别平均重合度较PointNet++提高了1.5个百分点。实验结果充分验证了LRConv在特征抽象中的有效性。     

一种鲁棒的多特征点云分类分割深度神经网络

现有的深度学习方法在处理点云分割任务时,难以有效地学习点云的局部特征,存在分类分割精度低和鲁棒性差的问题。构建深度神经网络RMFP-DNN用于多特征点云分类分割。分别利用自注意力模块和多层感知机提取点云的局部特征和全局特征,并将两者相互融合,提高分类分割的准确率和鲁棒性。实验结果表明,RMFP-DNN平均分类准确率和整体分类准确率分别为88.9%和92.6%,与PointNet、PointNet++、DGCNN等方法相比,准确率较高且鲁棒性较好。     

基于深度学习的点云分割方法综述

点云分割是点云数据理解中的一个关键技术,但传统算法无法进行实时语义分割。近年来深度学习被应用在点云分割上并取得了重要进展。综述了近四年来基于深度学习的点云分割的最新工作,按基本思想分为基于视图和投影的方法、基于体素的方法、无序点云的方法、有序点云的方法以及无监督学习的方法,并简要评述;最后分析各类方法优劣并展望未来研究趋势。     

基于深度学习的点云语义分割研究综述

近年来,深度传感器和三维激光扫描仪的普及推动了三维点云处理方法的快速发展。点云语义分割作为理解三维场景的关键步骤,受到了研究者的广泛关注。随着深度学习的迅速发展并广泛应用到三维语义分割领域,点云语义分割效果得到了显著提升。主要对基于深度学习的点云语义分割方法和研究现状进行了详细的综述。将基于深度学习的点云语义分割方法分为间接语义分割方法和直接语义分割方法,根据各方法的研究内容进一步细分,对每类方法中代表性算法进行分析介绍,总结每类方法的基本思想和优缺点,并系统地阐述了深度学习对语义分割领域的贡献。然后,归纳了当前主流的公共数据集和遥感数据集,并在此基础上对比主流点云语义分割方法的实验结果。最后,对语义分割技术未来的发展方向进行了展望。     

基于区块特征融合的点云语义分割方法

为降低室外大规模点云场景中多类三维目标语义分割的计算复杂度,提出一种融合区块特征的语义分割方法。采用方形网格分割方法对三维点云进行区块划分、采样以及组合,求取简化的点云组合区块集,将其输入至区块特征提取和融合网络中从而获得每个区块的特征修正向量。设计点云区块全局特征修正网络,以残差的方式融合特征修正向量与原始点云全局特征,修正因分割造成的错误特征。在此基础上,将方形网格分割尺寸作为神经网络的参数引入反向传播过程中进行优化,从而建立高效的点云语义分割网络。实验结果表明,反向传播算法可以优化分割尺寸至最佳值附近,所提网络中的全局特征修正方法能够提高语义分割精度,该方法在Semantic3D数据集上的语义分割精度达到78.7%,较RandLA-Net方法提升1.3%,且在保证分割精度的前提下其点云预处理计算复杂度和网络计算时间明显降低,在处理点数为10万~100万的大规模点云时,点云语义分割速度较SPG、KPConv等方法提升2~4倍。     

基于超点图网络的三维点云室内场景分割模型

针对点云数据集样本不均衡及PointNet网络无法充分利用点云邻域信息的问题,提出一种三维点云场景分割模型。根据几何信息将原始点云块同质分割为超点,利用小型PointNet网络将点云原始特征映射到高维空间中,并挖掘场景中深层语义信息。在此基础上,构建自归一化属性门控单元优化点云上下文语义分割效果,采用二维图像领域中的Focal Loss损失函数实现点云场景分割。实验结果表明,该模型在S3DIS数据集上的平均交并比、总体精度、平均精度分别达到63.8%、86.4%、74.3%,较SPG模型分别提升1.7、0.9、1.3个百分点。     

基于多通道特征和自注意力的情感分类方法

针对情感分析任务中没有充分利用现有的语言知识和情感资源,以及在序列模型中存在的问题:模型会将输入文本序列解码为某一个特定的长度向量,如果向量的长度设定过短,会造成输入文本信息丢失.提出了 一种基于多通道特征和自注意力的双向LSTM情感分类方法(MFSA-BiLSTM),该模型对情感分析任务中现有的语言知识和情感资源进行...     

基于点云数据的三维目标识别和模型分割方法

三维模型的深度特征表示是三维目标识别和三维模型语义分割的关键和前提,在 机器人、自动驾驶、虚拟现实、遥感测绘等领域有着广泛的应用前景。然而传统的卷积神经网 络需要以规则化的数据作为输入,对于点云数据需要转换为视图或体素网格来处理,过程复杂 且损失了三维模型的几何结构信息。借助已有的可以直接处理点云数据的深度网络,针对产生 的特征缺少局部拓扑信息问题进行改进,提出一种利用双对称函数和空间转换网络获得更鲁棒、 鉴别力更强的特征。实验表明,通过端到端的方式很好地解决缺少局部信息问题,在三维目标 识别、三维场景语义分割任务上取得了更好的实验效果,并且相比于 PointNet++在相同精度的 情况下训练时间减少了 20%。