基于动态图卷积的混合注意力点云特征学习网络

当前针对点云模型的形状分类、部件分割等工作的深度学习网络缺乏从全局和局部两个角度综合利用上下文信息的能力,从而阻碍了点云对象在细节部分的准确度性能。因此,该文提出了一种通道注意力与局部区域注意力相结合的混合注意力机制,并基于动态图卷积构建了新的三维点云特征学习网络EDANet。通过通道注意力优化边卷积的处理过程,充分挖掘点云的局部特征信息,同时使用局部区域注意力从全局视角提取上下文特征,并将两部分信息相结合并逐层传递,从而提高特征提取效果网络的能力。在ModelNet40与ShareNet数据集上分别进行了点云形状分类、部件分割实验,实验结果表明在ModelNet40数据集上,EDANet网络的总体精度OA达到了92.9%,相较于PointNet、PointNet++、DGCNN分别高出了3.7%、2.3%、0.7%。在ShareNet数据集上平均并交比(mIoU)达到了86%,相较于PointNet、PointNet++、DGCNN分别高出了2.3%、0.9%、0.8%。相比其他深度学习网络也具有不同程度的性能提高。验证了该方法在点云处理任务中的优越性能。     

结合动态图卷积和空间注意力的点云分类与分割

目的 随着3维采集技术的飞速发展,点云在计算机视觉、自动驾驶和机器人等领域有着广泛的应用前景。深度学习作为人工智能领域的主流技术,在解决各种3维视觉问题上已表现出巨大潜力。现有基于深度学习的3维点云分类分割方法通常在聚合局部邻域特征的过程中选择邻域特征中的最大值特征,忽略了其他邻域特征中的有用信息。方法 本文提出一种结合动态图卷积和空间注意力的点云分类分割方法（dynamic graph convolution spatial attention neural networks,DGCSA）。通过将动态图卷积模块与空间注意力模块相结合,实现更精确的点云分类分割效果。使用动态图卷积对点云数据进行K近邻构图并提取其边特征。在此基础上,针对局部邻域聚合过程中容易产生信息丢失的问题,设计了一种基于点的空间注意力（spatial attention,SA）模块,通过使用注意力机制自动学习出比最大值特征更具有代表性的局部特征,从而提高模型的分类分割精度。结果 本文分别在ModelNet40、ShapeNetPart和S3DIS（Stanford Large-scale 3D Indoor Spaces Dataset）数据集上进行分类、实例分割和语义场景分割实验,验证模型的分类分割性能。实验结果表明,该方法在分类任务上整体分类精度达到93.4%;实例分割的平均交并比达到85.3%;在室内场景分割的6折交叉检验平均交并比达到59.1%,相比基准网络动态图卷积网络分别提高0.8%、0.2%和3.0%,有效改善了模型性能。结论 使用动态图卷积模块提取点云特征,在聚合局部邻域特征中引入空间注意力机制,相较于使用最大值特征池化,可以更好地聚合邻域特征,有效提高了模型在点云上的分类、实例分割与室内场景语义分割的精度。     

基于自注意力机制的点云分类分割

3D点云由于其无序性以及缺少拓扑信息使得点云的分类与分割仍具有挑战性.针对上述问题,我们设计了一种基于自注意力机制的3D点云分类算法,可学习点云的特征信息,用于目标分类与分割.首先,设计适用于点云的自注意力模块,用于点云的特征提取.通过构建领域图来加强输入嵌入,使用自注意力机制进行局部特征的提取与聚合.最后,通过多层感知机以及解码器-编码器的方式将局部特征进行结合,实现3D点云的分类与分割.该方法考虑了输入嵌入时单个点在点云中的局部语境信息,构建局部长距离下的网络结构,最终得到的结果更具区分度.在ShapeNetPart、RoofN3D等数据集上的实验证实所提方法的分类与分割性能较优.     

深度学习点云质量增强方法综述

随着三维探测技术的发展,点云逐渐成为最常用的三维物体/场景表征数据类型之一,广泛应用于自动驾驶、增强现实及虚拟现实等领域。然而,受限于硬件设备、采集环境以及遮挡等因素,采集的原始点云通常是不完整、稀疏、嘈杂的,为点云的处理和分析带来了巨大挑战。在此背景下,点云质量增强技术旨在对原始点云进行处理以获得结构完整、密集且接近无噪的点云,具有重要意义。本文对现阶段深度学习点云质量增强方法进行了系统综述,为后续研究者提供研究基础。首先,简要介绍了点云数据处理中通用的关键技术;分别介绍了补全、上采样和去噪3类点云质量增强方法,并对3类方法中的现有算法进行了分类、梳理及总结。其中,点云补全与点云去噪算法均可根据是否采用编码器—解码器结构分为两大类,点云上采样算法可根据网络主要结构分为基于卷积神经网络的方法、基于生成对抗网络的方法和基于图卷积神经网络的方法。其次,总结了质量增强任务中常用的数据集与评价指标,并分别对比分析了现阶段点云补全、上采样和去噪中主流算法的性能。最后,通过系统的梳理,凝练出点云质量增强方向所面临的挑战,并对未来的研究趋势进行了展望。此外,本文汇总了涉及的文献及其开源代码,详见链接https：//github.com/LilydotEE/Point_cloud_quality_enhancement。     

基于动态图卷积和空间金字塔池化的点云深度学习网络

点云数据的分类和语义分割在自动驾驶、智能机器人、全息投影等领域中有着重要应用。传统手工提取点云特征的方式,以及将三维点云数据转化为多视图、体素网格等数据形式后再进行特征学习的方式,都存在处理环节多、三维特征损失大等问题,分类和分割的精度较低。目前可以直接处理点云数据的深度神经网络PointNet忽略了点云的局部细粒度特征,对复杂点云场景的处理能力较弱。针对上述问题,提出了一种基于动态图卷积和空间金字塔池化的点云深度学习网络。该网络在PointNet的基础上使用动态图卷积模块来替换PointNet中的特征学习模块,增强了网络对局部拓扑结构信息的学习能力;同时设计了一种基于点的空间金字塔池化结构来捕获多尺度局部特征,该方式比PointNet++的多尺度采样点云、重复分组进行多尺度局部特征学习的方法更加简洁高效。实验结果表明,在点云分类和语义分割任务的3个基准数据集上,所提网络相较于现有网络具有更高的分类和分割精度。     

适用于点云数据的注意力机制研究

注意力机制作为一种即插即用的有效提高网络特征提取性能的手段,在自然语言处理、图像识别领域有着广泛的应用。然而由于点云数据的不规则性与无序性,使得注意力机制无法直接应用于点云领域。提出适用于点云的注意力机制,以PointNet类网络作为点云特征提取的骨干网络,通过对点云数据进行多角度池化,采用共享权重的多层感知器获取自适应注意力权重,并与原特征相乘以实现输入特征优化,从而提升网络性能,实现注意力机制在点云领域的应用。设计的适用于点云的注意力机制在ModelNet40分类任务上,帮助PointNet(vanilla)和PointNet网络的分类准确率分别提升0.89和0.40个百分点;在ShapeNet零件分割任务上,帮助PointNet网络的平均交并比提升1.38个百分点;在KITTI三维检测任务上,帮助基于视锥体法的融合检测Frustum-PointNet网络在行人和骑行者两种小物体的平均精度也取得了可观的提升。实验结果表明所设计的注意力机制在多种点云处理任务的有效性和轻量级特点。     

结合图采样和图注意力的3D目标检测方法

在点云中进行三维目标检测时,小目标和复杂背景下目标的检测精度不足是突出的问题之一。针对该问题,提出了一种基于图采样和图注意力机制的3D点云目标检测方法。减小基准网络下采样体素大小以保持小目标的点云密度;引入图采样降低在点云中构造拓扑图的代价;通过对图采样前后的图分别嵌入自注意力机制,提高网络的特征提取能力。在KITTI数据集上与基准网络Point-GNN相比,对汽车目标在复杂场景上的检测精度提升了1.96%,对行人与骑行者目标在中等难度场景和复杂场景上的检测精度分别提升4.21%和2.57%;与Point-GNN相比,减少了15%的训练时间。实验结果表明,设计的方法对于3D点云中小目标和复杂背景下目标的检测更加有效,图采样方法还能够提升模型的训练效率。     

基于残差注意力机制的点云配准算法

针对传统点云配准算法精度低、鲁棒性差以及放疗前后癌症患者无法实现精确放疗的问题,提出一种基于残差注意力机制的点云配准算法（ADGCNNLK）。首先,在动态图深度卷积网络（DGCNN）中添加残差注意力机制来有效地利用点云的空间信息,并减少信息损失;然后,利用添加残差注意力机制的DGCNN提取点云特征,这样做不仅可以在保持点云置换不变性的同时捕捉点云的局部几何特征,也可以在语义上将信息聚合起来,从而提高配准效率;最后,将提取到的特征点映射到高维空间中并使用经典的图像迭代配准算法LK进行配准。实验结果表明,所提算法与迭代最近点算法（ICP）、全局优化的ICP算法（Go-ICP）和PointNetLK相比,在无噪、有噪的情况下配准效果均最好。其中,在无噪情况下,与PointNetLK相比,所提算法的旋转均方误差降低了74.61%,平移均方误差降低了47.50%;在有噪声的情况下,与PointNetLK相比,所提算法的旋转均方误差降低了73.13%,平移均方误差降低了44.18%,说明所提算法与PointNetLK相比鲁棒性更强。将所提算法应用于放疗前后癌症患者人体点云模型的配准,从而辅助医生治疗,并实现了精确放疗。     

基于注意力机制的高效点云识别方法

在点云识别中,将点云数据映射成二维图片或者还原成三维空间等方法具有计算量大、场景通用性差的缺点。为此,本文提出一种基于注意力机制的深度残差学习网络的方法。本文方法通过注意力机制获得点云中不同点的权重分布和关键点,直接利用点云数据进行高效地识别。通过实验对比了多种不同方法在ModelNet40等数据集上的识别能力。结果表明,与基于二维图片方法、基于三维空间的方法以及直接处理点云的方法相比,本文方法在保证高识别精度的同时,具有参数量小、计算量小、更高效等优点。     

SSA-PointNet++:空间自注意力机制下的3D点云语义分割网络

为增强捕捉细粒度局部特征能力以进一步提高复杂场景点云语义分割精度,将自注意力机制引入PointNet++构建点云语义分割网络SSA-PointNet++.首先将采样点邻域的自注意力明确分为中心自注意力和邻域自注意力两部分,综合两者并结合不同空间编码方式增强网络模型对采样点邻域拓扑结构的学习;然后构建注意力池化模块以强化...     

基于动态图卷积的加权点云分类网络

传统的直接处理点云的PointNet类深度学习网络大多只考虑了点云的全局特征而忽视了点云局部特征,动态图卷积网络DGCNN通过构建[k]近邻图完成了对局部特征的弥补。然而现有的DGCNN使用简单的边缘特征作为局部特征的输入,没有对局部特征进行更深入的研究,且仅使用最大池化处理点云无序性问题,这造成了一定的信息损失。提出加权点云分类网络WDGCNN,使用特征拼接思想优化网络结构以实现多层次特征的融合、通过对[k]近邻图构成的边缘特征设计恰当的加权函数以弱化远点的干扰,相对加强近点的特征、采用最大池化和平均池化相结合的对称函数弥补单独使用最大池化造成的全局信息损失的新方法,实现了模型优化。实验结果表明,在通用点云分类数据集ModelNet40上,WDGCNN相比于DGCNN分类准确率由91.61%达到了93.22%,验证了新方法的有效性。     

基于动态图卷积和离散哈特莱转换差异性池化的点云数据分类分割网络

针对目前可以直接处理原始点云数据的深度学习网络PointNet,忽略了点与点之间的拓扑关系和全局特征信息单一的缺陷,提出一种基于动态图卷积和离散哈特莱转换（DHT）差异性池化的点云数据分类分割网络。首先,设计动态图卷积模块构建局部邻域图结构,通过图卷积网络获得点与点之间的位置关系,同时采用动态更新图结构的方式,增强网络表征能力;然后,通过离散哈特莱转换将特征转换到指定维度;最后,通过最大池化和平均池化并联通道获得全局特征。实验结果证明：提出的网络模型与PointNet网络模型在同样的数据集和评价标准上对比,点云分类任务上总体精度提高2.6个百分点,部件分割任务平均交并比（mIoU）提高4.1个百分点,场景语义分割任务mIoU提高8.6个百分点。通过运用该网络模型能有效提升点云数据分类分割的准确率,同时该网络具有更强的鲁棒性。     

多尺度注意力融合和抗噪声的轻量点云人脸识别模型

在低质量点云人脸数据集上,判别性特征的提取和模型对噪声的鲁棒性是解决点云人脸识别问题的关键。针对现有轻量点云人脸识别算法不能充分提取判别性特征和数据集中存在大量噪声而影响模型训练的问题,设计轻量高效的网络模型,提出了基于多尺度注意力融合和抗噪声的自适应损失函数的点云人脸识别算法。首先通过不同卷积模块获得不同感受野大小的特征图。然后进行多尺度的注意力特征提取,并使用高层的注意力权重来引导低层注意力权重的生成,最后进行通道融合得到多尺度融合的特征,提升了模型捕获人脸细节特征的能力。其次,根据低质量点云人脸图像的噪声信息特点,设计了一种新颖的抗噪声的自适应损失函数(anti-noise adaptiveloss),以应对数据集大量噪声对模型训练过程中可能造成的负面影响,提升模型的鲁棒性和泛化能力。在开源数据集Lock3DFace和本文提出的KinectFaces数据集上的实验结果表明,与当前的主流算法相比该算法模型在低质量点云人脸识别任务中具有更好的识别效果。     

基于环查询和通道注意力的点云分类与分割

点云数据的特征处理是机器人、自动驾驶等领域中三维物体识别技术的关键组成部分,针对点云局部特征信息重复提取、点云物体整体几何结构缺乏识别等问题,提出一种基于环查询和通道注意力的点云分类与分割网络。首先将单层环查询和特征通道注意力机制进行结合,减少局部信息冗余并加强局部特征;然后计算法线变化识别出物体边缘、拐角区域的高响应点,并将其法线特征加入全局特征表示中,加强物体整体几何结构的识别。在ModelNet40和ShapeNet Part数据集上与多种点云网络进行比较,实验结果表明,该网络不仅有较高的点云分类与分割精度,同时在训练时间和内存占用等方面也优于其他方法,此外对于不同输入点云数量具有较强鲁棒性。因此该网络是一种有效、可行的点云分类与分割网络。     

基于注意力机制的三维点云车辆目标检测

针对自动驾驶场景下三维点云车辆的识别和定位问题,提出了一种基于注意力机制的三维点云车辆目标检测算法.算法将稀疏无序的点云空间划分成等距规则的体素表示,用三维稀疏卷积和辅助网络同步从所有体素中提取内部点云特征,进而生成鸟瞰图.但在将内部三维的点云特征转化为二维的鸟瞰图后,通常会造成目标空间特征信息丢失,使得最终检测结果以及方向性预估差.为进一步提取鸟瞰图中特征信息,提出了一种注意力机制模块,其中包含两种注意力模型,并对其采用首、中、尾的"立体式"布局结构,实现对鸟瞰图中特征信息的放大和抑制,最后使用卷积神经网络和PS-Warp变换机制对处理过后的鸟瞰图进行三维目标检测.实验表明,该算法在保证实时检测效率的前提下,与现有算法相比,具有更好的方向预估性以及更高的检测精度.     

RFNet: 用于三维点云分类的卷积神经网络

由于点云的非结构性和无序性, 目前已有的点云分类网络在精度上仍然需要进一步提高. 通过考虑局部结构的构建、全局特征聚合和损失函数改进三个方面, 构造一个有效的点云分类网络. 首先, 针对点云的非结构性, 通过学习中心点特征与近邻点特征之间的关系, 为不规则的近邻点分配不同的权重, 以此构建局部结构; 然后, 使用注意力思想, 提出加权平均池化(Weighted average pooling, WAP), 通过自注意力方式, 学习每个高维特征的注意力分数, 在应对点云无序性的同时, 可以有效地聚合冗余的高维特征; 最后, 利用交叉熵损失与中心损失之间的互补关系, 提出联合损失函数(Joint loss function, JL), 在增大类间距离的同时, 减小类内距离, 进一步提高了网络的分类能力. 在合成数据集ModelNet40、ShapeNetCore和真实世界数据集ScanObjectNN上进行实验, 与目前性能最好的多个网络相比较, 验证了该整体网络结构的优越性.     

基于特征通道和空间位置注意力的三维点云特征学习网络

点云模型的分类与部件分割是三维点云数据处理的基本任务,其核心在于获取可以有效表示三维模型的点云特征。提出一个引入注意力机制的三维点云特征学习网络。该网络采用多层次点云特征提取方法,首先使用特征通道注意力模块获取各通道间的关联,增强关键通道信息; 接着引入空间位置注意力机制,基于点的空间位置信息获取各点的注意力权重;然后结合以上2种注意力机制获取增强的点云特征;最后基于该特征继续进行多层次特征提取,获得面向下游任务的点云特征。分别在ModelNet40和ShapeNet数据集上进行形状分类与部件分割实验,结果表明,使用所提方法可以实现高精度、具有鲁棒性的三维点云形状分类与分割。     

基于点云采样权重估计的未知物体抓取位姿生成方法

针对机械臂在非结构环境中对未知物体抓取位姿生成困难及抓取稳定性差的问题,提出一种基于点云采样权重估计的抓取位姿生成方法.首先通过移动深度相机的方式拼接得到较完整的物体点云信息,并对物体的几何特性进行分析,有效避开物体不宜抓取的位置进行抓取位姿样本生成;然后结合几何约束条件实现抓取位姿搜索,并利用力封闭条件对样本稳定性进行评估;最后为了对实际的抓取位姿进行评价,根据其稳定性、夹取深度、夹取角度等设定抓取可行性指标,据此在工作空间输出最佳抓取位姿并完成指定的抓取任务.实验结果表明,采用所提方法能够高效生成大量且稳定的抓取位姿,并在仿真环境中有效实现机械臂对单个或多个随机摆放的未知物体的抓取任务.