MF-Net：结合残差网络的多尺度特征点云补全网络

针对目前点云补全网络只关注全局特征造成的语义信息丢失问题，提出了一个基于残差网络的多尺度特征提取的点云补全网络。网络采用端到端的思想，为避免单一特征不全面问题，将原始输入采样为三种不同尺度的点云；利用级联方式递归式融合不同方法提取的低分辨率点云的全局特征和原始点云的局部特征，形成特征向量并输入全连接网络，实现粗点云的预测；将拼接后的原始点云和粗点云送入精细重构单元，再在精细重构单元中融合注意力机制并利用残差网络进行由粗略到精细的补全；通过计算粗点云、稠密点云与真实点云之间的联合损失函数以提高补全性能。在ShapeNet数据集和KITTI数据集上的实验证明，无论是定性比较还是定量比较，提出的方法对残缺点云均具有较好的补全效果，同时也体现了该方法具有泛化能力。     

3D点云形状补全GAN

在真实的扫描环境中,由于视线遮挡或技术人员操作不当,实际采集到的点云模型会存在形状不完整的问题。点云模型的不完整性会对后续应用产生严重的影响,因此提出3D点云形状补全GAN用于完成点云模型的形状补全。该网络的点云重建部分由PointNet中用于数据对齐的T-Net结构与3D点云AutoEncoder网络相结合,来完成预测和填充缺失数据,识别器采用3D点云AutoEncoder中的Encoder部分对补全3D点云数据与真实的3D点云数据进行区分。最后,在ShapeNet数据集中训练上述网络结构,对所训练的网络模型进行验证并与其他基准方法进行定性比较。从实验结果可以看出,3D点云形状补全GAN可以将具有缺失数据的点云模型补全为完整的3D点云。在ShapeNet的3个子数据集chair,table以及bed上,相比基于3D点云AutoEncoder的方法,所提方法的F 1分数分别提高了3.0%,3.3%以及3.1%,相比基于体素3D-EPN的方法,所提方法的F 1分数分别提高了9.9%,5.8%以及4.3%。     

基于类别-实例分割的室内点云场景修复补全

三维室内场景修复补全是计算机图形学、数字几何处理、3D计算机视觉中的重要问题.针对室内场景修复补全中难以处理大规模点云数据的问题,本文提出了一种基于类别-实例分割的室内点云场景修复补全框架.该框架包括点云场景分割模块和点云形状补全模块,前者由基于PointNet的类别分割网络和基于聚类的实例分割模块完成,后者由基于编码器-解码器结构的点云补全网络实现.本文框架以缺失的室内场景点云数据为输入,首先根据"类别-实例"分割策略,采用PointNet对室内场景进行类别分割,并利用基于欧式距离的聚类方法进行实例分割得到室内各家具点云,然后借助点云补全网络将分割出的缺失家具点云逐一进行形状补全并融合进原始场景,最终实现室内点云场景的修复.其中,为了实现缺失家具点云形状的补全,本文提出了一种基于编码器-解码器结构的点云补全网络,首先通过输入变换和特征变换对齐缺失的家具点云数据采样点位置与特征信息;然后借助权共享多层感知器和PointSIFT特征提取模块对各采样点提取形状特征和近邻点特征信息,并利用最大池化层与多层感知器编码提取出采样点的特征码字;最后将采样点特征码字加上网格坐标数据作为解码器的输入,解码器使用两个连续的三层感知器折叠操作将网格数据转变成完整的点云补全数据.实验结果表明,本文提出的点云补全网络能够较好地补全室内场景中缺失的家具结构形状,同时基于该网络的场景修复补全框架能够有效修复大型室内点云场景.     

学习点云邻域信息的三维物体形状补全

在现实世界中,点云数据的采集方式有激光雷达、双目相机和深度相机,但是在机器人采集过程中由于设备分辨率、周围环境等因素的影响,收集到的点云数据通常是非完整的。为了解决物体形状缺失的问题,提出了一种使用局部邻域信息的三维物体形状自动补全的网络架构。该架构包括点云特征提取网络模块和点云生成网络模块,输入为缺失的点云形状,输出为缺失部分的点云形状,将输入与输出点云形状进行合并完成物体的形状补全。采用倒角距离和测地距离进行评估,实验结果表明,在ShapeNet数据集上,平均倒角距离和平均测地距离均小于多层感知机特征提取网络与PCN网络的值,两值分别为0.000 84和0.028。对于现实中扫描的点云数据进行补全处理也达到了预期效果,说明该网络有较强的泛化性,可以修复不同类别的物体。     

基于环查询和通道注意力的点云分类与分割

点云数据的特征处理是机器人、自动驾驶等领域中三维物体识别技术的关键组成部分,针对点云局部特征信息重复提取、点云物体整体几何结构缺乏识别等问题,提出一种基于环查询和通道注意力的点云分类与分割网络。首先将单层环查询和特征通道注意力机制进行结合,减少局部信息冗余并加强局部特征;然后计算法线变化识别出物体边缘、拐角区域的高响应点,并将其法线特征加入全局特征表示中,加强物体整体几何结构的识别。在ModelNet40和ShapeNet Part数据集上与多种点云网络进行比较,实验结果表明,该网络不仅有较高的点云分类与分割精度,同时在训练时间和内存占用等方面也优于其他方法,此外对于不同输入点云数量具有较强鲁棒性。因此该网络是一种有效、可行的点云分类与分割网络。     

嵌入Transformer结构的多尺度点云补全

目的当前点云补全的深度学习算法多采用自编码器结构,然而编码器端常用的多层感知器(multilayer perceptron,MLP)网络往往只聚焦于点云整体形状,很难对物体的细节特征进行有效提取,使点云残缺结构的补全效果不佳。因此需要一种准确的点云局部特征提取算法,用于点云补全任务。方法为解决该问题,本文提出了嵌入注意力模块的多尺度点云补全算法。网络整体采用编码器—解码器结构,通过编码器端的特征嵌入层和Transformer层提取并融合3种不同分辨率的残缺点云特征信息,将其输入到全连接网络的解码器中,输出逐级补全的缺失点云。最后在解码器端添加注意力鉴别器,借鉴生成对抗网络(generative adversarial networks,GAN)的思想,优化网络补全性能。结果采用倒角距离(Chamfer distance,CD)作为评价标准,本文算法在2个数据集上与相关的4种方法进行了实验比较,在Shape Net数据集上,相比于性能第2的PF-Net(point fractal network)模型,本文算法的类别平均CD值降低了3.73%;在ModelNet10数据集上,相比于PF-...     

基于特征通道和空间位置注意力的三维点云特征学习网络

点云模型的分类与部件分割是三维点云数据处理的基本任务,其核心在于获取可以有效表示三维模型的点云特征。提出一个引入注意力机制的三维点云特征学习网络。该网络采用多层次点云特征提取方法,首先使用特征通道注意力模块获取各通道间的关联,增强关键通道信息; 接着引入空间位置注意力机制,基于点的空间位置信息获取各点的注意力权重;然后结合以上2种注意力机制获取增强的点云特征;最后基于该特征继续进行多层次特征提取,获得面向下游任务的点云特征。分别在ModelNet40和ShapeNet数据集上进行形状分类与部件分割实验,结果表明,使用所提方法可以实现高精度、具有鲁棒性的三维点云形状分类与分割。     

集图卷积和三维方向卷积的点云分类分割模型

现有的深度学习方法在提取点云的局部特征时往往忽略了节点间的位置关系和方向信息，导致不能有效地学习点云的局部特征。为解决这一问题，提出一种集图卷积和三维方向卷积的点云分类分割模型GCN3D。GCN3D模型将图卷积神经网络应用在点云分类分割领域。将点云视作图上的节点，对每个节点求其K近邻，建立局部K近邻邻域内两两节点之间的边，并通过图卷积神经网络参数化边特征以捕捉节点间局部位置关系并更新中心节点特征；使用方向编码模块将节点的邻域划分为八个方位的细粒度的邻域小块，并按照三维空间坐标轴的方向依次将局部邻域结构内的节点特征映射到不同细粒度邻域空间内以提取节点间的方向信息，并且叠加两个方向编码模块增大网络的感受野，提高模型对于稀疏点云数据的鲁棒性并获取局部邻域多尺度特征。在ModelNet40数据集和ShapeNet数据集上分别进行点云分类和点云部分分割的实验。结果表明，相比没有考虑局部特征信息的PointNet,GCN3D模型在ModelNet40数据集上的总体分类精度提高了3.8个百分点，平均分类精度提高了4.3个百分点；在ShapeNet数据集上的平均交并比提高了1.5个百分点。相比其他深度...     

融合缺失点云形状信息的保结构修复网络EI北大核心CSCD

传统点云模型修复中由于未考虑输入的缺失点云形状固有特征,难以有效地保持原始形状结构特征信息.为此,提出一种融合缺失点云形状信息的保结构修复网络.该网络采用编码器-解码器结构,借助多层感知器和最大池化层以获得输入点云形状的特征码字.其中,编码器以缺失的点云数据作为输入;解码器则对编码得到的点云特征码字使用4个2D网格进行折叠操作以拟合点云形状得到粗修复结果,再将输入点云数据与粗修复结果进行拼接融合,并对融合后的点云数据经过迭代最远点采样得到最终的点云形状修复结果.实验结果表明,与已有网络修复结果相比,该网络在ModelNet40数据集上的平均误差低11%~53%,在ShapeNet数据集上的平均误差低15%~28%,而对具有精细结构的物体修复结果的平均误差低59%~70%.该网络在修复点云形状缺失部分的同时,能够有效地保持输入形状的结构特征信息,对不同程度的数据缺失具有鲁棒性;与已有网络相比,该网络点云修复结果的误差较小、点云分布较均匀.     

基于Spider卷积的三维点云分类与分割网络

针对传统的卷积神经网络（CNN）不能直接处理点云数据，需先将点云数据转换为多视图或者体素化网格，导致过程复杂且点云识别精度低的问题，提出一种新型的点云分类与分割网络Linked-Spider CNN。首先，在Spider CNN基础上通过增加Spider卷积层数以获取点云深层次特征；其次，引入残差网络的思想在每层Spider卷积增加短连接构成残差块；然后，将每层残差块的输出特征进行拼接融合形成点云特征；最后，使用三层全连接层对点云特征进行分类或者利用多层卷积层对点云特征进行分割。在ModelNet40和ShapeNet Parts数据集上将所提网络与PointNet、PointNet++和Spider CNN等网络进行对比实验，实验结果表明，所提网络可以提高点云的分类精度和分割效果，说明该网络具有更快的收敛速度和更强的鲁棒性。     

基于先验知识的单视图三维点云重建算法研究

单幅图像的三维重建是一个不适定问题,由于图像与三维模型间存在的表示模式差异,通常存在物体自遮挡、低光照、多类对象等情况,针对目前单幅图像三维模型重建中重建模型具有歧义性的问题,提出了一种基于先验信息指导的多几何角度约束的三维点云模型重建方法。首先,通过预训练三维点云自编码器获得先验知识,并最小化输入图像特征向量与点云特征向量的差异,使得输入图像特征分布逼近点云特征分布;然后,利用可微投影模块将图像的三维点云表示形式从不同视角投影到二维平面;最后,通过最小化投影图与数据集中真实投影图的差异,优化初始重建点云。在ShapeNet和Pix3D数据集上与其他方法的定量定性比较结果表明了该方法的有效性。     

适用于点云数据的注意力机制研究

注意力机制作为一种即插即用的有效提高网络特征提取性能的手段,在自然语言处理、图像识别领域有着广泛的应用。然而由于点云数据的不规则性与无序性,使得注意力机制无法直接应用于点云领域。提出适用于点云的注意力机制,以PointNet类网络作为点云特征提取的骨干网络,通过对点云数据进行多角度池化,采用共享权重的多层感知器获取自适应注意力权重,并与原特征相乘以实现输入特征优化,从而提升网络性能,实现注意力机制在点云领域的应用。设计的适用于点云的注意力机制在ModelNet40分类任务上,帮助PointNet(vanilla)和PointNet网络的分类准确率分别提升0.89和0.40个百分点;在ShapeNet零件分割任务上,帮助PointNet网络的平均交并比提升1.38个百分点;在KITTI三维检测任务上,帮助基于视锥体法的融合检测Frustum-PointNet网络在行人和骑行者两种小物体的平均精度也取得了可观的提升。实验结果表明所设计的注意力机制在多种点云处理任务的有效性和轻量级特点。     

融合稀疏点云补全的3D目标检测算法

基于雷达点云的3D目标检测方法有效地解决了RGB图像的2D目标检测易受光照、天气等因素影响的问题.但由于雷达的分辨率以及扫描距离等问题,激光雷达采集到的点云往往是稀疏的,这将会影响3D目标检测精度.针对这个问题,提出一种融合稀疏点云补全的目标检测算法,采用编码、解码机制构建点云补全网络,由输入的部分稀疏点云生成完整的密...     

基于MANet的三维点云特征提取方法研究

在三维点云数据特征提取过程中,点云数据本身的稀疏性和不规则性会影响输入数据的全局特征表示,且现有方法未考虑不同特征通道的重要性差异,不利于点云特征的全局优化。提出一种基于多分组表征和注意力机制的MANet网络进行三维点云特征描述。为获得完整的点云特征信息,将点云数据输入多分组表征模块获得初始点云特征。为学习点云不同通道的重要性,引入新的通道注意力机制强调对特征表示重要的通道,抑制不重要的通道,进一步优化特征表示。将优化后的特征输入点云分类网络,实验结果表明,多分组表征可以感知局部信息,注意力机制能够优化全局特征表示,所提方法能够对点云数据进行有效学习,有助于提高点云分类的鲁棒性和准确率。在ModelNet10/40分类数据集上总体准确率（overall accuracy）分别达到95.1%和92.5%,在ScanNet和SHREC15数据集上总体准确率分别为78.6%和97.2%,上述结果均优于PointNet++网络。