基于动态图卷积的混合注意力点云特征学习网络

当前针对点云模型的形状分类、部件分割等工作的深度学习网络缺乏从全局和局部两个角度综合利用上下文信息的能力,从而阻碍了点云对象在细节部分的准确度性能。因此,该文提出了一种通道注意力与局部区域注意力相结合的混合注意力机制,并基于动态图卷积构建了新的三维点云特征学习网络EDANet。通过通道注意力优化边卷积的处理过程,充分挖掘点云的局部特征信息,同时使用局部区域注意力从全局视角提取上下文特征,并将两部分信息相结合并逐层传递,从而提高特征提取效果网络的能力。在ModelNet40与ShareNet数据集上分别进行了点云形状分类、部件分割实验,实验结果表明在ModelNet40数据集上,EDANet网络的总体精度OA达到了92.9%,相较于PointNet、PointNet++、DGCNN分别高出了3.7%、2.3%、0.7%。在ShareNet数据集上平均并交比(mIoU)达到了86%,相较于PointNet、PointNet++、DGCNN分别高出了2.3%、0.9%、0.8%。相比其他深度学习网络也具有不同程度的性能提高。验证了该方法在点云处理任务中的优越性能。     

基于动态图卷积和空间金字塔池化的点云深度学习网络

点云数据的分类和语义分割在自动驾驶、智能机器人、全息投影等领域中有着重要应用。传统手工提取点云特征的方式,以及将三维点云数据转化为多视图、体素网格等数据形式后再进行特征学习的方式,都存在处理环节多、三维特征损失大等问题,分类和分割的精度较低。目前可以直接处理点云数据的深度神经网络PointNet忽略了点云的局部细粒度特征,对复杂点云场景的处理能力较弱。针对上述问题,提出了一种基于动态图卷积和空间金字塔池化的点云深度学习网络。该网络在PointNet的基础上使用动态图卷积模块来替换PointNet中的特征学习模块,增强了网络对局部拓扑结构信息的学习能力;同时设计了一种基于点的空间金字塔池化结构来捕获多尺度局部特征,该方式比PointNet++的多尺度采样点云、重复分组进行多尺度局部特征学习的方法更加简洁高效。实验结果表明,在点云分类和语义分割任务的3个基准数据集上,所提网络相较于现有网络具有更高的分类和分割精度。     

基于Spider卷积的三维点云分类与分割网络

针对传统的卷积神经网络（CNN）不能直接处理点云数据，需先将点云数据转换为多视图或者体素化网格，导致过程复杂且点云识别精度低的问题，提出一种新型的点云分类与分割网络Linked-Spider CNN。首先，在Spider CNN基础上通过增加Spider卷积层数以获取点云深层次特征；其次，引入残差网络的思想在每层Spider卷积增加短连接构成残差块；然后，将每层残差块的输出特征进行拼接融合形成点云特征；最后，使用三层全连接层对点云特征进行分类或者利用多层卷积层对点云特征进行分割。在ModelNet40和ShapeNet Parts数据集上将所提网络与PointNet、PointNet++和Spider CNN等网络进行对比实验，实验结果表明，所提网络可以提高点云的分类精度和分割效果，说明该网络具有更快的收敛速度和更强的鲁棒性。     

基于分层特征化网络的三维人脸识别

针对三维人脸多表情、多姿态变化同时存在,人脸点云数据不同程度缺失的问题,探索性地将三维点云人脸数据应用于PointNet系列的分类网络并进行了识别结果的对比与分析,然后提出了一种新的网络框架——HFN。首先,在数据预处理后随机采样固定点数的点云;其次,将固定点数的人脸点云输入SA模块,以获取局部区域的质心点、邻域点并提取局部区域的特征,然后拼接由DSA模块基于多方向卷积提取的点云空间结构特征;最后,利用全连接层进行三维人脸的分类,从而实现三维人脸识别。在CASIA数据库上的结果显示,所提方法的平均识别率为96.34%,优于PointNet、PointNet++、PointCNN和空间聚合网络（SAN）这几种分类网络。     

基于局部空间信息表征融合和信息深度残差提取的点云分类分割算法

点云作为一种能提供丰富空间信息与物体几何特征的数据表达形式,在自动驾驶和机器人等领域有着广泛的应用前景。点云数据具有无序性的特点,早期研究者利用深度学习工具完成点云的分类分割任务时,一般采用结构化表示方法(如将点云转换成体素,多视图),但这些方法会导致部分三维空间信息损失和预处理计算量大等问题。PointNet创新性地使用共享的MLP(多层感知机)处理每个点云的向量,有效地解决了点云的无序性问题。PointNet的扩展版本PointNet++利用Encode-Decode结构进行局部特征提取。整体采用Encode-Decode结构,提出了PointRFE神经网络模型。其中,设计了能够对局部进行更充分表征的局部信息表征融合(Local Information Representing and Fusing, LIRF)模块,该模块融合了局部采样点特征,局部点云仿射变换特征和局部空间几何结构信息特征;设计了信息深度残差提取(Information Deep Residual Extractor, IDRE)模块,该模块通过带有瓶颈残差结构的共享MLP(多层感知机)对LIRF模块输出的融合特...     

融合逆密度函数与关系形状卷积神经网络的点云分析

目的 3D点云与以规则的密集网格表示的图像不同,不仅不规则且无序,而且由于输入输出大小和顺序差异,具有密度不均匀以及形状和缩放比例存在差异的特性。为此,提出一种对3D点云进行卷积的方法,将关系形状卷积神经网络（relation-shape convolution neural network,RSCNN）与逆密度函数相结合,并在卷积网络中增添反卷积层,实现了点云更精确的分类分割效果。方法 在关系形状卷积神经网络中,将卷积核视为由权重函数和逆密度函数组成的3D点局部坐标的非线性函数。对给定的点,权重函数通过多层感知器网络学习,逆密度函数通过核密度估计（kernel density estimation,KDE）学习,逆密度函数的引入对点云采样率不均匀的情况进行弥补。在点云分割任务中,引入由插值和关系形状卷积层两部分组成的反卷积层,将特征从子采样点云传播回原始分辨率。结果 在ModelNet40、ShapeNet、ScanNet数据集上进行分类、部分分割和语义场景分割实验,验证模型的分类分割性能。在分类实验中,与PointNet++相比,整体精度提升3.1%,在PointNet++将法线也作为输入的情况下,精度依然提升了1.9%;在部分分割实验中,类平均交并比（mean intersection over union,mIoU）比PointNet++在法线作为输入情况下高6.0%,实例mIoU比PointNet++高1.4%;在语义场景分割实验中,mIoU比PointNet++高13.7%。在ScanNet数据集上进行不同步长有无逆密度函数的对比实验,实验证明逆密度函数将分割精度提升0.8%左右,有效提升了模型性能。结论 融合逆密度函数的关系形状卷积神经网络可以有效获取点云数据中的局部和全局特征,并对点云采样不均匀的情况实现一定程度的补偿,实现更优的分类和分割效果。     

SSA-PointNet++:空间自注意力机制下的3D点云语义分割网络

为增强捕捉细粒度局部特征能力以进一步提高复杂场景点云语义分割精度,将自注意力机制引入PointNet++构建点云语义分割网络SSA-PointNet++.首先将采样点邻域的自注意力明确分为中心自注意力和邻域自注意力两部分,综合两者并结合不同空间编码方式增强网络模型对采样点邻域拓扑结构的学习;然后构建注意力池化模块以强化...     

一种鲁棒的多特征点云分类分割深度神经网络

现有的深度学习方法在处理点云分割任务时,难以有效地学习点云的局部特征,存在分类分割精度低和鲁棒性差的问题。构建深度神经网络RMFP-DNN用于多特征点云分类分割。分别利用自注意力模块和多层感知机提取点云的局部特征和全局特征,并将两者相互融合,提高分类分割的准确率和鲁棒性。实验结果表明,RMFP-DNN平均分类准确率和整体分类准确率分别为88.9%和92.6%,与PointNet、PointNet++、DGCNN等方法相比,准确率较高且鲁棒性较好。     

基于分层特征化网络的三维人脸识别

针对三维人脸多表情、多姿态变化同时存在，人脸点云数据不同程度缺失的问题，探索性地将三维点云人脸数据应用于PointNet系列的分类网络并进行了识别结果的对比与分析，然后提出了一种新的网络框架——HFN。首先，在数据预处理后随机采样固定点数的点云；其次，将固定点数的人脸点云输入SA模块，以获取局部区域的质心点、邻域点并提取局部区域的特征，然后拼接由DSA模块基于多方向卷积提取的点云空间结构特征；最后，利用全连接层进行三维人脸的分类，从而实现三维人脸识别。在CASIA数据库上的结果显示，所提方法的平均识别率为96.34%，优于PointNet、PointNet++、PointCNN和空间聚合网络（SAN）这几种分类网络。     

基于GCNN的CBCT模拟口扫点云数据牙齿分割算法

三维牙模型的获取并实现牙体边界的精准分割,对于口腔正畸及种植对牙齿的诊断和制定后续治疗计划具有重要意义.为了实现单个牙体的精准分割,提出一种基于CBCT数据模拟口扫点云数据实现牙齿自动分割的算法.借助锥形束计算机断层扫描(CBCT)重建出的三维牙模型,通过对牙模型的局部精细与全局粗略结构的深度学习网络,实现单个牙体的精准语义分割.该框架基于图卷积网络(graph convolutional neural networks, GCNN),主要包括2个部分:一是实例分割网络,用于获得牙体的大体形状及相对位置信息;二是细粒度分割网络,用于学习单个牙体的精细细节部分,对分配错误的标签增加惩罚机制,进一步提高了牙体分割精确度.利用文中构建的牙体数据集分别在所提算法、PointNet++和GACNet进行测试,结果表明,所采用的改进GCNN框架可实现精准的三维牙体分割.核心评估指标平均交并比(MIoU)的得分为0.91,优于目前普遍使用的点云语义分割框架PointNet++(MIoU=0.78)和GACNet(MIoU=0.88).实现基于CBCT模拟口扫点云数据的牙齿分割,对于进一步应用临床有重要意义.     

基于点云数据的三维目标识别和模型分割方法

三维模型的深度特征表示是三维目标识别和三维模型语义分割的关键和前提,在 机器人、自动驾驶、虚拟现实、遥感测绘等领域有着广泛的应用前景。然而传统的卷积神经网 络需要以规则化的数据作为输入,对于点云数据需要转换为视图或体素网格来处理,过程复杂 且损失了三维模型的几何结构信息。借助已有的可以直接处理点云数据的深度网络,针对产生 的特征缺少局部拓扑信息问题进行改进,提出一种利用双对称函数和空间转换网络获得更鲁棒、 鉴别力更强的特征。实验表明,通过端到端的方式很好地解决缺少局部信息问题,在三维目标 识别、三维场景语义分割任务上取得了更好的实验效果,并且相比于 PointNet++在相同精度的 情况下训练时间减少了 20%。     

激光点云深度学习的树种识别研究北大核心CSCD

针对激光雷达林业树种分类难以直接使用点云数据的问题,使用基于点云深度学习方法进行树种识别并提出PointNet-GS模型,无需将点云转为三维体素或二维图像,避免数据类型转换造成的特征丢失。以河北省塞罕坝机械林场的落叶松和白桦两个树种为研究对象。首先,将获取的点云数据进行数据预处理、单木分割,提取分割效果较好的单木作为样本;其次,将单木提取的样本进行几何下采样处理,保留更多局部特征便于网络模型学习;最后,将下采样处理的样本输入深度学习模型的网络,自动提取其高维特征进行学习,实现树种分类。实验结果表明,PointNet-GS树种分类精度达89.3%,Kappa系数为0.785,效果优于原始PointNet模型。     

特征注意力Transformer模块在3D唇语序列身份识别中的应用

唇语行为是一种新兴起的生物特征识别技术,三维（three-dimensional,3D）唇语点云序列因包含真实嘴唇空间结构和运动信息,已成为个体身份识别的重要生物特征。但是,3D点云的无序与非结构化的特点导致时空特征的提取非常困难。为此,提出一种深度学习网络模型,用于3D唇语序列身份识别。该网络采用四层改进的PointNet++作为网络骨干,以分层方式抽取特征,为了学习到更多包含身份信息的时空特征,设计一种动态唇特征注意力Transformer模块,连接于PointNet++网络每一层之后,可以学习到不同特征图之间的相关信息,有效捕捉视频序列不同帧的上下文信息。与其他注意力机制构建的Transformer相比,提出的Transformer模块具有较少的参数,在S3DFM-FP和S3DFM-VP数据集上进行的实验表明,提出网络模型在3D唇语点云序列的身份识别任务中效果显著,即使在不受姿态约束的S3DFM-VP数据集中也表现出良好的性能。     

基于超点图网络的三维点云室内场景分割模型

针对点云数据集样本不均衡及PointNet网络无法充分利用点云邻域信息的问题,提出一种三维点云场景分割模型。根据几何信息将原始点云块同质分割为超点,利用小型PointNet网络将点云原始特征映射到高维空间中,并挖掘场景中深层语义信息。在此基础上,构建自归一化属性门控单元优化点云上下文语义分割效果,采用二维图像领域中的Focal Loss损失函数实现点云场景分割。实验结果表明,该模型在S3DIS数据集上的平均交并比、总体精度、平均精度分别达到63.8%、86.4%、74.3%,较SPG模型分别提升1.7、0.9、1.3个百分点。     

基于PointNet++改进的点云特征提取与分类网络架构

点云作为一种能提供丰富空间信息与几何特征的数据表达形式,正受到越来越多的重视.为了克服其无序性,以及不均匀的空间分布带来的影响,许多研究者采取平面投影,或者使用体素网格对原始点云进行转换,但这些方式都是以损失三维信息或者增大数据规模为前提.PointNet[1]创新性的使用原始点云作为输入,提取特征并处理.PointNet++[2]则在此之上,更进一步地加强了对局部特征的提取能力.论文结合深度学习中的优化思想,对PointNet++结构进行改进,加入自顶向下的网络分支,经过处理后将原网络每一层的中间特征都输入到最终分类网络,更进一步地强化特征提取的能力.该网络易于理解且高效,在ModelNet40数据集上测试,整体分类准确率有明显提升,证明了其优化后的特征提取能力.     

基于标签分布学习的三维手部姿态估计

快速、可靠的手部姿态估计在人机交互等领域有着广泛的应用.为了解决光照强度变化、自身遮挡以及姿态变化幅度较大等情况对手部姿态估计的影响,提出了一种基于标签分布学习的深度网络结构.该网络将手部点云作为输入数据,首先通过最远点采样和定向边界框(OBB)对点云数据进行归一化处理,然后采用PointNet++提取手部点云数据特征...     

基于局部关系卷积的点云分类与分割模型

深度学习已成为点云分析的主要方法,但是现有方法在点云特征抽象时无法充分参考局部形状信息,因此对局部形状变化感知的鲁棒性较差,难以针对形状特征生成合适的卷积核。为此,提出了局部关系卷积（local relation convolution,LRConv）,一种通过全面局部关系感知形状特征的卷积算子。参考点云局部中所有邻域点之间的低维空间关系,定义了一种不依赖于点的顺序与刚性变换的局部关系描述;使用多层感知机从关系描述中学习得到局部区域中每个点对应的卷积权重;通过卷积权重来变换点的特征,并聚合局部区域的抽象特征。在基准测试实验中,LRConv分类网络在ModelNet上的分类准确率较PointNet++提高了2.1个百分点,LRConv零件分割网络在ShapeNet上的分割类别平均重合度较PointNet++提高了1.5个百分点。实验结果充分验证了LRConv在特征抽象中的有效性。     

基于节点结构的点云分类网络

点云数据的非结构化和不均匀分布给点云物体特征表示和分类任务带来极大挑战。为了提取点云物体的三维结构特征,现有方法多采用复杂的局部特征提取结构组建分层网络,导致特征提取网络复杂且主要关注点云物体的局部结构。为更好地提取不均匀分布的点云物体特征,提出采样点卷积密度自适应加权的节点结构网络(NsNet)。该卷积网络通过高斯密度对采样点自适应加权以区分采样点的密度差异,从而更好地刻画物体的整体结构;其次,通过加入球形坐标简化网络结构以降低模型复杂度。在3个公开数据集上与PointNet++和PointMLP等方法进行比较,实验结果表明：基于自适应密度加权的NsNet比PointNet++和PointMLP的总准确率(OA)分别提高了9.1和1.3个百分点;与PointMLP相比减少了4.6×10⁶的参数量。NsNet可有效解决点云分布不均导致的边缘点信息损失问题,提高分类精度,降低模型复杂度。     

基于动态图卷积和离散哈特莱转换差异性池化的点云数据分类分割网络

针对目前可以直接处理原始点云数据的深度学习网络PointNet,忽略了点与点之间的拓扑关系和全局特征信息单一的缺陷,提出一种基于动态图卷积和离散哈特莱转换（DHT）差异性池化的点云数据分类分割网络。首先,设计动态图卷积模块构建局部邻域图结构,通过图卷积网络获得点与点之间的位置关系,同时采用动态更新图结构的方式,增强网络表征能力;然后,通过离散哈特莱转换将特征转换到指定维度;最后,通过最大池化和平均池化并联通道获得全局特征。实验结果证明：提出的网络模型与PointNet网络模型在同样的数据集和评价标准上对比,点云分类任务上总体精度提高2.6个百分点,部件分割任务平均交并比（mIoU）提高4.1个百分点,场景语义分割任务mIoU提高8.6个百分点。通过运用该网络模型能有效提升点云数据分类分割的准确率,同时该网络具有更强的鲁棒性。     

基于特征增强的三维点云语义分割

为挖掘感知点云几何特征并通过特征增强的方式进一步提高点云语义分割效果,提出了一种基于特征增强的点云语义分割网络。首先,通过设计点云的几何特征感知（GFSOP）模块赋予网络点云局部几何结构的感知能力,捕获点间的空间特征以强化语义表征,并利用分层提取特征思想获得多尺度特征。同时,使用空间注意力和通道注意力融合预测点云语义标签,并通过强化空间关联性和通道依赖性提升分割性能。在室内数据集S3DIS(Stanford large-scale 3D Indoor Spaces)上的实验结果显示,所提网络相较于PointNet++在平均交并比（mIoU）上提升了5.7个百分点,在总体准确度（OA）上提升了3.1个百分点,且在存在噪声、点云密度不均和边界不清晰等问题的点云上表现出更强的泛化性能和更加鲁棒的分割效果。