基于动态图卷积的加权点云分类网络

传统的直接处理点云的PointNet类深度学习网络大多只考虑了点云的全局特征而忽视了点云局部特征,动态图卷积网络DGCNN通过构建[k]近邻图完成了对局部特征的弥补。然而现有的DGCNN使用简单的边缘特征作为局部特征的输入,没有对局部特征进行更深入的研究,且仅使用最大池化处理点云无序性问题,这造成了一定的信息损失。提出加权点云分类网络WDGCNN,使用特征拼接思想优化网络结构以实现多层次特征的融合、通过对[k]近邻图构成的边缘特征设计恰当的加权函数以弱化远点的干扰,相对加强近点的特征、采用最大池化和平均池化相结合的对称函数弥补单独使用最大池化造成的全局信息损失的新方法,实现了模型优化。实验结果表明,在通用点云分类数据集ModelNet40上,WDGCNN相比于DGCNN分类准确率由91.61%达到了93.22%,验证了新方法的有效性。     

基于动态图卷积和离散哈特莱转换差异性池化的点云数据分类分割网络

针对目前可以直接处理原始点云数据的深度学习网络PointNet,忽略了点与点之间的拓扑关系和全局特征信息单一的缺陷,提出一种基于动态图卷积和离散哈特莱转换（DHT）差异性池化的点云数据分类分割网络。首先,设计动态图卷积模块构建局部邻域图结构,通过图卷积网络获得点与点之间的位置关系,同时采用动态更新图结构的方式,增强网络表征能力;然后,通过离散哈特莱转换将特征转换到指定维度;最后,通过最大池化和平均池化并联通道获得全局特征。实验结果证明：提出的网络模型与PointNet网络模型在同样的数据集和评价标准上对比,点云分类任务上总体精度提高2.6个百分点,部件分割任务平均交并比（mIoU）提高4.1个百分点,场景语义分割任务mIoU提高8.6个百分点。通过运用该网络模型能有效提升点云数据分类分割的准确率,同时该网络具有更强的鲁棒性。     

对稀疏点云规则化处理的分类卷积神经网络

深度学习作为点云分类的重要方法之一，通常会因为点云的稀疏性、无序性、有限性等特点，导致卷积算子不能充分提取局部空间相关性，直接使用卷积提取点的相关特征将导致特征信息的丢失。为此提出一种经过X变换后的点云分类卷积神经网络：XTNet(convolutional neural network based on X-transform)。XTNet对输入的原始点云数据进行X变换，将它们置换成潜在的规范顺序，抑制点云无序性、稀疏性对卷积操作的影响，避免卷积操作过程中的信息丢失；使用K近邻算法构建局部区域后，使用卷积层提取局部信息；在提取局部特征的同时通过通道扩充增加信息传递、丰富特征；在各局部特征提取模块间设置跳跃连接，进一步减少局部信息的丢失。在标准公开数据集ModelNet40和真实数据集ScanObjectNN中进行了实验。实验结果表明，与目前主流的多个高性能网络相比，XTNet分类准确率提高了0.3～4个百分点，并且拥有良好的鲁棒性和普适性。     

结合空间结构卷积和注意力机制的三维点云分类网络

目的 三维点云分类作为一项关键任务,在计算机视觉、机器人和自动驾驶等领域有着广泛的应用场景。现有的三维点云分类网络在使用边卷积进行局部特征提取时通常存在输入特征差异性小,空间结构信息提取、融合不充分等问题。针对上述问题,设计了一种结合空间结构卷积和注意力机制的点云分类网络。方法 首先,提出一种空间结构卷积,在边卷积的基础上引入邻接点之间的相对位置信息来降低输入特征相似性,而后从结构和位置两个角度分别进行特征编码,实现更具多样性的局部几何结构捕获。其次,设计了全局特征编码模块,从坐标信息中提炼全局特征信息,同时在网络中融合了注意力机制,用于关联局部和全局特征表示,有效保留了全局特征信息,实现全局特征的适应性调整。最后,将局部几何结构信息和全局位置信息进行有效的融合,获得更具代表性和差异性的特征表征。结果 设计实验在公开数据集ModelNet40上对提出的网络模型的性能进行评估,点云分类总体准确率和平均准确率分别达到93.0%和89.7%,具备良好的分类性能和预测效率。实验结果表明,空间结构卷积的使用有效增加了输入特征的多样性,位置和结构的单独编码有效提高了局部特征的表达能力。同时,提出的注意力加权方式在保留全局特征前提下实现了局部特征和全局特征的关联。结论 提出的网络有较强的细粒度特征提取能力,具有良好的分类性能。     

基于多模态关系建模的三维形状识别方法

为了充分利用点云和多视图两种模态数据之间的局部空间关系以进一步提高三维形状识别精度,提出一个基于多模态关系的三维形状识别网络,首先设计多模态关系模块(multimodal relation module, MRM),该模块可以提取任意一个点云的局部特征和一个多视图的局部特征之间的关系信息,以得到对应的关系特征.然后,采用由最大池化和广义平均池化组成的级联池化对关系特征张量进行处理,得到全局关系特征.多模态关系模块分为两种类型,分别输出点-视图关系特征和视图-点关系特征.提出的门控模块采用自注意力机制来发现特征内部的关联信息,从而将聚合得到的全局特征进行加权来实现对冗余信息的抑制.详尽的实验表明多模态关系模块可以使网络获得更优的表征能力;门控模块可以让最终的全局特征更具判别力,提升检索任务的性能.所提网络在三维形状识别标准数据集ModelNet40和ModelNet10上分别取得了93.8%和95.0%的分类准确率以及90.5%和93.4%的平均检索精度,在同类工作中处于先进水平.     

基于MANet的三维点云特征提取方法研究

在三维点云数据特征提取过程中,点云数据本身的稀疏性和不规则性会影响输入数据的全局特征表示,且现有方法未考虑不同特征通道的重要性差异,不利于点云特征的全局优化。提出一种基于多分组表征和注意力机制的MANet网络进行三维点云特征描述。为获得完整的点云特征信息,将点云数据输入多分组表征模块获得初始点云特征。为学习点云不同通道的重要性,引入新的通道注意力机制强调对特征表示重要的通道,抑制不重要的通道,进一步优化特征表示。将优化后的特征输入点云分类网络,实验结果表明,多分组表征可以感知局部信息,注意力机制能够优化全局特征表示,所提方法能够对点云数据进行有效学习,有助于提高点云分类的鲁棒性和准确率。在ModelNet10/40分类数据集上总体准确率（overall accuracy）分别达到95.1%和92.5%,在ScanNet和SHREC15数据集上总体准确率分别为78.6%和97.2%,上述结果均优于PointNet++网络。     

基于残差边卷积的3D点云分类算法

3D点云的不规则性与无序性使点云的分类仍具有挑战性.针对上述问题,文中设计基于残差边卷积的3D点云分类算法,可直接从点云学习到具有区分度的形状描述子,用于目标分类.首先,设计具有残差学习的边卷积模块,用于点云的特征提取.通过K近邻算法,该边卷积模块在输入点云上构建局部图,使用卷积及最大池化进行局部特征的提取与聚合.然后,通过多层感知器从原始点特征中提取全局特征,并以残差学习的方式与局部特征结合.最后,以该卷积块为基本单元,构建深度神经卷积网络,实现3D点云的分类.文中方法较全面地考虑点云局部特征与全局特征的有机结合,网络具有更深层次的结构,最终得到的形状描述子更抽象,具有更高的区分度.在具有挑战性的ModelNet40、ScanObjectNN数据集上的实验证实文中方法的分类性能较优.     

基于卦限卷积神经网络的3D点云分析

基于深度学习的三维点云数据分析技术得到了越来越广泛的关注, 然而点云数据的不规则性使得高效提取点云中的局部结构信息仍然是一大研究难点. 本文提出了一种能够作用于局部空间邻域的卦限卷积神经网络(Octant convolutional neural network, Octant-CNN), 它由卦限卷积模块和下采样模块组成. 针对输入点云, 卦限卷积模块在每个点的近邻空间中定位8个卦限内的最近邻点, 接着通过多层卷积操作将8卦限中的几何特征抽象成语义特征, 并将低层几何特征与高层语义特征进行有效融合, 从而实现了利用卷积操作高效提取三维邻域内的局部结构信息; 下采样模块对原始点集进行分组及特征聚合, 从而提高特征的感受野范围, 并且降低网络的计算复杂度. Octant-CNN通过对卦限卷积模块和下采样模块的分层组合, 实现了对三维点云进行由底层到抽象、从局部到全局的特征表示. 实验结果表明, Octant-CNN在对象分类、部件分割、语义分割和目标检测四个场景中均取得了较好的性能.     

扩展点态卷积网络的点云分类分割模型

目的 点态卷积网络用于点云分类分割任务时,由于点态卷积算子可直接处理点云数据,逐点提取局部特征向量,解决了结构化点云带来的维度剧增和信息丢失等问题。但是为了保持点云数据结构的一致性,点态卷积算子及卷积网络模型本身并不具有描述点云全局特征的结构,因此,对点态卷积网络模型进行扩展,扩展后的模型具有的全局特征是保证分类分割准确性的重要依据。方法 构造中心点放射模型来描述点云逐点相对于全局的几何约束关系,将其引入到点态卷积网络的特征拼接环节扩展特征向量,从而为点态卷积网络构建完善的局部—全局特征描述,用于点云数据的分类分割任务。首先,将点云视为由中心点以一定方向和距离放射到物体表面的点的集合,由中心点指向点云各点的放射矢量,其矢量大小确定了各点所存在的曲面和对于中心点的紧密程度,矢量方向描述了各点对于中心点的包围方向及存在的射线。进而由点云中的坐标信息得到点云的中心点,逐点计算放射矢量构造中心点放射模型,用以描述点云的全局特征。然后,利用点云数据的坐标信息来检索点的属性,确定卷积中参与特定点卷积运算的邻域,点态卷积算子遍历点云各点,输出逐点局部特征,进一步经多层点态卷积操作得到不同深度上的局部特征描述。最后,将中心点放射模型的全局特征和点态卷积的局部特征拼接,完成特征扩展,得到点态卷积网络的扩展模型。拼接后的局部—全局特征输入全连接层用于类标签预测,输入点态卷积层用于逐点标签预测。结果 在ModelNet40和S3DIS（Stanford large-scale 3D indoor spaces dataset）数据集上分别进行实验,验证模型的分类分割性能。在ModelNet40的分类实验中,与点态卷积网络相比,扩展后的网络模型在整体分类精度和类属分类精度上分别提高1.8%和3.5%,在S3DIS数据集的分割实验中,扩展后的点态卷积网络模型整体分割精度和,类属分割精度分别提高0.7%和2.2%。结论 引入的中心点放射模型可以有效获取点云数据的全局特征,扩展后的点态卷积网络模型实现了更优的分类和分割效果。     

基于三维各向异性卷积的肺结节良恶性分类

计算机断层扫描（Computer Tomography,CT）图像中肺结节的良恶性诊断对治疗方案的选择有非常重要的作用。目前基于深度学习的CT图像肺结节良恶性分类算法的一个研究趋势是充分利用CT图像的三维信息来设计网络,但由于不同CT设备采集的图像参数不同,不同样本的CT图像其层内及层间分辨率也多不相同,进行特征提取前需要进行额外的预处理工作。大多数文献的做法是采用插值的方法统一分辨率,然而这种方法会造成图像分辨率降低或计算量增加等问题。针对这一问题,提出了一种基于三维各向异性卷积的肺结节良恶性分类网络,通过将标准三维卷积拆分为[k×k×1]和[1×1×k]的两种三维各向异性卷积,避免了直接将三维卷积作用到原始CT图像上,从而避免了图像分辨率不同的影响。还提出了裁剪-非局部池化模块,通过中心裁剪和非局部池化操作,强化网络对结节区域的特征提取,同时使浅层网络也可以获取全局信息。在Lung Image Database Consortium and Image Database Resource Initiative（LIDC-IDRI）数据集上的实验表明,提出的三维各向异性卷积结合裁剪-非局部池化操作的神经网络能显著减少网络参数量,提升网络提取特征的能力,实现对肺结节良恶性的准确分类,分类的准确率、敏感性、特异性分别为91.53%、88.89%和93.27%,取得了比较好的分类性能。     

基于密集连接空洞卷积神经网络的青藏地区云雪图像分类

为了提高高纬度地区云雪卫星图像的识别准确率,提出了密集连接空洞卷积神经网络与空洞卷积相结合的方法进行云雪卫星图像识别研究。该方法首先采用常规卷积层对图像进行处理得到特征图,然后采用多个密集块和过渡层对特征图进行处理。其中,密集块中采用跨层连接的方式实现了网络中所用层的特征传递,使得大量云雪特征得到重用,同时减轻了训练过程中的梯度消失问题。密集块中的卷积核采用空洞卷积,在减少参数量的同时扩大局部感受野,对云雪的光谱信息进行特征提取。最后,该方法采用平均全局池化层与全连接层得到云雪图像的预测结果。实验结果表明,与其他机器学习方法相比,该方法能够提高卫星云雪图像的识别准确率,具有良好的泛化能力。     

一种鲁棒的多特征点云分类分割深度神经网络

现有的深度学习方法在处理点云分割任务时,难以有效地学习点云的局部特征,存在分类分割精度低和鲁棒性差的问题。构建深度神经网络RMFP-DNN用于多特征点云分类分割。分别利用自注意力模块和多层感知机提取点云的局部特征和全局特征,并将两者相互融合,提高分类分割的准确率和鲁棒性。实验结果表明,RMFP-DNN平均分类准确率和整体分类准确率分别为88.9%和92.6%,与PointNet、PointNet++、DGCNN等方法相比,准确率较高且鲁棒性较好。     

3D Shape Recognition Based on Multimodal \newline Relation Modeling

To make full use of the local spatial relation between point cloud and multi-view data to further improve the accuracy of three-dimensional (3D) shape recognition, a 3D shape recognition network based on multimodal relation is proposed. Firstly, a Multimodal Relation Module (MRM) is designed, which can extract the relation information between the local features of any point cloud and that of any multi-view to obtain the corresponding relation features. Then, a cascade pooling consisting of maximum pooling and generalized mean pooling is applied to process the relation feature tensor and obtain the global relation feature. There are two types of multimodal relation modules, which output the point-view relation feature and the view-point relation feature, respectively. The proposed gating module adopts a self-attentive mechanism to find the relation information within the features so that the aggregated global features can be weighted to suppress redundant information. Extensive experiments show that the multimodal relation module can make the network obtain stronger representational ability; the gating module can make the final global feature more discriminative and boost the performance of the retrieval task. The proposed network achieves classification accuracy of 93.8% and 95.0%, as well as average retrieval precision of 90.5% and 93.4% on two standard 3D shape recognition datasets (ModelNet40 and ModelNet10), respectively, which outperforms the existing works.     

融合逆密度函数与关系形状卷积神经网络的点云分析

目的 3D点云与以规则的密集网格表示的图像不同,不仅不规则且无序,而且由于输入输出大小和顺序差异,具有密度不均匀以及形状和缩放比例存在差异的特性。为此,提出一种对3D点云进行卷积的方法,将关系形状卷积神经网络（relation-shape convolution neural network,RSCNN）与逆密度函数相结合,并在卷积网络中增添反卷积层,实现了点云更精确的分类分割效果。方法 在关系形状卷积神经网络中,将卷积核视为由权重函数和逆密度函数组成的3D点局部坐标的非线性函数。对给定的点,权重函数通过多层感知器网络学习,逆密度函数通过核密度估计（kernel density estimation,KDE）学习,逆密度函数的引入对点云采样率不均匀的情况进行弥补。在点云分割任务中,引入由插值和关系形状卷积层两部分组成的反卷积层,将特征从子采样点云传播回原始分辨率。结果 在ModelNet40、ShapeNet、ScanNet数据集上进行分类、部分分割和语义场景分割实验,验证模型的分类分割性能。在分类实验中,与PointNet++相比,整体精度提升3.1%,在PointNet++将法线也作为输入的情况下,精度依然提升了1.9%;在部分分割实验中,类平均交并比（mean intersection over union,mIoU）比PointNet++在法线作为输入情况下高6.0%,实例mIoU比PointNet++高1.4%;在语义场景分割实验中,mIoU比PointNet++高13.7%。在ScanNet数据集上进行不同步长有无逆密度函数的对比实验,实验证明逆密度函数将分割精度提升0.8%左右,有效提升了模型性能。结论 融合逆密度函数的关系形状卷积神经网络可以有效获取点云数据中的局部和全局特征,并对点云采样不均匀的情况实现一定程度的补偿,实现更优的分类和分割效果。     

结合动态图卷积和空间注意力的点云分类与分割

目的 随着3维采集技术的飞速发展,点云在计算机视觉、自动驾驶和机器人等领域有着广泛的应用前景。深度学习作为人工智能领域的主流技术,在解决各种3维视觉问题上已表现出巨大潜力。现有基于深度学习的3维点云分类分割方法通常在聚合局部邻域特征的过程中选择邻域特征中的最大值特征,忽略了其他邻域特征中的有用信息。方法 本文提出一种结合动态图卷积和空间注意力的点云分类分割方法（dynamic graph convolution spatial attention neural networks,DGCSA）。通过将动态图卷积模块与空间注意力模块相结合,实现更精确的点云分类分割效果。使用动态图卷积对点云数据进行K近邻构图并提取其边特征。在此基础上,针对局部邻域聚合过程中容易产生信息丢失的问题,设计了一种基于点的空间注意力（spatial attention,SA）模块,通过使用注意力机制自动学习出比最大值特征更具有代表性的局部特征,从而提高模型的分类分割精度。结果 本文分别在ModelNet40、ShapeNetPart和S3DIS（Stanford Large-scale 3D Indoor Spaces Dataset）数据集上进行分类、实例分割和语义场景分割实验,验证模型的分类分割性能。实验结果表明,该方法在分类任务上整体分类精度达到93.4%;实例分割的平均交并比达到85.3%;在室内场景分割的6折交叉检验平均交并比达到59.1%,相比基准网络动态图卷积网络分别提高0.8%、0.2%和3.0%,有效改善了模型性能。结论 使用动态图卷积模块提取点云特征,在聚合局部邻域特征中引入空间注意力机制,相较于使用最大值特征池化,可以更好地聚合邻域特征,有效提高了模型在点云上的分类、实例分割与室内场景语义分割的精度。     

改进YOLOv2的端到端自然场景中文字符检测

针对自然场景中文字符检测率低、小字符检测困难以及字符检测类别多样等问题,提出一种基于YOLOv2的改进方法,并将其应用于自然场景中文字符检测中.首先利用k-means++聚类算法对字符目标候选框(anchor)的数量和宽高比维度进行聚类分析,提出多层特征融合策略,对原网络中第4个最大池化层前所输出的特征图经过3times3和1times1大小的卷积核进行卷积操作,并执行4倍的下采样得到局部特征;然后对第5个最大池化层前所输出的特征图经过3times3和1times1大小的卷积核进行卷积操作,并执行2倍的下采样得到局部特征,将局部特征与全局特征融合,同时增加高层卷积中的重复卷积层,将高层卷积中连续且重复的3times3times1024大小的卷积层数由3增加为5;最后使用Chinese text in the wild(CTW)数据集对YOLOv2和改进的YOLOv2算法进行对比实验,结果表明,改进后的YOLOv2算法在中文字符检测中平均准确率均值为78.3%,较原YOLOv2算法提升了7.3%,且明显高于其他自然场景中的文字符检测方法.