融合逆密度函数与关系形状卷积神经网络的点云分析

目的 3D点云与以规则的密集网格表示的图像不同,不仅不规则且无序,而且由于输入输出大小和顺序差异,具有密度不均匀以及形状和缩放比例存在差异的特性。为此,提出一种对3D点云进行卷积的方法,将关系形状卷积神经网络（relation-shape convolution neural network,RSCNN）与逆密度函数相结合,并在卷积网络中增添反卷积层,实现了点云更精确的分类分割效果。方法 在关系形状卷积神经网络中,将卷积核视为由权重函数和逆密度函数组成的3D点局部坐标的非线性函数。对给定的点,权重函数通过多层感知器网络学习,逆密度函数通过核密度估计（kernel density estimation,KDE）学习,逆密度函数的引入对点云采样率不均匀的情况进行弥补。在点云分割任务中,引入由插值和关系形状卷积层两部分组成的反卷积层,将特征从子采样点云传播回原始分辨率。结果 在ModelNet40、ShapeNet、ScanNet数据集上进行分类、部分分割和语义场景分割实验,验证模型的分类分割性能。在分类实验中,与PointNet++相比,整体精度提升3.1%,在PointNet++将法线也作为输入的情况下,精度依然提升了1.9%;在部分分割实验中,类平均交并比（mean intersection over union,mIoU）比PointNet++在法线作为输入情况下高6.0%,实例mIoU比PointNet++高1.4%;在语义场景分割实验中,mIoU比PointNet++高13.7%。在ScanNet数据集上进行不同步长有无逆密度函数的对比实验,实验证明逆密度函数将分割精度提升0.8%左右,有效提升了模型性能。结论 融合逆密度函数的关系形状卷积神经网络可以有效获取点云数据中的局部和全局特征,并对点云采样不均匀的情况实现一定程度的补偿,实现更优的分类和分割效果。     

基于分层特征化网络的三维人脸识别

针对三维人脸多表情、多姿态变化同时存在，人脸点云数据不同程度缺失的问题，探索性地将三维点云人脸数据应用于PointNet系列的分类网络并进行了识别结果的对比与分析，然后提出了一种新的网络框架——HFN。首先，在数据预处理后随机采样固定点数的点云；其次，将固定点数的人脸点云输入SA模块，以获取局部区域的质心点、邻域点并提取局部区域的特征，然后拼接由DSA模块基于多方向卷积提取的点云空间结构特征；最后，利用全连接层进行三维人脸的分类，从而实现三维人脸识别。在CASIA数据库上的结果显示，所提方法的平均识别率为96.34%，优于PointNet、PointNet++、PointCNN和空间聚合网络（SAN）这几种分类网络。     

扩展点态卷积网络的点云分类分割模型

目的 点态卷积网络用于点云分类分割任务时,由于点态卷积算子可直接处理点云数据,逐点提取局部特征向量,解决了结构化点云带来的维度剧增和信息丢失等问题。但是为了保持点云数据结构的一致性,点态卷积算子及卷积网络模型本身并不具有描述点云全局特征的结构,因此,对点态卷积网络模型进行扩展,扩展后的模型具有的全局特征是保证分类分割准确性的重要依据。方法 构造中心点放射模型来描述点云逐点相对于全局的几何约束关系,将其引入到点态卷积网络的特征拼接环节扩展特征向量,从而为点态卷积网络构建完善的局部—全局特征描述,用于点云数据的分类分割任务。首先,将点云视为由中心点以一定方向和距离放射到物体表面的点的集合,由中心点指向点云各点的放射矢量,其矢量大小确定了各点所存在的曲面和对于中心点的紧密程度,矢量方向描述了各点对于中心点的包围方向及存在的射线。进而由点云中的坐标信息得到点云的中心点,逐点计算放射矢量构造中心点放射模型,用以描述点云的全局特征。然后,利用点云数据的坐标信息来检索点的属性,确定卷积中参与特定点卷积运算的邻域,点态卷积算子遍历点云各点,输出逐点局部特征,进一步经多层点态卷积操作得到不同深度上的局部特征描述。最后,将中心点放射模型的全局特征和点态卷积的局部特征拼接,完成特征扩展,得到点态卷积网络的扩展模型。拼接后的局部—全局特征输入全连接层用于类标签预测,输入点态卷积层用于逐点标签预测。结果 在ModelNet40和S3DIS（Stanford large-scale 3D indoor spaces dataset）数据集上分别进行实验,验证模型的分类分割性能。在ModelNet40的分类实验中,与点态卷积网络相比,扩展后的网络模型在整体分类精度和类属分类精度上分别提高1.8%和3.5%,在S3DIS数据集的分割实验中,扩展后的点态卷积网络模型整体分割精度和,类属分割精度分别提高0.7%和2.2%。结论 引入的中心点放射模型可以有效获取点云数据的全局特征,扩展后的点态卷积网络模型实现了更优的分类和分割效果。     

一种面向散乱点云语义分割的深度残差?特征金字塔网络框架

针对当前基于深度学习的散乱点云语义特征提取方法通用性差以及特征提取不足导致的分割精度和可靠性差的难题, 提出了一种散乱点云语义分割深度残差?特征金字塔网络框架. 首先, 针对当前残差网络在卷积方式上的局限性, 定义一种立方体卷积运算, 不仅可以通过二维卷积运算实现三维表示点的高层特征的抽取, 还可以解决现有的参数化卷积设计通用性差的问题;其次, 将定义的立方体卷积计算与残差网络相结合, 构建面向散乱点云语义分割的深度残差特征学习网络框架; 进一步, 将深度残差网络与特征金字塔网络相结合, 实现三维表示点高层特征多尺度学习与散乱点云场景语义分割. 实验结果表明, 本文提出的立方体卷积运算具有良好的适用性, 且本文提出的深度残差?特征金字塔网络框架在分割精度方面优于现存同类方法.     

基于加权密集连接卷积网络的深度强化学习方法

针对深度强化学习中卷积神经网络（CNN）层数过深导致的梯度消失问题，提出一种将密集连接卷积网络应用于强化学习的方法。首先，利用密集连接卷积网络中的跨层连接结构进行图像特征的有效提取；然后，在密集连接卷积网络中加入权重系数，加权密集连接卷积网络中的每一层都接收到前面几层产生的所有特征图，且之前所有层在跨层连接中被赋予不同的初始权重；最后，在训练中动态调整每层的权重，从而更加有效地提取特征。与常规深度强化学习方法相比，在GridWorld仿真实验中，在相同训练步数内的平均奖励值提升了85.67%；在FlappyBird仿真中，平均奖励值提升了55.05%。实验结果表明所提方法能在不同难度的游戏仿真实验中获得更好的性能。     

基于改进胶囊网络的文本分类

针对卷积神经网络（CNN）中的池化操作会丢失部分特征信息和胶囊网络（CapsNet）分类精度不高的问题，提出了一种改进的CapsNet模型。首先，使用两层卷积层对特征信息进行局部特征提取；然后，使用CapsNet对文本的整体特征进行提取；最后，使用softmax分类器进行分类。在文本分类中，所提模型比CNN和CapsNet在分类精度上分别提高了3.42个百分点和2.14个百分点。实验结果表明，改进CapsNet模型更适用于文本分类。     

基于分层特征化网络的三维人脸识别

针对三维人脸多表情、多姿态变化同时存在,人脸点云数据不同程度缺失的问题,探索性地将三维点云人脸数据应用于PointNet系列的分类网络并进行了识别结果的对比与分析,然后提出了一种新的网络框架——HFN。首先,在数据预处理后随机采样固定点数的点云;其次,将固定点数的人脸点云输入SA模块,以获取局部区域的质心点、邻域点并提取局部区域的特征,然后拼接由DSA模块基于多方向卷积提取的点云空间结构特征;最后,利用全连接层进行三维人脸的分类,从而实现三维人脸识别。在CASIA数据库上的结果显示,所提方法的平均识别率为96.34%,优于PointNet、PointNet++、PointCNN和空间聚合网络（SAN）这几种分类网络。     

基于残差边卷积的3D点云分类算法

3D点云的不规则性与无序性使点云的分类仍具有挑战性.针对上述问题,文中设计基于残差边卷积的3D点云分类算法,可直接从点云学习到具有区分度的形状描述子,用于目标分类.首先,设计具有残差学习的边卷积模块,用于点云的特征提取.通过K近邻算法,该边卷积模块在输入点云上构建局部图,使用卷积及最大池化进行局部特征的提取与聚合.然后,通过多层感知器从原始点特征中提取全局特征,并以残差学习的方式与局部特征结合.最后,以该卷积块为基本单元,构建深度神经卷积网络,实现3D点云的分类.文中方法较全面地考虑点云局部特征与全局特征的有机结合,网络具有更深层次的结构,最终得到的形状描述子更抽象,具有更高的区分度.在具有挑战性的ModelNet40、ScanObjectNN数据集上的实验证实文中方法的分类性能较优.     

基于动态图卷积和离散哈特莱转换差异性池化的点云数据分类分割网络

针对目前可以直接处理原始点云数据的深度学习网络PointNet,忽略了点与点之间的拓扑关系和全局特征信息单一的缺陷,提出一种基于动态图卷积和离散哈特莱转换（DHT）差异性池化的点云数据分类分割网络。首先,设计动态图卷积模块构建局部邻域图结构,通过图卷积网络获得点与点之间的位置关系,同时采用动态更新图结构的方式,增强网络表征能力;然后,通过离散哈特莱转换将特征转换到指定维度;最后,通过最大池化和平均池化并联通道获得全局特征。实验结果证明：提出的网络模型与PointNet网络模型在同样的数据集和评价标准上对比,点云分类任务上总体精度提高2.6个百分点,部件分割任务平均交并比（mIoU）提高4.1个百分点,场景语义分割任务mIoU提高8.6个百分点。通过运用该网络模型能有效提升点云数据分类分割的准确率,同时该网络具有更强的鲁棒性。     

对稀疏点云规则化处理的分类卷积神经网络

深度学习作为点云分类的重要方法之一，通常会因为点云的稀疏性、无序性、有限性等特点，导致卷积算子不能充分提取局部空间相关性，直接使用卷积提取点的相关特征将导致特征信息的丢失。为此提出一种经过X变换后的点云分类卷积神经网络：XTNet(convolutional neural network based on X-transform)。XTNet对输入的原始点云数据进行X变换，将它们置换成潜在的规范顺序，抑制点云无序性、稀疏性对卷积操作的影响，避免卷积操作过程中的信息丢失；使用K近邻算法构建局部区域后，使用卷积层提取局部信息；在提取局部特征的同时通过通道扩充增加信息传递、丰富特征；在各局部特征提取模块间设置跳跃连接，进一步减少局部信息的丢失。在标准公开数据集ModelNet40和真实数据集ScanObjectNN中进行了实验。实验结果表明，与目前主流的多个高性能网络相比，XTNet分类准确率提高了0.3～4个百分点，并且拥有良好的鲁棒性和普适性。     

结合动态图卷积和空间注意力的点云分类与分割

目的 随着3维采集技术的飞速发展,点云在计算机视觉、自动驾驶和机器人等领域有着广泛的应用前景。深度学习作为人工智能领域的主流技术,在解决各种3维视觉问题上已表现出巨大潜力。现有基于深度学习的3维点云分类分割方法通常在聚合局部邻域特征的过程中选择邻域特征中的最大值特征,忽略了其他邻域特征中的有用信息。方法 本文提出一种结合动态图卷积和空间注意力的点云分类分割方法（dynamic graph convolution spatial attention neural networks,DGCSA）。通过将动态图卷积模块与空间注意力模块相结合,实现更精确的点云分类分割效果。使用动态图卷积对点云数据进行K近邻构图并提取其边特征。在此基础上,针对局部邻域聚合过程中容易产生信息丢失的问题,设计了一种基于点的空间注意力（spatial attention,SA）模块,通过使用注意力机制自动学习出比最大值特征更具有代表性的局部特征,从而提高模型的分类分割精度。结果 本文分别在ModelNet40、ShapeNetPart和S3DIS（Stanford Large-scale 3D Indoor Spaces Dataset）数据集上进行分类、实例分割和语义场景分割实验,验证模型的分类分割性能。实验结果表明,该方法在分类任务上整体分类精度达到93.4%;实例分割的平均交并比达到85.3%;在室内场景分割的6折交叉检验平均交并比达到59.1%,相比基准网络动态图卷积网络分别提高0.8%、0.2%和3.0%,有效改善了模型性能。结论 使用动态图卷积模块提取点云特征,在聚合局部邻域特征中引入空间注意力机制,相较于使用最大值特征池化,可以更好地聚合邻域特征,有效提高了模型在点云上的分类、实例分割与室内场景语义分割的精度。     

一种鲁棒的多特征点云分类分割深度神经网络

现有的深度学习方法在处理点云分割任务时,难以有效地学习点云的局部特征,存在分类分割精度低和鲁棒性差的问题。构建深度神经网络RMFP-DNN用于多特征点云分类分割。分别利用自注意力模块和多层感知机提取点云的局部特征和全局特征,并将两者相互融合,提高分类分割的准确率和鲁棒性。实验结果表明,RMFP-DNN平均分类准确率和整体分类准确率分别为88.9%和92.6%,与PointNet、PointNet++、DGCNN等方法相比,准确率较高且鲁棒性较好。     

面向部件分割的PointNet注意力加权特征聚合网络

为解决PointNet最大池化损失次要特征导致部件分割精度降低的问题,提出一种面向部件分割的PointNet注意力加权特征聚合网络,能够充分利用点云的不同特征进行部件分割。首先利用多层感知机提取点云的空间几何特征,将特征乘以共享权重矩阵,以获取每个点的每一个特征的注意力分数;接着把归一化的分数作为权重乘以对应的全局特征并求和,得到聚合的全局特征;最后使用多层感知机将聚合的特征映射到部件分割结果。实验结果表明,相比于传统PointNet方法,该方法提升了部件分割的总平均交并比,同时在网络鲁棒性和计算复杂度方面具有显著优势。该方法有效优化了PointNet。     

对称式密集连接网络的地基云图分割方法

为了提高地基云图分割的精度，提出一种对称式密集连接卷积神经网络的云图分割方法进行地基云图分割研究。提出的新的网络结构通过普通卷积层提取地基云图特征，通过连续的密集连接块和上采样模块对特征图进一步处理，通过并联方式融合网络浅层和网络深层的特征图从而实现对地基云图精确的分割。其中，密集块中采用跨层连接的方式实现了网络中所用层的特征传递，使得云图特征得到复用，同时一定程度上减轻了训练过程中的梯度消失问题，通过并联浅层网络和深层网络的特征图实现了对地基云图的进一步精确分割。实验结果表明，该方法与其他用于地基云图分割的机器学习方法相比，能够提高地基云图的分割准确率，具有良好的泛化效果。     

基于角度特征的分类网络

卷积神经网络(Convolutional Neural Networks,CNN)在图像分类任务中的卓越表现,使得其被广泛应用于计算机视觉的各个领域。图像分类模型精度与效率的提升,除了归功于网络结构的改变外,还有很大一部分原因来自于归一化技术以及分类损失函数的改进。在人脸识别任务中,随着精度的不断提升,分类损失函数从Softmax Loss到Triplet Loss,又从L-Softmax Loss到Arcface Loss,度量方式从几何度量发展到角度度量。度量方式的改变实际上是特征形式的变化,即特征形式从一般特征转变为角度特征。在Mnist数据集上,使用角度度量损失函数训练得到的特征点呈角度分布,同时准确率比几何度量高;将角度度量方式用更直接的角度特征来表示,训练得到的同类特征点呈直线分布,准确度也比一般角度度量更高。这不禁令人思考,在CNN分类模型中是否可以使用角度特征来代替一般特征。在CNN分类模型中,其主要架构往往由多个卷积层和一个或多个全连接层组成,通过统一卷积层与全连接层的归一化操作,得到角度卷积层与角度全连接层。在普通分类网络的基础上,用角度卷积层替换卷积层,用角度全连接层替换全连接层,可以得到一个由角度特征组成的角度分类网络。在Cifar-100数据集上,基于ResNet-32构造的角度分类网络相比原分类网络,分类准确率提高了2%,从而论证了角度特征在分类网络中的有效性。     

基于超点图网络的三维点云室内场景分割模型

针对点云数据集样本不均衡及PointNet网络无法充分利用点云邻域信息的问题,提出一种三维点云场景分割模型。根据几何信息将原始点云块同质分割为超点,利用小型PointNet网络将点云原始特征映射到高维空间中,并挖掘场景中深层语义信息。在此基础上,构建自归一化属性门控单元优化点云上下文语义分割效果,采用二维图像领域中的Focal Loss损失函数实现点云场景分割。实验结果表明,该模型在S3DIS数据集上的平均交并比、总体精度、平均精度分别达到63.8%、86.4%、74.3%,较SPG模型分别提升1.7、0.9、1.3个百分点。