结合多尺度与可变形卷积的自监督图像特征点提取网络

特征点提取是图像处理领域的一个重要方向,在视觉导航、图像匹配、三维重建等领域具有广泛的应用价值。基于卷积神经网络的特征点提取方法是目前的主流方法,但由于传统卷积层的感受野大小不变、采样区域的几何结构固定,在尺度、视角和光照变化较大的情况下,特征点提取的精度和鲁棒性较差。为解决以上问题提出了一种结合多尺度与可变形卷积的自监督特征点提取网络。本文以L2-NET为网络骨干,在深层网络中引入多尺度卷积核,增强网络的多尺度特征提取能力,获得细粒度尺度信息的特征图;使用单应矩阵约束的可变形卷积以提取不规则的特征区域,同时降低运算量,并采用归一化约束单应矩阵的求解,均衡不同采样点对结果的影响,配合在网络中增加的卷积注意力机制和坐标注意力机制,提升网络的特征提取能力。文章在HPatches数据集上进行了对比试验和消融实验,与R2D2等7种主流方法进行对比,本文方法的特征点提取效果最好,相比于次优数据,特征点重复度指标（Rep）提升了约1%,匹配分数（M.s.）提升了约1.3%,平均匹配精度（MMA）提高了约0.4%。本文提出的方法充分利用了可变形卷积提供的深层信息,融合了不同尺度的特征,使特征点提取结果更加准确和鲁棒。     

基于MANet的三维点云特征提取方法研究

在三维点云数据特征提取过程中,点云数据本身的稀疏性和不规则性会影响输入数据的全局特征表示,且现有方法未考虑不同特征通道的重要性差异,不利于点云特征的全局优化。提出一种基于多分组表征和注意力机制的MANet网络进行三维点云特征描述。为获得完整的点云特征信息,将点云数据输入多分组表征模块获得初始点云特征。为学习点云不同通道的重要性,引入新的通道注意力机制强调对特征表示重要的通道,抑制不重要的通道,进一步优化特征表示。将优化后的特征输入点云分类网络,实验结果表明,多分组表征可以感知局部信息,注意力机制能够优化全局特征表示,所提方法能够对点云数据进行有效学习,有助于提高点云分类的鲁棒性和准确率。在ModelNet10/40分类数据集上总体准确率（overall accuracy）分别达到95.1%和92.5%,在ScanNet和SHREC15数据集上总体准确率分别为78.6%和97.2%,上述结果均优于PointNet++网络。     

基于注意力机制的三维点云车辆目标检测

针对自动驾驶场景下三维点云车辆的识别和定位问题,提出了一种基于注意力机制的三维点云车辆目标检测算法.算法将稀疏无序的点云空间划分成等距规则的体素表示,用三维稀疏卷积和辅助网络同步从所有体素中提取内部点云特征,进而生成鸟瞰图.但在将内部三维的点云特征转化为二维的鸟瞰图后,通常会造成目标空间特征信息丢失,使得最终检测结果以及方向性预估差.为进一步提取鸟瞰图中特征信息,提出了一种注意力机制模块,其中包含两种注意力模型,并对其采用首、中、尾的"立体式"布局结构,实现对鸟瞰图中特征信息的放大和抑制,最后使用卷积神经网络和PS-Warp变换机制对处理过后的鸟瞰图进行三维目标检测.实验表明,该算法在保证实时检测效率的前提下,与现有算法相比,具有更好的方向预估性以及更高的检测精度.     

基于动态图卷积和空间金字塔池化的点云深度学习网络

点云数据的分类和语义分割在自动驾驶、智能机器人、全息投影等领域中有着重要应用。传统手工提取点云特征的方式,以及将三维点云数据转化为多视图、体素网格等数据形式后再进行特征学习的方式,都存在处理环节多、三维特征损失大等问题,分类和分割的精度较低。目前可以直接处理点云数据的深度神经网络PointNet忽略了点云的局部细粒度特征,对复杂点云场景的处理能力较弱。针对上述问题,提出了一种基于动态图卷积和空间金字塔池化的点云深度学习网络。该网络在PointNet的基础上使用动态图卷积模块来替换PointNet中的特征学习模块,增强了网络对局部拓扑结构信息的学习能力;同时设计了一种基于点的空间金字塔池化结构来捕获多尺度局部特征,该方式比PointNet++的多尺度采样点云、重复分组进行多尺度局部特征学习的方法更加简洁高效。实验结果表明,在点云分类和语义分割任务的3个基准数据集上,所提网络相较于现有网络具有更高的分类和分割精度。     

结合空间结构卷积和注意力机制的三维点云分类网络

目的 三维点云分类作为一项关键任务,在计算机视觉、机器人和自动驾驶等领域有着广泛的应用场景。现有的三维点云分类网络在使用边卷积进行局部特征提取时通常存在输入特征差异性小,空间结构信息提取、融合不充分等问题。针对上述问题,设计了一种结合空间结构卷积和注意力机制的点云分类网络。方法 首先,提出一种空间结构卷积,在边卷积的基础上引入邻接点之间的相对位置信息来降低输入特征相似性,而后从结构和位置两个角度分别进行特征编码,实现更具多样性的局部几何结构捕获。其次,设计了全局特征编码模块,从坐标信息中提炼全局特征信息,同时在网络中融合了注意力机制,用于关联局部和全局特征表示,有效保留了全局特征信息,实现全局特征的适应性调整。最后,将局部几何结构信息和全局位置信息进行有效的融合,获得更具代表性和差异性的特征表征。结果 设计实验在公开数据集ModelNet40上对提出的网络模型的性能进行评估,点云分类总体准确率和平均准确率分别达到93.0%和89.7%,具备良好的分类性能和预测效率。实验结果表明,空间结构卷积的使用有效增加了输入特征的多样性,位置和结构的单独编码有效提高了局部特征的表达能力。同时,提出的注意力加权方式在保留全局特征前提下实现了局部特征和全局特征的关联。结论 提出的网络有较强的细粒度特征提取能力,具有良好的分类性能。     

一种面向散乱点云语义分割的深度残差?特征金字塔网络框架

针对当前基于深度学习的散乱点云语义特征提取方法通用性差以及特征提取不足导致的分割精度和可靠性差的难题, 提出了一种散乱点云语义分割深度残差?特征金字塔网络框架. 首先, 针对当前残差网络在卷积方式上的局限性, 定义一种立方体卷积运算, 不仅可以通过二维卷积运算实现三维表示点的高层特征的抽取, 还可以解决现有的参数化卷积设计通用性差的问题;其次, 将定义的立方体卷积计算与残差网络相结合, 构建面向散乱点云语义分割的深度残差特征学习网络框架; 进一步, 将深度残差网络与特征金字塔网络相结合, 实现三维表示点高层特征多尺度学习与散乱点云场景语义分割. 实验结果表明, 本文提出的立方体卷积运算具有良好的适用性, 且本文提出的深度残差?特征金字塔网络框架在分割精度方面优于现存同类方法.     

一种改进的DenseASPP网络在遥感图像分割中的应用

针对遥感图像语义分割中目标尺度相差较大以及边界模糊等问题,对DenseASPP网络进行改进.引入通道注意力模型和空间注意力模型,使关键特征点在网络中具有更大的权重;在带孔卷积采样时使用分组卷积的方式,同时在训练时采用剪枝策略,舍去权值较低的连接,实现网络的稀疏化,有效克服DenseASPP内存占用过大的问题.改进后的网络在不同场景遥感图像测试的平均精度上比DenseASPP提高了1.1百分点,测试时间减少到DenseASPP的1/5.     

基于稀疏图像序列的雕塑点自动云三维重构方法

为了提高对雕塑点稀疏图像的点云三维重建的分析能力,提出一种基于稀疏图像序列的雕塑点自动云三维重构方法,基于稀疏散乱点三维重建和锐化模板特征匹配方法进行图像三维重建。采用三维角点检测和边缘轮廓特征提取方法,进行雕塑点稀疏图像三维点云特征检测,对检测的雕塑点稀疏图像点云数据进行信息融合处理,采用梯度运算方法进行特征分解,实现对雕塑点稀疏图像的信息增强和融合滤波。结合局部均值降噪方法进行图像的提纯处理,提高雕塑点稀疏图像轮廓重建能力,采用锐化模板特征匹配和块分割技术,实现雕塑点自动云三维重构。仿真结果表明,采用该方法进行雕塑点自动云三维重构的准确性较高,图像匹配能力较好,且重构输出信噪比较高。     

基于注意力的高炉流态化料面多尺度检测算法

针对高炉料面图像经常发生多物理形态周期转变导致料线追踪精度下降问题, 研究了一种基于注意力的多尺度卷积核流态化料面检测算法(MKAD). 构建了雷达数据集–灰度图像–料形可视化的一类特征提取框架, 在卷积层采用通道和空间双注意力机制, 获得不同尺度的精细化颗粒流态化特征; 使用多尺度卷积核自适应方法提取 并融合喷涌料面多尺度颗粒物特征, 实现跨通道特征融合. 在南钢3#高炉和武钢7#高炉进行了实验和综合评估, 精确率分别可达83.01% 和86.50%, 与峰脊锐化方法相比, 分别实现了1.41%和4.9%的性能提升, 上述融合特征提取框架显著增强了料面检测的鲁棒性.     

基于空谱分组卷积密集网络的高光谱图像分类

针对高光谱图像分类在特征提取过程中高分辨率信息丢失,导致分类精度下降的问题,提出一种基于空谱分组卷积密集网络的高光谱图像分类方法。设计光谱-空间三维分组卷积密集模块,对光谱与空间特征进行分步提取,利用分组卷积构造的密集网络能减少数据固有信息冗余,使高分辨率的特征进行重用,避免细节特征信息丢失;设计光谱残差注意力模块,该模块通过结合空-谱特征计算注意力权重,对提取到的光谱特征进行权重重分配,对光谱信息富有的区域进行增强。实验结果表明,相比于若干最优的深度网络方法,所提高光谱图像分类方法具有更好的分类性能。     

面向三维点云单目标跟踪的提案聚合网络

与二维可见光图像相比,三维点云在空间中保留了物体真实丰富的几何信息,能够应对单目标跟踪问题中存在尺度变换的视觉挑战。针对三维目标跟踪精度受到点云数据稀疏性导致的信息缺失影响,以及物体位置变化带来的形变影响这两个问题,在端到端的学习模式下提出了由三个模块构成的提案聚合网络,通过在最佳提案内定位物体的中心来确定三维边界框从而实现三维点云中的单目标跟踪。首先,将模板和搜索区域的点云数据转换为鸟瞰伪图,模块一通过空间和跨通道注意力机制丰富特征信息;然后,模块二用基于锚框的深度互相关孪生区域提案子网给出最佳提案;最后,模块三先利用最佳提案对搜索区域的感兴趣区域池化操作来提取目标特征,随后聚合了目标与模板特征,利用稀疏调制可变形卷积层来解决点云稀疏以及形变的问题并确定了最终三维边界框。在KITTI跟踪数据集上把所提方法与最新的三维点云单目标跟踪方法进行比较的实验结果表明：在汽车类综合性实验中,真实场景中所提方法在成功率上提高了1.7个百分点,精确率上提高了0.2个百分点;在多类别扩展性实验上,即在汽车、货车、骑车人以及行人这4类上所提方法的平均成功率提高了0.8个百分点,平均精确率提高了2.8个百分点。可见,所提方法能够解决三维点云中的单目标跟踪问题,使得三维目标跟踪结果更加精确。     

一种基于注意力机制的三维点云物体识别方法

三维点云数据通常具备无序排列的结构。在三维点云数据处理领域,深度学习模型通常会利用最大池化等对称操作来处理点云的排列不变性。最大池化方法一方面会破坏点云的信息结构,使得局部信息与全局信息难以交互。另一方面,最大池化方法对点云信息过度压缩,得到的特征对局部细节描述不足。针对上述问题,提出了AttentionPointNet的网络结构。该网络利用注意力机制,使每个点与点云其余部分进行特征交互,实现了局部与全局信息的综合。为降低最大池化造成的信息损失,提出了一种稀疏卷积方法来替代池化操作。这种方法利用大步长的稀疏卷积实现全局信息的提取。在ModelNet40数据集上,AttentionPointNet取得了87.2%的准确率。不使用池化层,完全采用卷积层实现的模型取得了86.2%的分类准确率。     

集图卷积和三维方向卷积的点云分类分割模型

现有的深度学习方法在提取点云的局部特征时往往忽略了节点间的位置关系和方向信息，导致不能有效地学习点云的局部特征。为解决这一问题，提出一种集图卷积和三维方向卷积的点云分类分割模型GCN3D。GCN3D模型将图卷积神经网络应用在点云分类分割领域。将点云视作图上的节点，对每个节点求其K近邻，建立局部K近邻邻域内两两节点之间的边，并通过图卷积神经网络参数化边特征以捕捉节点间局部位置关系并更新中心节点特征；使用方向编码模块将节点的邻域划分为八个方位的细粒度的邻域小块，并按照三维空间坐标轴的方向依次将局部邻域结构内的节点特征映射到不同细粒度邻域空间内以提取节点间的方向信息，并且叠加两个方向编码模块增大网络的感受野，提高模型对于稀疏点云数据的鲁棒性并获取局部邻域多尺度特征。在ModelNet40数据集和ShapeNet数据集上分别进行点云分类和点云部分分割的实验。结果表明，相比没有考虑局部特征信息的PointNet,GCN3D模型在ModelNet40数据集上的总体分类精度提高了3.8个百分点，平均分类精度提高了4.3个百分点；在ShapeNet数据集上的平均交并比提高了1.5个百分点。相比其他深度...     

基于残差边卷积的3D点云分类算法

3D点云的不规则性与无序性使点云的分类仍具有挑战性.针对上述问题,文中设计基于残差边卷积的3D点云分类算法,可直接从点云学习到具有区分度的形状描述子,用于目标分类.首先,设计具有残差学习的边卷积模块,用于点云的特征提取.通过K近邻算法,该边卷积模块在输入点云上构建局部图,使用卷积及最大池化进行局部特征的提取与聚合.然后,通过多层感知器从原始点特征中提取全局特征,并以残差学习的方式与局部特征结合.最后,以该卷积块为基本单元,构建深度神经卷积网络,实现3D点云的分类.文中方法较全面地考虑点云局部特征与全局特征的有机结合,网络具有更深层次的结构,最终得到的形状描述子更抽象,具有更高的区分度.在具有挑战性的ModelNet40、ScanObjectNN数据集上的实验证实文中方法的分类性能较优.     

基于深度学习的三维点云人脸识别

为了增强三维点云人脸识别系统针对多表情、多姿态的鲁棒性,提出一种基于深度学习的点云特征提取网络ResPoint。ResPoint网络使用了分组、采样和局部特征提取（ResConv）等模块,而在ResConv模块中使用了跳跃式连接,因此所提网络对于稀疏点云有很好的识别结果。首先通过人脸几何特征点定位鼻尖点,并以该点为中心切割出面部区域,切割出的区域有噪点并且有孔洞,因此对其进行高斯滤波和三维立方插值;其次,使用ResPoint网络对预处理后的点云数据提取特征;最后,在全连接层组合特征以实现三维人脸的分类。在CASIA三维人脸数据库上的实验中,与关系型卷积神经网络（RS-CNN）相比,ResPoint网络的识别正确率提高了5.06%。实验结果表明,ResPoint网络增加了网络深度的同时使用不同的卷积核提取特征,因此ResPoint网络有更好的特征提取能力。     

基于可变形卷积和数据增强的三维多目标检测

近年来,自动驾驶受到越来越多的关注,以点云为输入数据的三维目标检测在该领域中发挥着至关重要的作用。然而,点云目标的尺度差异性以及变换性等问题,导致了目标检测精度的下降。以CenterPoint网络为框架,提出了一种基于可变形卷积和数据增强的三维多目标检测优化算法,该方法提取点云特征后生成地图视角的特征图谱,在检测头网络加入可变形卷积层,并引入图像翻转方法进行数据增强,提高网络对于目标的检测能力。在公开数据集nuScenes上的实验结果表明,该网络与其他方法相比,在汽车、公交车以及行人等类别的检测精度上有一定程度的提升。     

多尺度特征提取的道路场景语义分割

道路场景语义分割是自动驾驶系统的重要组成部分.道路场景中环境复杂、物体种类繁多且尺寸差异较大,已有的全卷积神经网络(FCN)特征提取能力不足,导致语义分割精度较低.对此,提出一种多尺度特征提取网络(Multi-scale Feature Extraction Network,MFNet),该网络采用并行的特征提取模块提取不同尺度下的不变特征,增强特征多样性,通过逐层的反卷积操作,将特征上采样恢复至原始图像大小,设计分级训练方法并优化loss函数.在多个公开数据集上对该算法进行评估,取得了良好的分割效果.     

结合密集残差结构和多尺度剪枝的点云压缩网络

目的 点云是一种重要的三维数据表示形式,已在无人驾驶、虚拟现实、三维测量等领域得到了应用。由于点云具有分辨率高的特性,数据传输需要消耗大量的网络带宽和存储资源,严重阻碍了进一步推广。为此,在深度学习的点云自编码器压缩框架基础上,提出一种结合密集残差结构和多尺度剪枝的点云压缩网络,实现了对点云几何信息和颜色信息的高效压缩。方法 针对点云的稀疏化特点以及传统体素网格表示点云时分辨率不足的问题,采用稀疏张量作为点云的表示方法,并使用稀疏卷积和子流形卷积取代常规卷积提取点云特征;为了捕获压缩过程中高维信息的依赖性,将密集残差结构和通道注意力机制引入到点云特征提取模块;为了补偿采样过程的特征损失以及减少模型训练的动态内存占用,自编码器采用多尺度渐进式结构,并在其解码器不同尺度的上采样层之后加入剪枝层。为了扩展本文网络的适用范围,设计了基于几何信息的点云颜色压缩方法,以保留点云全局颜色特征。结果 针对几何信息压缩,本文网络在MVUB（Microsoft voxelized upper bodies）、8iVFB（8i voxelized full bodies）和Owlii（Owlii dynamic human mesh sequence dataset）3个数据集上与其他5种方法进行比较。相对MPEG（moving picture experts group）提出的点云压缩标准V-PCC（video-based point cloud compression）,BD-Rate（bjontegaard delta rate）分别增加了41%、54%和33%。本文网络的编码运行时间与G-PCC（geometry-based point cloud compression）相当,仅为V-PCC的2.8%。针对颜色信息压缩,本文网络在低比特率下的YUV-PSNR（YUV peak signal to noise ratio）性能优于G-PCC中基于八叉树的颜色压缩方法。结论 本文网络在几何压缩和颜色压缩上优于主流的点云压缩方法,能在速率较小的情况下保留更多原始点云信息。     

基于卦限卷积神经网络的3D点云分析

基于深度学习的三维点云数据分析技术得到了越来越广泛的关注, 然而点云数据的不规则性使得高效提取点云中的局部结构信息仍然是一大研究难点. 本文提出了一种能够作用于局部空间邻域的卦限卷积神经网络(Octant convolutional neural network, Octant-CNN), 它由卦限卷积模块和下采样模块组成. 针对输入点云, 卦限卷积模块在每个点的近邻空间中定位8个卦限内的最近邻点, 接着通过多层卷积操作将8卦限中的几何特征抽象成语义特征, 并将低层几何特征与高层语义特征进行有效融合, 从而实现了利用卷积操作高效提取三维邻域内的局部结构信息; 下采样模块对原始点集进行分组及特征聚合, 从而提高特征的感受野范围, 并且降低网络的计算复杂度. Octant-CNN通过对卦限卷积模块和下采样模块的分层组合, 实现了对三维点云进行由底层到抽象、从局部到全局的特征表示. 实验结果表明, Octant-CNN在对象分类、部件分割、语义分割和目标检测四个场景中均取得了较好的性能.     

改进U-Net的高分辨率遥感图像轻量化分割

针对传统图像分割方法分割效率低下,遥感图像特征复杂多样,复杂场景下分割性能受到限制等问题,在基于U-Net网络架构的基础上,提出一种能够较好提取遥感图像特征并兼顾效率的改进U-Net模型.首先,以EfficientNetV2作为U-Net的编码网络,增强特征提取能力,提高训练和推理效率,然后在解码部分使用卷积结构重参数化方法并结合通道注意力机制,几乎不增加推理时间的前提下提升网络性能,最后结合多尺度卷积融合模块,提高网络对不同尺度目标的特征提取能力和更好地结合上下文信息.实验表明,改进的网络在遥感图像分割性能提升的同时分割效率也提高.