一种多尺度特征关联网络的遥感影像场景分类方法

针对遥感影像场景分类中提取特征信息不准确以及融合冗余信息的问题,提出一种多尺度特征关联网络的遥感影像场景分类方法。首先,利用ResNet18提取多尺度影像特征,并在特征金字塔结构中引入空洞卷积和多头自注意力模块关注各层有效信息,以增强语义信息和抑制周围噪声;其次,使用多特征关联模块来增强关键特征信息,对各层使用全局平均池化并加和,得到特征向量;最后,采用全连接层进行分类。该方法在NWPU数据集上的总体分类精度为90.51%,相比VGG＿VD16-MSCP、VGG＿VD16-SAFF以及DTDCNN等网络分别提升1.58%、2.65%和6.39%。结果表明,文章所用的多尺度融合方式能够更好地提取特征地物并抑制周围背景,从而取得更高的遥感影像场景分类精度。     

基于3D多尺度特征融合残差网络的高光谱图像分类

深度学习中用于训练的高光谱图像(HSI)数据十分有限,因此较深的网络不利于空谱特征的提取.为了缓解该问题,文中提出3D多尺度特征融合残差网络,利用深度学习和多尺度特征融合的方式对光谱-空间特征进行有序的学习.首先对3D-HSI数据进行自适应降维,将降维后的图像作为网络输入.然后,通过多尺度特征融合残差块依次提取光谱-空间特征,融合不同尺度的特征,通过特征共享增强信息流,获得更丰富的特征.最后以端到端的方式训练网络.在相关数据集上的测试表明,文中网络具有良好的分类性能.     

基于特征融合和代价敏感学习的图像标注方法

针对图像标注数据集中存在的标注对象比例不一致和标签分布不平衡问题,提出基于特征融合和代价敏感学习的图像标注方法.在卷积神经网络中加入特征融合层,改进VGG16原有的网络结构,特征融合层结合注意力机制,对网络中不同卷积层提取的多尺度特征进行选择性融合,提升对不同尺度对象的标注精度;将代价敏感学习融入损失函数对网络模型进行训练,提升网络的泛化性能.实验结果表明,该方法能提升图像标注的准确率,增加对低频标签的召回率.     

基于尺度注意力网络的遥感图像场景分类

针对卷积神经网络（CNN）平等地对待输入图像中潜在的对象信息和背景信息,而遥感图像场景又存在许多小对象和背景复杂的问题,提出一种基于注意力机制和多尺度特征变换的尺度注意力网络模型。首先,开发一个快速有效的注意力模块,基于最优特征选择生成注意力图;然后,在ResNet50网络结构的基础上嵌入注意力图,增加多尺度特征融合层,并重新设计全连接层,构成尺度注意力网络;其次,利用预训练模型初始化尺度注意力网络,并使用训练集对模型进行微调;最后,利用微调后的尺度注意力网络对测试集进行分类预测。该方法在实验数据集AID上的分类准确率达到95.72%,与ArcNet方法相比分类准确率提高了2.62个百分点;在实验数据集NWPU-RESISC上分类准确率达到92.25%,与IORN方法相比分类准确率提高了0.95个百分点。实验结果表明,所提方法能够有效提高遥感图像场景分类准确率。     

基于反卷积高层特征的遥感地物图像分类

目前利用深度卷积神经网络提取图像底层特征后分类效果已比较优秀,但是对于数据量大、波段多、波段间相关性高的多光谱遥感图像并非完全适用。针对多光谱遥感地物分类中常常出现的Hughes现象,即当训练样本一定时,模型的预测能力随着维度的增加而减小,提出了一种结合高层特征空间和迁移学习网络的遥感地物图像分类算法,利用两层堆叠的反卷积网络来提取目标数据集的高层特征,利用VGG16模型的卷积层权重来构建迁移网络模型,将高层特征导入迁移网络中加强训练得到更加优越的训练模型,利用训练模型可对多光谱遥感数据集更加准确分类。实验结果表明,在Satellite、NWPU和UC Merced实验数据中,冰川、建筑群和海滩分类精度得到有效提高,达到92%左右,针对沙漠、岩石、水域等特殊环境遥感图像,总体分类精度提高5%左右。部分多光谱遥感数据的底层特征和中层特征在训练器中表现并不理想,波段的增多也会导致信息的冗余和数据处理复杂性的提高,反而高层特征在这部分数据中保留了地物信息的轮廓,能更好地适应分类器,得到更加优越的分类结果。     

融合多尺度上下文信息的实例分割

目的 实例分割通过像素级实例掩膜对图像中不同目标进行分类和定位。然而不同目标在图像中往往存在尺度差异,目标多尺度变化容易错检和漏检,导致实例分割精度提高受限。现有方法主要通过特征金字塔网络(feature pyramid network,FPN)提取多尺度信息,但是FPN采用插值和元素相加进行邻层特征融合的方式未能充分挖掘不同尺度特征的语义信息。因此,本文在Mask R-CNN(mask region-based convolutional neural network)的基础上,提出注意力引导的特征金字塔网络,并充分融合多尺度上下文信息进行实例分割。方法 首先,设计邻层特征自适应融合模块优化FPN邻层特征融合,通过内容感知重组对特征上采样,并在融合相邻特征前引入通道注意力机制对通道加权增强语义一致性,缓解邻层不同尺度目标间的语义混叠;其次,利用多尺度通道注意力设计注意力特征融合模块和全局上下文模块,对感兴趣区域(region of interest,RoI)特征和多尺度上下文信息进行融合,增强分类回归和掩膜预测分支的多尺度特征表示,进而提高对不同尺度目标的掩膜预测质量。结果 在MS ...     

一种特征由深到浅叠加融合的多尺度目标检测模型

基于深度学习的特征金字塔网络(Feature Pyramid Networks, FPN)仅采用一次上采样与相邻层特征融合的方法,存在浅层网络与深层网络特征关联性不强,多层网络特征融合不充分的问题,影响多尺度目标检测精度。对此,将主干网络中提取的特征进行由深到浅的叠加融合,并对特征金字塔中得到的特征进行补充叠加融合。此外,为进一步提高检测器对目标特征的识别能力,对每次叠加融合后得到的特征通过non-local网络进行特征增强。以PASCAL VOC为数据集的目标检测实验结果表明,所提目标检测模型对数据集中所有类别目标的平均检测精度(mean Average Precision, mAP)为80.6%,对行人类别的检测精度(Average Precision, AP)为81.3%,较FPN网络分别提高了2.4%和2.8%,有效提高了多尺度目标检测精度。     

多尺度下遥感小目标多头注意力检测

针对地理空间遥感图像中检测目标存在多尺度特性、形态多变以及小目标判别特征过少等造成检测识别精度不高的问题,提出了基于多尺度下遥感小目标多头注意力检测算法YOLO-StrVB。对网络结构进行重构,搭建多尺度网络模型,增加目标检测层,提高特征提取网络下遥感小目标模型不同尺度下的检测能力;加入双向特征金字塔网络（Bi-FPN）进行多尺度特征融合,提高双向跨尺度连接和加权特征融合;在YOLOv5网络末端融合Swin Transformer多头注意力机制块,提升感受野适应目标识别任务的多尺度融合关系,优化主干网络;使用Varifocal loss对网络进行训练,提升遥感密集检测小目标的存在置信度和定位精度,并选用CIoU作为边界框回归的损失函数,提高感知分类得分（IACS）的边框回归精度。通过在遥感目标数据集NWPU VHR-10上的实验验证,对比YOLOv5原模型的mAP提高了3.05个百分点,能有效提高小目标的检测精度,达到了对地理空间遥感图像中小目标检测的鲁棒性。     

多特征融合与几何卷积的机载LiDAR点云地物分类

目的 点云分类传统方法中大量依赖人工设计特征,缺乏深层次特征,难以进一步提高精度,基于深度学习的方法大部分利用结构化网络,转化为其他表征造成了3维空间结构信息的丢失,部分利用局部结构学习多层次特征的方法也因为忽略了机载数据的几何信息,难以实现精细分类。针对上述问题,本文提出了一种基于多特征融合几何卷积神经网络（multi-feature fusion and geometric convolutional neural network,MFFGCNN）的机载LiDAR （light detection and ranging）点云地物分类方法。方法 提取并融合有效的浅层传统特征,并结合坐标尺度等预处理方法,称为APD模块（airporne laser scanning point cloud design module）,在输入特征层面对典型地物有针对性地进行信息补充,来提高网络对大区域、低密度的机载LiDAR点云原始数据的适应能力和基础分类精度,基于多特征融合的几何卷积模块,称为FGC （multi-feature fusion and geometric convolution）算子,编码点的全局和局部空间几何结构,实现对大区域点云层次化几何结构的获取,最终与多尺度全局的逐点深度特征聚合提取高级语义特征,并基于空间上采样获得逐点的多尺度深度特征实现机载LiDAR点云的语义分割。结果 在ISPRS （International Society for Photogrammetry and Remote Sensing）提供的3维标记基准数据集上进行模型训练与测试,由于面向建筑物、地面和植被3类典型地物,对ISPRS的9类数据集进行了类别划分。本文算法在全局准确率上取得了81.42%的较高精度,消融实验结果证明FGC模块可以提高8%的全局准确率,能够有效地提取局部几何特性,相较仅基于点的3维空间坐标方法,本文方法可提高15%的整体分类精度。结论 提出的MFFCGNN网络综合了传统特征的优势和深度学习模型的优点,能够实现机载LiDAR点云的城市重要地物快速分类。     

自适应上下文特征的多尺度目标检测算法

识别多尺度目标是检测任务中的一项挑战,针对检测中的多尺度问题,提出自适应上下文特征的多尺度目标检测算法。针对不同尺度的目标需要不同大小感受野特征进行识别的问题,构建了一种多感受野特征提取网络,通过多分支并行空洞卷积,从高层语义特征中挖掘标签中的上下文信息;针对不同尺度目标的语义特征出现在不同分辨率特征图中的问题,基于改进的通道注意力机制,提出自适应的特征融合网络,通过学习不同分辨率特征图之间的相关性,在全局语义特征中融合局部位置特征;利用不同尺度的特征图识别不同尺度的物体。在PASCAL VOC数据集上对本文算法进行验证,本文方法的检测精度达到了85.74%,相较于Faster R-CNN检测精度提升约8.7%,相较于基线检测算法YOLOv3+提升约2.06%。     

自适应多模态特征融合胶质瘤分级网络

目的 胶质瘤的准确分级是辅助制定个性化治疗方案的主要手段,但现有研究大多数集中在基于肿瘤区域的分级预测上,需要事先勾画感兴趣区域,无法满足临床智能辅助诊断的实时性需求。因此,本文提出一种自适应多模态特征融合网络（adaptive multi-modal fusion net,AMMFNet）,在不需要勾画肿瘤区域的情况下,实现原始采集图像到胶质瘤级别的端到端准确预测。方法 AMMFNet方法采用4个同构异义网络分支提取不同模态的多尺度图像特征;利用自适应多模态特征融合模块和降维模块进行特征融合;结合交叉熵分类损失和特征嵌入损失提高胶质瘤的分类精度。为了验证模型性能,本文采用MICCAI （Medical Image Computing and Computer Assisted Intervention Society）2018公开数据集进行训练和测试,与前沿深度学习模型和最新的胶质瘤分类模型进行对比,并采用精度以及受试者曲线下面积（area under curve,AUC）等指标进行定量分析。结果 在无需勾画肿瘤区域的情况下,本文模型预测胶质瘤分级的AUC为0.965;在使用肿瘤区域时,其AUC高达0.997,精度为0.982,比目前最好的胶质瘤分类模型——多任务卷积神经网络同比提高1.2%。结论 本文提出的自适应多模态特征融合网络,通过结合多模态、多语义级别特征,可以在未勾画肿瘤区域的前提下,准确地实现胶质瘤分级预测。     

基于全融合网络的三维点云语义分割

为提高室内场景的点云语义分割精度,设计了一个全融合点云语义分割网络。网络由特征编码模块、渐进式特征解码模块、多尺度特征解码模块、特征融合模块和语义分割头部组成。特征编码模块采用逆密度加权卷积作为特征编码器对点云数据进行逐级特征编码,提取点云数据的多尺度特征;然后通过渐进式特征解码器对高层语义特征进行逐层解码,得到点云的渐进式解码特征。同时,多尺度特征解码器对提取的点云多尺度特征分别进行特征解码,得到点云多尺度解码特征。最后将渐进式解码特征与多尺度解码特征融合,输入语义分割头部实现点云的语义分割。全融合网络增强了网络特征提取能力的鲁棒性,实验结果也验证了该网络的有效性。     

基于多尺度注意力机制的高分辨率网络人体姿态估计

针对人体姿态估计中面对特征图尺度变化的挑战时难以预测人体的正确姿势,提出了一种基于多尺度注意力机制的高分辨率网络MSANet（multiscale-attention net）以提高人体姿态估计的检测精度。引入轻量级的金字塔卷积和注意力特征融合以更高效地完成多尺度信息的提取;在并行子网的融合中引用自转换器模块进行特征增强,获取全局特征;在输出阶段中将各层的特征使用自适应空间特征融合策略进行融合后作为最后的输出,更充分地获取高层特征的语义信息和底层特征的细粒度特征,以推断不可见点和被遮挡的关键点。在公开数据集 COCO2017上进行测试,实验结果表明,该方法比基础网络HRNet的估计精度提升了4.2%。     

基于多尺度特征和元学习的智能预测找矿靶区实验研究

当前智能找矿靶区预测方法大多依赖于人工采样和专家的知识经验,然而,对于现实世界中区域小、数量少的矿区区域,这些方法将面临巨大的挑战。为了迎接这个挑战,提出一种新颖的深度智能找矿靶区预测框架——多尺度特征交互框架。具体地,首先定义两个网络,即多尺度特征映射网络和多尺度特征分类网络;在此基础上,通过膨胀卷积捕获多尺度特征映射网络中不同地球化学元素的特征,并且利用多尺度分类网络处理这些特征;其次,使用元网络为多尺度分类网络生成卷积权重;最后使用自蒸馏挖掘多尺度分类网络中的隐知识用于预测。整个模型采用端到端的训练方式,大量的实验结果表明,多尺度特征交互框架与当前最先进的方法比较具有显著的竞争力。     

基于小样本学习融合随机深度和多尺度卷积的SDM-RNET网络

针对神经网络难以利用少量标注数据获取足够的信息来正确分类图像的问题,提出了一种融合随机深度网络和多尺度卷积的关系网络——SDM-RNET.首先在模型嵌入模块引入随机深度网络用于加深模型深度,然后在特征提取阶段采用多尺度深度可分离卷积替代普通卷积进行特征融合,经过骨干网络后再采用深浅层特征融合获取更丰富的图像特征,最终学习预测出图像的类别.在mini-ImageNet、RP2K、Omniglot这3个数据集上对比该方法与其他小样本图像分类方法,结果表明在5-way 1-shot和5-way 5-shot分类任务上该方法准确率最高.     

多模态特征融合的长视频行为识别方法

行为识别技术在视频检索具有重要的应用价值;针对基于卷积神经网络的行为识别方法存在的长时序行为识别能力不足、尺度特征提取困难、光照变化及复杂背景干扰等问题,提出一种多模态特征融合的长视频行为识别方法;首先,考虑到长时序行为帧间差距较小,易造成视频帧的冗余,基于此,通过均匀稀疏采样策略完成全视频段的时域建模,在降低视频帧冗余度的前提下实现长时序信息的充分保留;其次,通过多列卷积获取多尺度时空特征,弱化视角变化对视频图像带来的干扰;后引入光流数据信息,通过空间注意力机制引导的特征提取网络获取光流数据的深层次特征,进而利用不同数据模式之间的优势互补,提高网络在不同场景下的准确性和鲁棒性;最后,将获取的多尺度时空特征和光流信息在网络的全连接层进行融合,实现了端到端的长视频行为识别;实验结果表明,所提方法在UCF101和HMDB51数据集上平均精度分别为97.2％和72.8％,优于其他对比方法,实验结果证明了该方法的有效性.     

基于多尺度残差网络的单应估计方法

单应估计是许多计算机视觉任务中一个基础且重要的步骤。传统单应估计方法基于特征点匹配,难以在弱纹理图像中工作。深度学习已经应用于单应估计以提高其鲁棒性,但现有方法均未考虑到由于物体尺度差异导致的多尺度问题,所以精度受限。针对上述问题,提出了一种用于单应估计的多尺度残差网络。该网络能够提取图像的多尺度特征信息,并使用多尺度特征融合模块对特征进行有效融合,此外还通过估计四角点归一化偏移进一步降低了网络优化难度。实验表明,在MS-COCO数据集上,该方法平均角点误差仅为0.788个像素,达到了亚像素级的精度,并且在99%情况下能够保持较高的精度。由于综合利用了多尺度特征信息且更容易优化,该方法精度显著提高,并具有更强的鲁棒性。     

基于多级特征和混合注意力机制的室内人群检测网络

针对室内人群目标尺度和姿态多样性、人头目标易与周围物体特征混淆的问题,提出了一种基于多级特征和混合注意力机制的室内人群检测网络（MFANet）。该网络结构包括三部分,即特征融合模块、多尺度空洞卷积金字塔特征分解模块以及混合注意力模块。首先,通过将浅层特征和中间层特征信息融合,形成包含上下文信息的融合特征,用于解决浅层特征图中小目标语义信息不丰富、分类能力弱的问题;然后,利用空洞卷积增大感受野而不增加参数的特性,对融合特征进行多尺度分解,形成新的小目标检测分支,实现网络对多尺度目标的定位和检测;最后,用局部混合注意力模块来融合全局像素关联空间注意力和通道注意力,增强对关键信息贡献大的特征,来增强网络对目标和背景的区分能力。实验结果表明,所提方法在室内监控场景数据集SCUT-HEAD上达到了0.94的准确率、0.91的召回率和0.92的F1分数,在召回率、准确率和F1指标上均明显优于当前用于室内人群检测的其他算法。