基于多尺度注意力CNN的SAR遥感目标识别

目标识别是合成孔径雷达（Synthetic Aperture Radar,SAR）图像解译的重要步骤。鉴于卷积神经网络（Convolutional Neural Network, CNN）在自然图像分类领域表现优越,基于CNN的SAR图像目标识别方法成为了当前的研究热点。SAR图像目标的散射特征往往存在于多个尺度当中,且存在固有的噪声斑,含有冗余信息,因此,SAR图像目标智能识别成为了一项挑战。针对以上问题,本文提出一种多尺度注意力卷积神经网络,结合多尺度特征提取和注意力机制,设计了基于注意力的多尺度残差特征提取模块,实现了高精度的SAR遥感图像目标识别。该方法在MSTAR数据集10类目标识别任务中的总体准确率达到了99.84%,明显优于其他算法。在测试集加入4种型号变体后,10类目标识别任务中的总体准确率达到了99.28%,验证了该方法在复杂情况下的有效性。     

基于多尺度和注意力模型的红外与可见光图像融合

针对红外与可见光图像在融合后容易出现伪影,小目标轮廓不清晰等问题,提出一种基于多尺度特征与注意力模型相结合的红外与可见光图像融合算法。通过5次下采样提取源图像不同尺度的特征图,再将同一尺度的红外与可见光特征图输入到基于注意力模型的融合层,获得增强的融合特征图。最后把小尺度的融合特征图进行5次上采样,再与上采样后同一尺度的特征图相加,直到与源图像尺度一致,实现对特征图的多尺度融合。实验对比不同融合框架下融合图像的熵、标准差、互信息量、边缘保持度、小波特征互信息、视觉信息保真度以及融合效率,本文方法在多数指标上优于对比算法,且融合图像目标细节明显轮廓清晰。     

基于空间与光谱注意力的光学图像和SAR图像特征融合分类方法

针对多源遥感图像的差异性和互补性问题,该文提出一种基于空间与光谱注意力的光学图像和SAR图像特征融合分类方法。首先利用卷积神经网络分别进行光学图像和SAR图像的特征提取,设计空间注意力和光谱注意力组成的注意力模块分析特征重要程度,生成不同特征的权重进行特征融合增强,同时减弱对无效信息的关注,从而提高光学和SAR图像融合分类精度。通过在两组光学和SAR图像数据集上进行对比实验,结果表明所提方法取得更高的融合分类精度。     

基于混合注意力机制的SAR图像目标识别算法

深度学习算法应用于SAR图像分类领域时存在模型训练时间较长且精度不够高等问题。对此,提出一种基于混合注意力机制的卷积神经网络模型,该模型基本模块分为主干分支和软分支。主干分支由残差收缩网络和改良之后的通道注意力机制组成,负责提取主要特征;软分支将下采样和上采样相结合,负责提取混合注意力权重,增强从输入到输出的映射能力。该模型在MSTAR数据集上取得了99.6%的识别率,且训练时间较短。噪声分析显示：该模型对椒盐噪声具有较强的鲁棒性。     

融合多尺度特征与注意力的脑白质病变分割

针对目前磁共振脑影像上的脑白质病变分割精度较低、小病灶易漏识的问题,提出一种结合多尺度信息与注意力机制的U-Net改进模型用于脑白质病变分割.首先,引入多尺度卷积模块以拓展网络宽度,提升特征捕获能力.其次,引入混合下采样模块,对粗、细两种粒度的下采样特征进行融合以减少下采样过程中的信息损失;同时,引入跨层融合模块,通过对跳跃连接两端的编、解码信息进行融合,降低对等层间的语义差异.最后,在编码阶段采用分散注意力模式,根据深、浅层的不同特点分别设计空间注意力模块和通道注意力模块,以增强网络对病灶区域的关注度.在MICCAI2017 WMHs分割挑战赛提供的公开数据集上与同任务的其它文献算法进行对比,本文算法在召回率和相似系数的性能评估上均获得了有效提升,分别达到了0.834和0.803,这表明本文算法是一种有效的脑白质病变自动分割算法.     

基于多尺度混合卷积网络的高光谱图像分类

针对高光谱图像数据分布不均匀、空谱特征提取不够充分以及随着网络层数增加而导致的网络退化等问题,提出一种基于多尺度混合卷积网络的高光谱图像分类方法。首先,使用主成分分析对高光谱数据进行降维处理;接着,利用邻域提取将邻域内的像素点作为一个样本,补充相应的空间信息;然后,使用多尺度混合卷积网络对预处理后的样本数据进行特征提取,并加入混合域注意力机制来加强空间和光谱维中有用的信息;最后,使用Softmax分类器对每个像素样本进行类别划分。实验结果表明：将所提出的模型在Indian Pines和Pavia University两个高光谱数据集中进行实验,其总体分类精度、平均分类精度、Kappa系数分别能达到0.987 9、0.983 3、0.986 2和0.999 0、0.996 9、0.998 6。该算法能够更加充分地提取高光谱图像的特征信息,与其他分类方法相比取得了更好的分类效果。     

基于多尺度特征融合和注意力机制的医学图像分割网络

针对传统编解码结构的医学图像分割网络存在特征信息利用率低、泛化能力不足等问题,该文提出了一种结合编解码模式的多尺度语义感知注意力网络(multi-scale semantic perceptual attention network,MSPA-Net) 。首先,该网络在解码路径加入双路径多信息域注意力模块(dual-channel multi-information domain attention module,DMDA) ,提高特征信息的提取能力;其次,网络在级联处加入空洞卷积模块(dense atrous convolution module,DAC) ,扩大卷积感受野;最后,借鉴特征融合思想,设计了可调节多尺度特征融合模块 (adjustable multi-scale feature fusion,AMFF) 和双路自学习循环连接模块(dual self-learning recycle connection module,DCM) ,提升网络的泛化性和鲁棒性。为验证网络的有效性,在CVC-ClinicDB、ETIS-LaribPolypDB、COVID-19 CHEST X-RAY、Kaggle_3m、ISIC2017和Fluorescent Neuronal Cells等数据 集上进行验证,实验结果表明,相似系数分别达到了94.96%、92.40%、99.02%、90.55%、92.32%和75.32%。因此,新的分割网络展现了良好的泛化能力,总体性能优于现有网络,能够较好实现通用医学图像的有效分割。     

基于注意力机制的多尺度融合图像超分辨率重建

针对图像超分辨率重建算法在信息恢复过程中存在特征提取不充分、重建高频细节能力不足等问题,在SRGAN的基础上提出了一种基于注意力机制的多尺度融合图像超分辨率重建算法(SRGAN-MCA)。首先,构建了一种基于坐标注意力机制的多尺度密集残差注意力模块来提取不同尺度的特征信息,以解决图像超分辨率重建非线性映射过程中特征提取不充分的问题;其次,通过在网络判别器中嵌入谱归一化来约束判别器的Lipschitz常数,以增强网络训练的稳定性;最后添加了Charbonnier损失函数对SRGAN-MCA进行训练优化,以实现更高质量重建。在Set5、Set14、BSD100数据集上的实验结果表明,与SRGAN相比,2倍和4倍放大重建图像的峰值信噪比(PSNR)平均提高了0.35 dB、0.47 dB,结构相似性(SSIM)平均提高了0.005 4、0.016。     

一种基于小波变换的SAR图像多尺度融合变化检测方法

提出了一种针对多时相SAR图像变化检测的基于小波变换的多尺度融合检测方法,首先对多时相SAR图像取对数比得到变化比图像,然后对变化比图像进行多尺度小拨变换和低频重构,并对每个尺度的重构图像做自适应闻值变化检测,计算出每个像素的最优分解尺度,最后基于最优尺度完成像素的融合检测,利用像素的最优分解尺度融合多尺度的检测结果性提高变化区域边界像素检测的准确性,通过仿真SAR图像和真实SAR图像的检测实验证明了该方法的有效性.     

多尺度特征融合的壁画多光谱图像颜料3D-CNN分类方法

颜料的分类识别是古代壁画进行保护修复的基础,多光谱成像方法能够无损快速地获取壁画颜料的光谱图像数据并进行分析。传统利用卷积神经网络进行特征提取的算法中连续的卷积和池化操作会丢失壁画多光谱图像的部分特征信息,使得图像细节无法重建,导致分类图像边界不平滑。针对该问题,提出了一种基于多尺度特征融合的三维空洞卷积残差神经网络对壁画多光谱图像进行颜料分类。首先,在卷积核中引入空洞结构提高卷积核的感受野来提取不同尺度信息,避免池化操作所导致的部分特征丢失;其次,使用特征融合的方法融合不同尺度的特征图,增加多尺度特征的结构层次;最后,引入残差学习模块避免网络层数加深导致的梯度消失问题,重建完整的边缘信息。实验结果表明,所提方法在模拟壁画多光谱图像数据集上的总体精度和平均精度分别达到了98.87%和96.89%,与各对照组相比,不仅具有更好的分类精度,而且得到了边界更清晰的分类图像。     

基于注意力机制特征融合网络的SAR图像飞机目标快速检测

针对合成孔径雷达(Synthetic Aperture Radar,SAR)图像中飞机目标散射点离散化程度高,周围背景干扰复杂,现有算法对飞机浅层语义特征表征能力弱等问题,本文提出了基于注意力特征融合网络(Attention Feature Fu-sion Network,AFFN)的SAR图像飞机目标检测算法.通过引入瓶颈注意力模块(Bottleneck Attention Module,BAM),本文在AFFN中构建了包含注意力双向特征融合模块(Attention Bidirectional Feature Fusion Module,ABFFM)与注意力传输连接模块(Attention Transfer Connection Block,ATCB)的注意力特征融合策略并合理优化了网络结构,提升了算法对飞机离散化散射点浅层语义特征的提取与判别.基于自建的Gaofen-3与TerraSAR-X卫星图像混合飞机目标实测数据集,实验对AFFN与基于深度学习的通用目标检测以及SAR图像特定目标检测算法进行了比较,其结果验证了AFFN对SAR图像飞机目标检测的准确性与高效性.     

基于空间多尺度残差网络的红外与可见光图像融合

针对如何充分提取和融合红外与可见光图像典型特征的问题,提出一种基于空间多尺度残差网络的图像融合算法。首先,将源图像输入基于空间多尺度残差模块组成的编码器网络,通过源图像重建任务,训练编码器自动获取重要特征信息的能力;然后,引入特征金字塔结构,设计了特征通道自注意力机制,编码器输出的基础层和细节层进行融合,减小尺度噪声,并由解码器重构出融合图像;最后,利用公开数据集进行定性和定量实验,证明了改进算法在突出红外图像目标和保留可见光图像纹理细节两方面的优势,相比于DDcGAN算法,新算法的标准差和平均梯度分别提升了12.91%和47.41%。     

基于多尺度决策融合的SAR图像溢油检测方法分析

本文以墨西哥湾溢油事故的一幅SAR溢油影像数据为信息源,通过多尺度分析和基于灰度共生矩阵的纹理特征提取,最后引入多尺度决策融合策略,对各尺度获得的检测结果进行融合,从而形成统一的溢油检测框架。     

基于多尺度和注意力融合学习的行人重识别

行人重识别的关键依赖于行人特征的提取,卷积神经网络具有强大的特征提取以及表达能力。针对不同尺度下可以观察到不同的特征,该文提出一种基于多尺度和注意力网络融合的行人重识别方法(MSAN)。该方法通过对网络不同深度的特征进行采样,将采样的特征融合后对行人进行预测。不同深度的特征图具有不同的表达能力,使网络可以学习到行人身上更加细粒度的特征。同时将注意力模块嵌入到残差网络中,使得网络能更加关注于一些关键信息,增强网络特征学习能力。所提方法在Market1501, DukeMTMC-reID和MSMT17_V1数据集上首位准确率分别到了95.3%, 89.8%和82.2%。实验表明,该方法充分利用了网络不同深度的信息和关注的关键信息,使模型具有很强的判别能力,而且所提模型的平均准确率优于大多数先进算法。     

基于分块CNN的多尺度SAR图像目标分类算法

针对合成孔径雷达（Synthetic Aperture Radar, SAR）图像目标分辨率差异大,多尺度SAR图像目标分类准确率不高的问题,提出了一种基于迁移学习和分块卷积神经网络（Convolutional Neural Network, CNN）的SAR图像目标分类算法。首先通过大量与目标域相近的源域数据对分块CNN的参数进行训练,得到不同尺度下的CNN特征提取网络;其次将CNN的卷积和池化层迁移到新的网络结构中,实现目标特征的提取;最后用超限学习机（Extreme Learning Machine, ELM）网络对提取的特征进行分类。实验数据采用美国MSTAR数据库以及多尺度SAR图像舰船目标数据集,实验结果表明,该方法对多尺度SAR图像的分类效果优于传统CNN。     

利用注意力机制融合多尺度特征的图像去雨方法

针对图像中累积的雨水严重干扰高层视觉算法运行的问题,提出了一种高效的图像去雨方法。该方法利用注意力机制设计了一个多尺度特征融合去雨网络。首先用一个预处理模块提取出雨水的浅层特征,再将浅层特征送入多尺度特征融合模块获得深层次的特征,在多尺度特征融合模块中引入注意力机制将这些特征进行融合,提高模块中使用平滑扩张卷积减少伪影问题。实验结果表明,该方法在公开雨水数据集Rain100 H、Rain100 L和Rain12上获得的峰值信噪比(PSNR)和结构相似比(SSIM)指标相比其它方法分别平均提高了0.93 dB和1.43%,获得了更清晰的去雨结果。     

基于多尺度偶数卷积注意力U-Net的医学图像分割

为了提高U-Net网络性能的同时尽可能减少额外计算量,本文提出了一种新的多尺度偶数卷积注意力UNet(Multiscale Even Convolution Attention U-Net,MECAU-Net)网络。该网络在编码端采用2×2偶数卷积代替3×3卷积进行特征提取,并借鉴多尺度思想,采用4×4偶数卷积将得到的信息直接传递给主干部分,以获取更全面的图像信息并减少额外计算开销,同时还采用对称填充解决偶数卷积提取信息过程中产生的偏移问题。此外,在2×2偶数卷积模块后加入卷积注意力模块,结合空间和通道注意力,在提取更丰富的信息的同时几乎不增加额外开销。最后,在两个医学图像数据集上进行仿真实验,实验结果表明提出的MECAU-Net网络相对于U-Net在稍微增加计算成本的情况下,分割性能得到了较大的提升,并比其他对比网络取得更好的分割性能的同时还降低了参数量。     

红外与可见光图像多尺度Transformer融合方法

目前主流的深度融合方法仅利用卷积运算来提取图像局部特征,但图像与卷积核之间的交互过程与内容无关,且不能有效建立特征长距离依赖关系,不可避免地造成图像上下文内容信息的丢失,限制了红外与可见光图像的融合性能。为此,本文提出了一种红外与可见光图像多尺度Transformer融合方法。以Swin Transformer为组件,架构了Conv Swin Transformer Block模块,利用卷积层增强图像全局特征的表征能力。构建了多尺度自注意力编码-解码网络,实现了图像全局特征提取与全局特征重构;设计了特征序列融合层,利用SoftMax操作计算特征序列的注意力权重系数,突出了源图像各自的显著特征,实现了端到端的红外与可见光图像融合。在TNO、Roadscene数据集上的实验结果表明,该方法在主观视觉描述和客观指标评价都优于其他典型的传统与深度学习融合方法。本方法结合自注意力机制,利用Transformer建立图像的长距离依赖关系,构建了图像全局特征融合模型,比其他深度学习融合方法具有更优的融合性能和更强的泛化能力。