基于双通道多尺度特征提取和注意力的SAR与多光谱图像融合

图像融合的根本任务是提取图像特征,由于合成孔径雷达（Synthetic Aperture Radar,SAR）图像和多光谱（Multi Spectral,MS）图像存在通道差异,针对现有算法难以充分提取和利用SAR图像的高频细节信息和多光谱图像的低频光谱信息,融合图像存在细节丢失和光谱失真问题。本文提出了一种基于双通道多尺度特征提取和混合注意力的图像融合算法。首先采用双通道网络提取SAR和多光谱图像的多尺度高频细节特征和低频光谱特征,并连续使用不同空洞率的扩张卷积扩大感受野。然后将提取的特征映射到混合注意力模块中进行特征增强,再将这些增强特征与上采样的多光谱图像叠加。同时构建了基于光谱角度距离的损失函数,可以进一步缓解细节丢失和光谱失真。最后通过解码网络重建图像,得到高分辨率的融合图像。实验结果表明,本文算法达到了领先水平,并且融合图像在细节和光谱上保持了较好的平衡。     

基于分块CNN的多尺度SAR图像目标分类算法

针对合成孔径雷达（Synthetic Aperture Radar, SAR）图像目标分辨率差异大,多尺度SAR图像目标分类准确率不高的问题,提出了一种基于迁移学习和分块卷积神经网络（Convolutional Neural Network, CNN）的SAR图像目标分类算法。首先通过大量与目标域相近的源域数据对分块CNN的参数进行训练,得到不同尺度下的CNN特征提取网络;其次将CNN的卷积和池化层迁移到新的网络结构中,实现目标特征的提取;最后用超限学习机（Extreme Learning Machine, ELM）网络对提取的特征进行分类。实验数据采用美国MSTAR数据库以及多尺度SAR图像舰船目标数据集,实验结果表明,该方法对多尺度SAR图像的分类效果优于传统CNN。     

基于自注意力特征融合的半监督生成对抗网络用于SAR目标识别

与具有大量标注数据的光学图像相比,合成孔径雷达(Synthetic Aperture Radar,SAR)图像缺乏足够的标记样本,限制了监督学习的SAR目标识别算法的性能.而无监督识别方法又难以满足实际需求,因此本文提出了基于自注意力特征融合的半监督生成对抗网路.首先,在构建生成器和判别器时引入自注意力层,克服卷积算子...     

基于多尺度融合注意力改进UNet的遥感图像水体分割

针对遥感图像水体分割任务，提出了一种多尺度融合注意力模块改进的UNet网络——A-MSFAM-UNet，该方法在GF-2遥感图像水体分割任务中实现了端到端高分辨率遥感图像水体分割。首先，针对以往注意力模块全局池化操作带来的局部信息不敏感问题，设计了一种多尺度融合注意力模块（MSFAM），该模块使用点卷积融合通道全局信息、深度可分离卷积弥补全局池化造成的信息丢失。MSFAM用于UNet跳跃连接后的特征融合部分重新分配特征点权重以提高特征融合效率，增强网络获取不同尺度信息的能力。其次，空洞卷积用于VGG16主干网络扩展感受野，在不损失分辨率的情况下聚合全局信息。结果表明，A-MSFAM-UNet优于其他通道注意力（SENet、ECANet）改进的UNet，在GF-2水体分割数据集上平均交并比（MIoU）、平均像素精度（MPA）和准确率（Acc）分别达到了96.02%、97.98%和99.26%。     

基于多尺度及双注意力机制的小尺寸人群计数

本文针对背景干扰、特征信息不足以及尺度剧烈变化等问题,提出了一种基于多尺度及双注意力机制(Multi-Scale and Dual Attention,MSDA)的小尺寸人群计数网络.MSDA网络主要由空间一通道双注意力(Spatial Channel-dual Attention,SCA)模块和多尺度特征融合(Multi-scale Feature Fusion,MFF)模块构成.MFF模块将特征送入三列拥有不同卷积核的膨胀卷积来扩大小目标的空间尺度,再通过特征级联及卷积操作进行多尺度特征融合;SCA模块把特征送入通道注意力网络,使用空间注意力中的池化操作及逐像素相乘操作加强细节信息;最后将处理好的特征送入密度图生成模块,通过1 x 1卷积获得密度图.在Mall数据集和Shanghaitech数据集上进行了测试,取得了较好的准确率与鲁棒性.     

红外与可见光图像注意力生成对抗融合方法研究

目前,基于深度学习的融合方法依赖卷积核提取局部特征,而单尺度网络、卷积核大小以及网络深度的限制无法满足图像的多尺度与全局特性.为此,本文提出了红外与可见光图像注意力生成对抗融合方法.该方法采用编码器和解码器构成的生成器以及两个判别器.在编码器中设计了多尺度模块与通道自注意力机制,可以有效提取多尺度特征,并建立特征通道长...     

多级注意力特征网络的小样本学习

针对目前基于度量学习的小样本方法存在特征提取尺度单一,类特征学习不准确,相似性计算依赖标准度量等问题,该文提出多级注意力特征网络。首先对图像进行尺度处理获得多个尺度图像;其次通过图像级注意力机制融合所提取的多个尺度图像特征获取图像级注意力特征;在此基础上使用类级注意机制学习每个类的类级注意力特征。最后通过网络计算样本特征与每个类的类级注意力特征的相似性分数来预测分类。该文在Omniglot和MiniImageNet两个数据集上验证多级注意力特征网络的有效性。实验结果表明,相比于单一尺度图像特征和均值类原型,多级注意力特征网络进一步提高了小样本条件下的分类准确率。     

红外与可见光图像多尺度Transformer融合方法

目前主流的深度融合方法仅利用卷积运算来提取图像局部特征,但图像与卷积核之间的交互过程与内容无关,且不能有效建立特征长距离依赖关系,不可避免地造成图像上下文内容信息的丢失,限制了红外与可见光图像的融合性能。为此,本文提出了一种红外与可见光图像多尺度Transformer融合方法。以Swin Transformer为组件,架构了Conv Swin Transformer Block模块,利用卷积层增强图像全局特征的表征能力。构建了多尺度自注意力编码-解码网络,实现了图像全局特征提取与全局特征重构;设计了特征序列融合层,利用SoftMax操作计算特征序列的注意力权重系数,突出了源图像各自的显著特征,实现了端到端的红外与可见光图像融合。在TNO、Roadscene数据集上的实验结果表明,该方法在主观视觉描述和客观指标评价都优于其他典型的传统与深度学习融合方法。本方法结合自注意力机制,利用Transformer建立图像的长距离依赖关系,构建了图像全局特征融合模型,比其他深度学习融合方法具有更优的融合性能和更强的泛化能力。     

基于增强多尺度特征网络的图像去模糊

现有的多尺度多阶段图像去模糊方法存在多尺度图像特征提取利用不充分和阶段加深导致特征信息丢失的问题。针对上述问题,提出了一种基于增强多尺度特征网络的图像去模糊方法。首先,提出一个多尺度残差特征提取模块,在两个分支中使用不同大小的卷积核扩大感受野,充分提取不同分辨率大小图像的特征信息。其次,提出跨阶段注意力模块,过滤和传递图像的关键特征。最后,设计类似于跳跃连接的跨阶段特征融合模块,弥补特征损失,同时融合来自不同大小输入图像的特征信息,丰富空间特征信息,以更好地处理纹理细节。在GoPro和HIDE数据集上的实验结果表明,所提方法能够很好地重建图像。     

基于空间与光谱注意力的光学图像和SAR图像特征融合分类方法

针对多源遥感图像的差异性和互补性问题,该文提出一种基于空间与光谱注意力的光学图像和SAR图像特征融合分类方法。首先利用卷积神经网络分别进行光学图像和SAR图像的特征提取,设计空间注意力和光谱注意力组成的注意力模块分析特征重要程度,生成不同特征的权重进行特征融合增强,同时减弱对无效信息的关注,从而提高光学和SAR图像融合分类精度。通过在两组光学和SAR图像数据集上进行对比实验,结果表明所提方法取得更高的融合分类精度。     

稀疏先验引导CNN学习的SAR图像目标识别方法

深度学习技术的应用给SAR图像目标识别带来了大幅度的性能提升,但其对实际应用中车辆目标局部部件的变化适应能力仍有待加强。利用数据内在先验知识,在高维语义特征中学习其内在的低维子空间结构,可以提升分类模型在车辆目标变体条件下的泛化性能。本文基于目标特征的稀疏性,提出了一种稀疏先验引导卷积神经网络（Convolution Neural Network,CNN）学习的SAR目标识别方法（CNN-TDDL）。首先,该方法利用CNN提取SAR图像目标的高维语义特征。其次,通过稀疏先验引导模块,利用特征稀疏性,对目标特征内在的低维子空间结构进行学习。分类任务驱动的字典学习层（Task-Driven Dictionary Learning,TDDL）将目标特征的低维子空间以稀疏编码的形式表示,再利用非负弹性正则网增强了稀疏编码的稳定性,使稀疏编码不仅有效地表征目标的低维子空间结构,并且能够提取更具判别性的类别特征。基于运动和静止目标获取与识别（Moving and Stationary Target Acquisition and Recognition,MSTAR）数据集以及仿真和实测配对和标记实验 （Synthetic and Measured Paired and Labeled Experiment,SAMPLE） 数据集的实验表明,相比于传统字典学习方法和典型深度学习方法,CNN-TDDL在MSTAR标准操作条件（Standard Operating Conditions, SOC）下识别精度提升0.85%~5.28%,型号识别精度提升3.97%以上,表现出更好的泛化性能。特征可视化分析表明稀疏先验引导模块显著提升了异类目标特征表示的可分性。      

基于数据扩维的SAR目标识别性能提升技术

卷积神经网络的出现使得深度学习在视觉领域取得了巨大的成功,并逐渐延伸到合成孔径雷达(SAR)图像识别领域。然而,SAR图像样本量不足,难以支撑卷积神经网络的训练需求,并且SAR图像包含大量相干斑噪声及不确定性,网络结构的设计较为困难。所以,深度学习在SAR图像识别领域的应用受到阻碍。针对上述问题,文中提出一种基于数据扩维的SAR目标识别性能提升方法,通过对原始SAR 图像进行相关预处理操作并把处理后图像与原始图像结合,从而将一维的原始数据扩充成多维数据来作为训练样本。该扩维方法不仅间接扩充了样本量来支撑网络训练,同时也在网络训练前加入了“主动学习冶影响,所以无需针对SAR图像特性来构建复杂卷积网络,而采用成熟、简单的网络进行训练就可以达到理想的测试精度。最后,使用MSTAR 数据对该方法进行了性能验证,实验结果显示了所提方法的有效性。     

基于卷积神经网络与注意力机制的高光谱图像分类

由于浅层卷积神经网络(convolutional neural network,CNN)模型感受野的限制,无法捕获远距离特征,在高光谱图像 (hyperspectral image,HSI) 分类问题中无法充分利用图像空间-光谱信息,很难获得较高精度的分类结果。针对上述问题,本文提出了一种基于卷积神经网络与注意力机制的模型(model based on convolutional neural network and attention mechanism,CNNAM),该模型利用CA (coordinate attention)对图像通道数据进行位置编码,并利用以自注意力机制为核心架构的Transformer模块对其进行远距离特征提取以解决CNN感受野的限制问题。CNNAM在Indian Pines和Salinas两个数据集上得到的总体分类精度分别为97.63%和99.34%,对比于其他模型,本文提出的模型表现出更好的分类性能。另外,本文以是否结合CA为参考进行了消融实验,并证明了CA在CNNAM中发挥重要作用。实验证明将传统CNN与注意力机制相结合可以在HSI分类问题中获得更高的分类精度。     

Research on EEG emotion recognition based on CNN+BiLSTM+self-attention model

<正>To address the problems of insufficient dimensionality of electroencephalogram(EEG) feature extraction, the tendency to ignore the importance of different sequential data segments, and the poor generalization ability of the model in EEG based emotion recognition, the model of convolutional neural network and bi-directional long short-term memory and self-attention(CNN+Bi LSTM+self-attention) is proposed. This model uses convolutional neural network(CNN) to extract more distinctive featu...     

基于门控卷积神经网络的图像超分辨重建算法北大核心CSCD

近年来,卷积神经网络被广泛应用于图像超分辨率领域。针对基于卷积神经网络的超分辨率算法存在图像特征提取不充分,参数量大和训练难度大等问题,本文提出了一种基于门控卷积神经网络(gated convolutional neural network, GCNN)的轻量级图像超分辨率重建算法。首先,通过卷积操作对原始低分辨率图像进行浅层特征提取。之后,通过门控残差块(gated residual block, GRB)和长短残差连接充分提取图像特征,其高效的结构也能加速网络训练过程。GRB中的门控单元(gated unit, GU)使用区域自注意力机制提取输入特征图中的每个特征点权值,紧接着将门控权值与输入特征逐元素相乘作为GU输出。最后,使用亚像素卷积和卷积模块重建出高分辨率图像。在Set14、BSD100、Urban100和Manga109数据集上进行实验,并和经典方法进行对比,本文算法有更高的峰值信噪比(peak signal-to-noise ratio,PSNR)和结构相似性(structural similarity,SSIM),重建出的图像有更清晰的轮廓边缘和细节信息。     

多尺度特征融合与特征通道关系校准的SAR图像船舶检测

目前深度学习技术在SAR图像的船舶检测中已取得显著的成果,但针对SAR船舶图像中复杂多变的背景环境,如何准确高效地提取目标特征,提升检测精度与检测速度仍存在着巨大的挑战.针对上述问题,该文提出了一种多尺度特征融合与特征通道关系校准的SAR图像船舶检测算法.在Faster R-CNN的基础上,首先通过引入通道注意力机制对...