基于卷积神经网络与注意力机制的高光谱图像分类

由于浅层卷积神经网络(convolutional neural network,CNN)模型感受野的限制,无法捕获远距离特征,在高光谱图像 (hyperspectral image,HSI) 分类问题中无法充分利用图像空间-光谱信息,很难获得较高精度的分类结果。针对上述问题,本文提出了一种基于卷积神经网络与注意力机制的模型(model based on convolutional neural network and attention mechanism,CNNAM),该模型利用CA (coordinate attention)对图像通道数据进行位置编码,并利用以自注意力机制为核心架构的Transformer模块对其进行远距离特征提取以解决CNN感受野的限制问题。CNNAM在Indian Pines和Salinas两个数据集上得到的总体分类精度分别为97.63%和99.34%,对比于其他模型,本文提出的模型表现出更好的分类性能。另外,本文以是否结合CA为参考进行了消融实验,并证明了CA在CNNAM中发挥重要作用。实验证明将传统CNN与注意力机制相结合可以在HSI分类问题中获得更高的分类精度。     

基于几何估计的光谱解混方法

光谱解混是高光谱数据分析的重要技术之一。全约束(即非负性约束和归一化约束)最小二乘线性光谱混合模型(FCLS-LSMM)具有模型简单和物理意义明确等优点而得以广泛使用。然而,FCLS-LSMM的传统优化求解方法的迭代过程非常复杂。近年提出的几何方法为降低LSMM的求解复杂度提供了新思路,但是所获得的结果并非真正意义上的全约束最小二乘解。为此,建立一种完全符合FCLS要求的LSMM几何求解方法,具有复杂度低和可以获得理论最优解等优点。实验表明了所提出方法的有效性。     

基于CRNN混合神经网络的多语种识别

在语种识别过程中,为提取语音信号中的空间特 征以及时序特征,从而达到提高多语 种识别准确率的目的,提出了一种利用卷积循环神经网络(convolutional recurrent neural network,CRNN)混合神经网络的多语种识别模型。该模型首先提 取语音信号的声学特征;然后将特征输入到卷积神经网络(convolutional neural network,CNN) 提取低维度的空间特征;再通过空 间金字塔池化层(spatial pyramid pooling layer,SPP layer) 对空间特征进行规整,得到固定长度的一维特征;最后将其输入到循环神经 网络(recurrenrt neural network,CNN) 来判别语种信息。为验证模型的鲁棒性,实验分别在3个数据集上进行,结果表明:相 比于传统的CNN和RNN,CRNN混合神经网络对不同数据集的语种识别 准确率均有提高,其中在8语种数据集中时长为5 s的语音上最为明显,分别提高了 5.3% 和6.1%。     

Regularized MSBL algorithm with spatial correlation for sparse hyperspectral unmixing

Sparse unmixing is a promising approach that is formulated as a linear regression problem by assuming that observed signatures can be expressed as a linear combination of a few endmembers in the spectral library. Under this formulation, a novel regularized multiple sparse Bayesian learning model, which is constructed via Bayesian inference with the conditional posterior distributions of model parameters under a hierarchical Bayesian model, is proposed to solve the sparse unmixing problem. Then, the total variation regularization and the non-negativity constraint are incorporated into the model, thus exploiting the spatial information and the physical property in hyperspectral images. The optimal problem of the model is decomposed into several simpler iterative optimization problems that are solved via the alternating direction method of multipliers, and the model parameters are updated adaptively from the algorithm. Experimental results on both synthetic and real hyperspectral data demonstrate that the proposed method outperforms the other algorithms.     

多级跳线连接的深度残差网络超分辨率重建

由于快速的卷积神经网络超分辨率重建算法(FSRCNN)卷积层数少、相邻卷积层的特征信息之间缺乏关联性,因此难以提取到图像深层信息导致图像超分辨率重建效果不佳。针对此问题,该文提出多级跳线连接的深度残差网络超分辨率重建方法。首先,该方法设计了多级跳线连接的残差块,在多级跳线连接的残差块基础上构造了多级跳线连接的深度残差网络,解决相邻卷积层的特性信息缺乏关联性的问题;然后,使用随机梯度下降法(SGD)以可调节的学习率策略对多级跳线连接的深度残差网络进行训练,得到该网络超分辨率重建模型;最后,将低分辨率图像输入到多级跳线连接的深度残差网络超分辨率重建模型中,通过多级跳线连接的残差块得到预测的残差特征值,再将残差图像和低分辨率图像组合在一起转化为高分辨率图像。该文方法与bicubic, A+, SRCNN, FSRCNN和ESPCN算法在Set5和Set14测试集上进行了对比测试,在视觉效果和评价指标数值上该方法都优于其它对比算法。     

多尺度关键信息融合的轻量级图像超分辨重建

针对基于卷积神经网络(convolutional neural network,CNN) 的图像超分辨重建(super-resolution,SR)模型存在特征提取不充分、网络太深导致的参数量大以及冗余信息对网络最终重建性能影响等问题,设计了一种轻量级密集连接图像超分辨网络(lightweight densely connected image super-resolution network,LDCN)。该网络设计了多尺度迭代特征提取模块(multi-scale iterative feature extraction module,MIFEM),实现在较低参数的情况下充分提取多尺度特征;根据残差收缩思想构建的关键信息提取模块(key information extraction module,KIEM),相较原始模块可以去除更多的冗余信息,使网络充分关注到关键信息且模块整体参数下降72%;最后,在密集残差网络中引入特征传输模块(feature transfer module,FTM),进一步降低模型复杂度,解决了模型层数深、参数大的问题。实验结果表明,LDCN在重建性能和视觉观感上均优于主流模型。4个测试集上,与轻量化 模型MADNet相比,PSNR分别提升0.1 dB、0.11 dB、0.06 dB、0.26 dB,参数量仅为MADNet的47.6%。     

融合注意力机制与残差网络的人耳识别方法

人耳特征具有良好的唯一性与稳定性等特点,近年来被广泛应用于身份识别领域。针对人耳采集易受头发、耳饰等物品遮挡问题,本文提出了一种基于ERNet的人耳识别方法。该方法在IResNet网络的基础上,引入改进的SE模块,通过融合最大池化与均值池化的统计特性,增强身份相关特征的表示,抑制非相关特征的影响,以此解决在非受控环境下由于遮挡原因造成的识别困难问题。大量实验结果表明,相比较于原网络,改进后的方法识别性能提高较为明显。在同等遮挡条件下,本文所提出的模型具有较好的鲁棒性能。     

多尺度残差特征融合的轻量级真实图像超分辨率重建

基于深度学习的真实图像超分辨率(super-resolution, SR)重建算法目前存在参数量过大的问题,为解决该问题,提出了一种多尺度残差特征融合的轻量级真实图像SR重建算法。首先利用深度可分离卷积和复用卷积针对多尺度特征提取块进行改进,在提取特多尺度特征的同时实现了模块的轻量化,参数量仅为改进前的7.5%。其次使用残差特征融合操作将4个多尺度深度可分离特征提取块(multi-scale depthwise separable block, MSDSB)聚合成一个残差特征融合块,以减少残差路径长度。然后使用增强型注意力模块从通道和空间维度进行自适应调整以提升算法性能。最后使用自适应上采样模块获得SR重建图像。在消融实验中,本文算法重建性能超过原始算法,且参数量仅为3.53×10⁶,是原始算法的34.5%。在对比实验中,其重建性能超过了当前主流算法,与组件分而治之(component divide-and-conquer, CDC)算法相比,PSNR和SSIM指标分别提升了0.01 dB与0.001 0,且参数量仅为组件CDC算法的8.84%,在保证重建性能的同...     

双分支特征提取与循环细化的动态场景去模糊

针对现有的动态场景图像去模糊方法存在的特征提取不准确、未充分利用有效特征的问题,本文提出了一种基于双分支特征提取与循环细化的动态场景图像去模糊网络。整个网络包括特征提取网络、循环细化网络(cyclic refinement network, CRN)、图像重建(image reconstruction, IR)3部分。其中,特征提取网络包括模糊图像细节和轮廓特征(contour feature, CF)的提取,以残差单元作为特征提取网络的基本单元;循环细化网络通过交替融合轮廓特征和细节特征(detail feature, DF)来细化特征图,得到模糊图像的细化特征(refinement feature, RF);最后,在图像重建阶段,复用轮廓和细节特征,结合残差学习策略将轮廓特征、细节特征和细化后的特征逐级融合后通过非线性映射的方式重建清晰图像。在广泛使用的动态场景模糊数据集GOPRO上的实验结果表明,该方法的平均峰值信噪比(peak signal to noise ratio,PSNR)达到31.86,平均结构相似度(structure similarity,SSIM)达到0.947...     

基于残差网络的光学遥感图像场景分类算法

提出一种基于卷积神经网络中残差网络的遥感图像场景分类方法.本文方法在原网络模型中嵌入了跳跃连接和协方差池化两个模块,用于连接多分辨率特征映射和融合不同层次的多分辨率特征信息,并在3个公开的经典遥感数据集上进行了实验.结果证明,本文方法不仅可以将残差网络中不同层次的多分辨率特征信息融合在一起,还可以利用高阶信息来实现更具...     

改进的超分辨率图像重建算法

针对超分辨率卷积神经网络(SRCNN)卷积层较少、训练时间长、不易收敛且表达和泛化能力受限等问题,提出了一种残差反卷积SRCNN(RD-SRCNN)算法.首先利用不同大小的卷积核进行卷积操作,以更好地提取低分辨率图像中的细节特征;然后将获取的图像特征输入由不同大小卷积核构成的卷积层和指数线性单元激活层组成的残差网络,并...     

基于全卷积神经网络的SAR图像目标分类

近年来,卷积神经网络(Convolutional Neural Network,CNN)在合成孔径雷达(Synthetic Aperture Radar,SAR)图像目标分类中取得了较好的分类结果。CNN结构中,前面若干层由交替的卷积层、池化层堆叠而成,后面若干层为全连接层。全卷积神经网络（All Convolutional Neural Network, A-CNN）是对CNN结构的一种改进,其中池化层和全连接层都用卷积层代替,该结构已在计算机视觉领域被应用。针对公布的MSTAR数据集,提出了基于A-CNN的SAR图像目标分类方法,并与基于CNN的SAR图像分类方法进行对比。实验结果表明,基于A-CNN的SAR图像目标分类正确率要高于基于CNN的分类正确率。     

基于多流扩张残差稠密网络的图像去雨算法

针对传统图像去雨算法未考虑多尺度雨条纹及图像去雨后细节信息丢失的问题,提出一种基于多流扩张残差稠密网络的图像去雨算法,利用导向滤波器将图像分解为基础层和细节层.通过直接学习含雨图像细节层和无雨图像细节层的残差来训练网络,缩小映射范围.采用3条带有不同扩张因子的扩张卷积对细节层进行多尺度特征提取,获得更多上下文信息,提取...     

一种基于残差网络的改进网络流量分类算法

基于卷积神经网络的网络流量分类算法中,为了提高分类准确度,其结构设计日趋复杂,容易出现梯度下滑甚至梯度消失,导致预测准确度不升反降。文章提出了一种基于残差网络的改进流量分类算法,引入残差网络层代替传统卷积神经网络中的卷积层和池化层,不仅缓解了传统卷积网络因层次太深导致难以训练的问题,同时与传统卷积运算相比,所提出的残差网络在训练时学习到的数据特征信息更加全面,训练后的模型也更加准确。仿真结果表明,改进后的算法比常规的神经网络算法表现更佳,分类准确度从92.05%提高到了96.18%。     

融合深度学习与多尺度Retinex的水下图像增强方法

针对水下图像纹理模糊和色偏严重等问题,提出了一种融合深度学习与多尺度导向滤波Retinex的水下图像增强方法。首先,将陆上图像采用纹理和直方图匹配法进行退化,构建退化水下图像失真的数据集并训练端到端卷积神经网络(convolutional neural network,CNN) 模型,利用该模型对原始水下图像进行颜色校正,得到色彩复原后的水下图像;然后,对色彩复原图像的亮度通道,采用多尺度Retinex(multi-scale Retinex,MSR) 方法得到纹理增强图像;最后,融合色彩复原图像中的颜色分量和纹理增强图像得到最终水下增强图像。本文利用仿真水下图像数据集和真实水下图像对提出方法进行性能测试。实验结果表明,所提方法的均方根误差、峰值信噪比、CIEDE2000和水下图像质量评价指标分别为0.302 0、17.239 2 dB、16.878 4和4.960 0,优于5种对比方法,增强后的水下图像更加真实自然。本文方法在校正水下图像颜色失真的同时,能有效提升纹理清晰度和对比度。     

改进生成式对抗网络的图像数据集增强算法

针对现有深度学习中图像数据集缺乏的问题,提出了一种基于深度卷积生成式对抗网络(Deep Convolutional Generative Adversarial Network, DCGAN)的图像数据集增强算法。该算法对DCGAN网络进行改进,首先在不过多增加计算量的前提下改进现有的激活函数,增强生成特征的丰富性与多样性;然后通过引入相对判别器有效缓解模式坍塌现象,从而提升模型稳定性;最后在现有生成器结构中引入残差块,获得相对高分辨率的生成图像。实验结果表明,将所提方法应用在MNIST、SAR和医学血细胞数据集上,图像数据增强效果与未改进的DCGAN网络相比显著提升。     

基于混合知识蒸馏的轻量级胸部疾病分类算法

针对现有胸部疾病分类算法参数量较大、对运行设备的硬件资源要求较高的问题,本文基于混合知识蒸馏(knowledge distillation,KD) 的训练策略提出一种轻量级胸部疾病分类算法RMSNet。首先,该算法将优化后的残差收缩模块加入到基础网络MobileViT中,利用软阈值化的方式过滤X光片中的背景噪声;其次,提出混合知识蒸馏训练策略,利用多层级注意力图和相似性激活矩阵作为监督信号,提升轻量级模型的分类性能;最后,使用焦点损失函数(focal loss,FL) 缓解数据集正负样本不均衡的问题。在ChestX-ray14数据集上展开验证,蒸馏训练后的RMSNet学生模型识别14类胸部疾病的平均AUC值为0.836,而参数量和浮点计算量分别为0.96 M和0.27 G。实验结果表明,本文算法在保持轻量化的同时分类精度更高,能有效降低算法运行时的硬件要求。