基于注意力机制辅助的空谱联合残差网络的高光谱图像分类

卷积神经网络（convolutional neural network,CNN）是高光谱图像分类中一种常用的方法,有着较好的分类表现。然而,CNN不可避免地会提取出一些冗余特征,这对高光谱图像分类的准确率造成干扰。此外,高光谱图像分类还面临着同谱异物、同物异谱问题。为了解决以上这些问题,提出了一种基于注意力机制辅助空谱联合残差网络的高光谱图像分类方法。一方面,通过使用注意力机制辅助的3-D、2-D残差网络,同时从光谱维度和空间维度提取空谱联合特征,克服同谱异物、同物异谱问题;另一方面,引入通道注意力机制和空间注意力机制,有效降低了冗余空谱特征的干扰。在2种高光谱数据集上的实验结果表明,相比同类对比算法,所提出的方法具有更优越的分类性能。     

一种结合三重注意力机制的双路径网络胸片疾病分类方法

近年来,利用CNN进行医学图像处理,在胸片疾病分类任务中取得显著研究进展。然而,与单一结构CNN相比,双路径网络可结合不同CNN特点,从而提高疾病分类能力。其次,对于不同疾病,其位置、大小、形态、密度、纹理等特征均有不同,而注意力机制有助于模型提取不同病理特征,提升分类精度。因此针对胸片疾病分类问题,该文提出一种结合三重注意力机制的双路径卷积神经网络(TADPN),TADPN将ResNet和DenseNet结合的双路径网络DPN作为骨干网络,并利用3种不同形式的注意力机制改进DPN,在维持参数量稳定的同时提高网络复杂度,进而提升对胸片疾病的分类精度。在ChestXray14数据集上实验,并与目前较为先进的6种算法对比,14种疾病的平均AUC值达到0.8185,较前人提升1.1%,表明双路径CNN及三重注意力机制对胸片疾病分类的有效性及TADPN的先进性。     

一种基于可变形卷积的高光谱图像分类算法

随着深度学习的不断发展,基于深度学习的机器 视觉方法被广泛应用,其中,卷积神 经网络(convolutional neural network,CNN)对高光谱图像(hyperspectral imagery,HSI ) 分类有着显著的效果。传统卷积网络中卷积核的采样位置是固定的,不能根据HSI中复杂的 空间结构而改变,忽略了数据在空间分布上的特征,为了提高高光谱图像分类在实际应用中 的性能,本文提出了一种基于可变形卷积的高光谱图像分类方法,考虑到HSI高维度的特性 , 将可变形卷积从2D引伸到3D,从而更好地提取3D空间上的特征。本文结合双分支双注意机制网络(double- branch dual-attention mechanism network,DBDA)的网络结构和3D可变形卷积,在Indi an Pines(IP)和Botswana(BS)2个数据集上进行了实验。实验结果表明,本文的方法在 综合精度(overall accuracy, OA) 、平均精度(average accuracy, AA)、KAPPA评价标准上均获得了更好的分类准确 率,相较于次优算法,OA提高了0.15%—0.23%,AA提高了0.21%, KAPPA提高了0.000—0.001。     

基于卷积神经网络与注意力机制的高光谱图像分类

由于浅层卷积神经网络(convolutional neural network,CNN)模型感受野的限制,无法捕获远距离特征,在高光谱图像 (hyperspectral image,HSI) 分类问题中无法充分利用图像空间-光谱信息,很难获得较高精度的分类结果。针对上述问题,本文提出了一种基于卷积神经网络与注意力机制的模型(model based on convolutional neural network and attention mechanism,CNNAM),该模型利用CA (coordinate attention)对图像通道数据进行位置编码,并利用以自注意力机制为核心架构的Transformer模块对其进行远距离特征提取以解决CNN感受野的限制问题。CNNAM在Indian Pines和Salinas两个数据集上得到的总体分类精度分别为97.63%和99.34%,对比于其他模型,本文提出的模型表现出更好的分类性能。另外,本文以是否结合CA为参考进行了消融实验,并证明了CA在CNNAM中发挥重要作用。实验证明将传统CNN与注意力机制相结合可以在HSI分类问题中获得更高的分类精度。     

基于多融合多尺度特征的高光谱图像分类研究

针对高光谱图像(HSI)波段之间的冗余性给高光谱图像分类结果产生的不利影响,研究基于多融合多尺度特征的高光谱图像分类方法。将采用于主成分分析降维处理的HSI数据作为多尺度特征多融合残差网络输入,利用多尺度特征多融合残差块提取HSI中的光谱特征和空间特征,并组成若干组光谱-空间特征;采用支持向量机展开分类处理,获取各光谱-空间特征的概率输出结果和权重,建立多特征加权概率融合模型,利用最大后验概率获取高光谱图像分类结果。实验结果表明:光谱-空间多尺度特征融合残差块数量为2+2模式、空间输入尺寸大小为9×9,可获取最佳多尺度特征融合残差网络;所提方法抗噪能力较好,可较好体现地物细节信息;且具备较高的高光谱图像分类精度。     

基于光谱注意力图卷积网络的高光谱图像分类

近年来,图卷积网络因其特征聚合的机制,能够同时对单个节点以及近邻节点的特征进行表示,被广泛应用于高光谱图像的分类任务。然而,高光谱图像(HSI)中常存在波段冗余、同物异谱等问题,使得直接利用原始光谱特征构建的初始图可靠性不足,从而导致高光谱图像的分类精度低。为此,该文提出一种基于光谱注意力图卷积网络(SAGCN)的高光谱图像半监督分类方法。首先,利用注意力模块对光谱的局部与全局信息进行交互,以增加重要光谱的权重、减小冗余波段以及噪声波段的权重,从而实现光谱的自适应加权;然后,针对光谱加权处理后的高光谱图像,通过空间-光谱相似性度量构建更为准确的近邻矩阵;最后,通过图卷积对标记和无标记样本进行有效的特征聚合,并使用标记样本的聚合特征训练网络。在Indian Pines, Kennedy Space Center和Botswana 3个真实高光谱图像数据集上的实验结果验证了所提方法的有效性。     

基于空谱注意力机制及预激活残差网络的高光谱图像分类算法

面向高光谱图像分类的许多深度学习算法中,由于提取的空谱特征表示鉴别性不足,其模型的分类性能有待提高。针对该问题,本文提出了一种基于空谱注意力机制及预激活残差网络的高光谱图像分类算法。首先,设计了基于空谱注意力机制的空谱特征提取模块,对空谱特征进行重校准,为空谱特征在后续联合学习时能专注于更具辨别力的通道和空间位置提供保证;其次,设计了基于预激活残差网络的空谱特征联合学习模块,其中预激活残差网络改进了原始残差构建块的网络结构,从而能在利用注意力机制重校准的空谱特征的联合学习时捕获更具鉴别性的深层空谱特征,以提高分类器的分类性能。实验结果表明,和已有的一些高光谱图像分类算法相比,所提出的算法的分类准确率更高,表明该算法能有效地获得判别能力更强的空谱特征表示。      

多尺度特征与双注意力机制的高光谱影像分类

针对经典卷积神经网络(convolutional neural network,CNN) 的高光谱影像分类方法存在关键细节特征表现不足、训练需要大量样本等问题,提出一种基于多尺度特征与双注意力机制的高光谱影像分类方法。首先,利用三维卷积提取影像的空谱特征,并采用转置卷积获得特征的细节信息;然后,通过不同尺寸的卷积核运算提取多尺度特征并实现不同感受野下多尺度特征的融合;最后,设计双注意力机制抑制混淆的区域特征,同时突出区分性特征。在两幅高光谱影像上进行的实验结果表明:分别在每类地物中 随机选取10%和0.5%的样本作为训练样本,提出模型的总体分类精度分别提高到99.44%和98.86%;对比一些主流深度学习分类模型,提出模型能够关注于对分类任务贡献最大的关键特征,可以获取更高的分类精度。     

MCA-Net:多尺度综合注意力CNN在医学图像分割中的应用

医学图像自动分割技术具有辅助临床医学诊断的功能.为改善CNN模型在医学图像分割中存在感受野小及细节特征不敏感等问题,基于多尺度策略以及注意力机制,提出一种多尺度综合注意力的U形网络架构,以提升医学图像分割质量.首先,提出一个新的双路径因式分解多尺度融合块,以扩展图像特征的感受野,进一步提取图像特征的细节信息.其次,在架构中融入通道和空间融合自注意力块,利用注意力机制的特性,抑制不相关的部分或背景以突显深层特征的空间信息.最后,引入多尺度注意力块.该模块通过融合多个尺度的特征信息,以突出不同尺度中最显著的特征图来适应当前分割对象的大小.为验证模型的可靠性,将所提出的网络模型应用于肺部、细胞轮廓及肝脏等医学图像分割任务.实验结果表明,所提方法在准确率、Dice系数、AUC及灵敏度等评估指标上均优于目前用于医学图像分割的主流方法.     

基于生成对抗网络的高光谱图像分类

为了解决简单卷积神经网络(convolutional neural network, CNN)不能有效提取与充分利用高光谱图像特征信息的问题,提出了一种 基于残差网络的多层特征匹配生成对抗网络模型。提出的模型引入残差网络以挖掘高光谱图 像的深层特征,生成可分性更高的高光谱图像,并通过一个特征融合层进行特征融合,充分 利用网络的各层特征。提出的算法在Indian Pines、Pavia University和Salinas数据集 上的分类精度分别达到了97.6%,99.3%,99.1%,与径向基函数支持向量机(radial basis function-support vector machine, RBF-SVM)、堆叠自动编码器(stacked autoencoder, SAE)、深度置信网络(deep belief network, DBN)、PPF-CNN (CNN based on pixel-pair feature)、CNN和三维卷积网络 (three-dimensional convolutional neural network, 3D-CNN)方法相比较,其分类精度具有明显的提高。实验结果表明,提出的方法是一种有效 的高光谱图像分类方法。     

基于迁移学习的注意力胶囊网络

胶囊网络(Capsule Network,CapsNet)通过运用胶囊取代传统神经元,能有效解决卷积神经网络(Conventional Neural Network,CNN)中位置信息缺失的问题,近年来在图像分类中受到了极大的关注.由于胶囊网络的研究尚处于起步阶段,因此目前大多数胶囊网络研究成果在复杂数据集上表现的分类...     

基于YOLO的轻量红外图像行人检测方法

红外图像中行人的快速检测一直是计算机视觉领域的热点和难点。针对红外图像行人目标检测算法检测速度和检测精度难以平衡,算法模型体积较大,在中低性能设备中难以部署和实时运行的问题,提出了一种基于YOLO算法的轻量红外图像行人检测方法。在分析了MobileNet-v3等轻量网络在YOLO-v3算法上的性能和特点之后,该方法提出了引入注意力机制的轻量特征提取网络(CSPmini-a)、特征融合模块和解耦检测端分类回归结构三种改进措施,在满足网络模型轻量的情况下保证了一定的检测精度。实验表明,该方法有效的实现了红外图像行人目标检测的准确性和快速性。     

Kernel eigenmaps based multiscale sparse model for hyperspectral image classification

Hyperspectral imaging (HSI) is the emerging method that combines traditional imaging and spectroscopy to provide the image with both the spatial and spectral information of the object present in the image. The major challenges of the existing techniques for HSI classification are the high dimensionality of data and its complexity in classification. This paper devises a new technique to classify the HSI named Spatial–Spectral Schroedinger Eigen Maps based Multi-scale adaptive sparse representation (S²SEMASR). In this, two different phases are employed for the accurate classification of the HSI, namely, Schroedinger Eigen maps (SE) based spatial–spectral feature extraction and multi-scale adaptive sparse classification for the feature extracted image. SE makes use of spatial–spectral cluster potentials which allows the extraction of features that best describes the characteristics of different classes of HSI. The multiscale adaptive sparse representation (MASR) applied over the SE features provides the sparse coefficients that includes distinct scale level sparsity with same class level sparsity. With the obtained coefficients, the class label of each pixel is determined. The proposed HSI classifier well utilizes the spectral and spatial characteristics to exploit the within-class variability and thus reduces the misclassification of similar test pixels Experimental results demonstrated that the proposed S²SEMASR approach outperforms the traditional results both qualitatively and quantitatively with an overall accuracy of 98.3%.     

Multi-scale convolutional attention network for lightweight image super-resolution

Convolutional neural network (CNN) based methods have recently achieved extraordinary performance in single image super-resolution (SISR) tasks. However, most existing CNN-based approaches increase the model’s depth by stacking massive kernel convolutions, bringing expensive computational costs and limiting their application in mobile devices with limited resources. Furthermore, large kernel convolutions are rarely used in lightweight super-resolution designs. To alleviate the above problems, we propose a multi-scale convolutional attention network (MCAN), a lightweight and efficient network for SISR. Specifically, a multi-scale convolutional attention (MCA) is designed to aggregate the spatial information of different large receptive fields. Since the contextual information of the image has a strong local correlation, we design a local feature enhancement unit (LFEU) to further enhance the local feature extraction. Extensive experimental results illustrate that our proposed MCAN can achieve better performance with lower model complexity compared with other state-of-the-art lightweight methods.