基于SE-Res2Net与多尺度空谱融合注意力机制的高光谱图像分类

为了提取更具有判决力的高光谱图像特征,并防止网络因加深导致退化,在新维度残差网络(Res2Net)和压缩激活网络(squeeze and excitation network,SENet)的基础上,提出新型多尺度特征提取模块SE-Res2Net,并设计多尺度空谱融合注意力模块.为了克服网络加深带来的退化问题,SE-Res2Net模块利用通道分组提取高光谱图像细粒度的多尺度特征得到多个不同粒度的感受野,并采用通道优化模块从通道层面量化特征图的重要性.为了进一步从空间维和光谱维同时优化特征,构建多尺度空谱融合的注意力模块,利用非对称卷积在不同尺度上挖掘不同空间位置和不同光谱维特征的关系,不但能减少计算量,还能有效地提取具有判决力的空谱融合特征,从而提高高光谱图像分类的精度.在3个公共数据集Indian Pines,University of Pavia和Grss_dfc_2013上的对比实验表明,与其他较新的深度网络相比,该方法具有更高的总体精度(overall accuracy,OA)、平均精度(average accuracy,AA)和Kappa系数.     

基于3D多尺度特征融合残差网络的高光谱图像分类

深度学习中用于训练的高光谱图像(HSI)数据十分有限,因此较深的网络不利于空谱特征的提取.为了缓解该问题,文中提出3D多尺度特征融合残差网络,利用深度学习和多尺度特征融合的方式对光谱-空间特征进行有序的学习.首先对3D-HSI数据进行自适应降维,将降维后的图像作为网络输入.然后,通过多尺度特征融合残差块依次提取光谱-空间特征,融合不同尺度的特征,通过特征共享增强信息流,获得更丰富的特征.最后以端到端的方式训练网络.在相关数据集上的测试表明,文中网络具有良好的分类性能.     

多尺度3D胶囊网络高光谱图像分类

为解决有限训练样本下的高光谱遥感图像分类特征提取不充分的问题,该论文提出了多尺度3D胶囊网络方法来助力高光谱图像分类.相比传统的卷积神经网络,所提出的网络具有等变性且输入输出形式都是向量形式的神经元而非卷积神经网络中的标量值,有助于获取物体之间的空间关系及特征之间的相关性,且在有限训练样本下能避免过拟合等问题.该网络通过3种不同尺度的卷积核操作对输入图像进行特征提取来获取不同尺度的特征.然后3个分支分别接不同的3D胶囊网络来获取空谱特征之间的关联.最后将3个分支得到的结果融合在一起,采用局部连接并通过间隔损失函数得到分类结果.实验结果表明,该方法在开源的高光谱遥感数据集上具有很好的泛化性能,且相比其他先进的高光谱遥感图像分类方法具有较高的分类精度.     

基于MCFFN-Attention的高光谱图像分类

针对高光谱图像高维度的特性和样本数量少的局限性,提出了一个多尺度跨层特征融合注意力机制（MCFFN-Attention）的方法。对高光谱图像进行PCA降维,然后以3D CNN为基础,将中心像素和其相邻像素作为整体输入到网络中,对不同卷积层得到的特征进行融合。同时对融合的低层特征进行空间注意力机制处理,对融合的高层特征进行通道注意力机制处理,分配给它们不同的权重来优化特征图。在印第安松树和帕维亚大学数据集上进行实验,结果表明此方法相对于CNN、3D CNN和M3D CNN方法,分类精度得到了提升。     

基于多尺度空谱鉴别特征的高光谱图像分类

为了应对高光谱图像同质区域面积分布不均的问题,同时更充分地挖掘空间和光谱信息之间的内在联系,提出了一种基于多尺度空谱鉴别特征的高光谱图像分类方法。该算法首先对图像进行不同尺度的滤波操作,接着分别从得到的多幅图像中提取鉴别的空谱特征,并使用支持向量机(SVM)进行分类。最后,该算法采取“决策级融合”的策略,来综合不同滤波尺度图像的分类结果。在Indian Pines,Kennedy Space Center和University of Pavia数据集上的实验表明,该算法能够提取较为有效的空间信息,当随机选取10%的像素作为训练样本时,该算法的总体分类准确率均能达到96%以上,其分类精度和Kappa系数均优于其他分类算法。     

融合雷达数据的高光谱图像分类

高光谱图像分类是高光谱遥感的一项重要内容。然而,由于高光谱数据光谱波段信息丰富,且仅对材质信息敏感等特性,导致高光谱分类中易出现“维度灾难”、对高度信息不敏感等问题,这使得高光谱图像分类面临巨大的挑战。为解决上述问题,论文设计了一种双路DenseNet网络（Double-Branch DenseNet,DBD）。该网络其中一路对高光谱数据进行特征处理,压缩光谱维度,降低“维度灾难”的影响,并同步提取高光谱数据的光谱特征和空间特征;另一路通过密集连接提取雷达数据的高程特征。两路特征进行特征级融合,得到具有高程信息的高光谱特征,从而进行分类。通过实验证明,将富含高程信息的雷达数据与富含光谱信息的高光谱数据融合后进行分类的分类结果要优于单纯使用高光谱数据进行分类。     

基于多尺度和注意力机制的红外与可见光图像融合

现有的红外与可见光图像融合算法通常从单一尺度提取图像特征,导致融合图像无法全面保留原始特征信息.针对上述问题,提出一种基于多尺度和注意力机制的自编码网络结构实现红外与可见光图像融合.首先,采用密集连接和多尺度注意力模块构建编码器网络,并引入自注意力机制增强像素间的依赖关系,充分提取红外图像的显著目标和可见光图像的细节纹理;然后,特征融合阶段采用基于通道与空间的联合注意融合网络,进一步融合图像典型特征;接着,设计基于像素、结构相似性和色彩的混合损失函数指导网络训练,进一步约束融合图像与源图像的相似性;最后,通过对比实验的主观和客观评价结果,验证所提出算法相比于其他代表性融合算法具有更优异的图像融合能力.     

基于Swin Transformer和三维残差多层融合网络的高光谱图像分类

卷积神经网络(CNNs)具有出色的局部上下文建模能力,被广泛用于高光谱图像分类中,但由于其固有网络主干的局限性,CNNs未能很好地挖掘和表示光谱特征的序列属性。为了解决此问题,提出了一种基于Swin Transformer和三维残差多层融合网络的新型网络(ReSTrans)用于高光谱图像分类。在ReSTrans网络中,为了尽可能地挖掘高光谱图像的深层特征,采用三维残差多层融合网络来提取空谱特征,然后由基于自注意机制的Swin Transformer网络模块近一步捕获连续光谱间的关系,最后由多层感知机根据空谱联合特征完成最终的分类任务。为了验证ReSTrans网络模型的有效性,改进的模型在IP,UP和KSC 3个高光谱数据集上进行实验验证,分类精度分别达到了98.65%,99.64%,99.78%。与SST方法相比,该网络模型的分类性能分别平均提高了3.55%,0.68%,1.87%。实验结果表明该模型具有很好的泛化能力,可以提取更深层的、判别性的特征。     

改进Res2Net和注意力机制的高光谱图像分类

针对目前以卷积神经网络（CNN）为框架的高光谱图像分类模型参数量多,训练时间长,对样本数量依赖性大的问题,提出了一种改进Res2Net和注意力机制的高光谱图像分类模型。该模型首先使用主成分分析（PCA）对原始图像的通道维度进行降维,将降维后的数据输入三维空洞卷积层,并添加空间注意力模块以强化空间纹理特征;将所得特征映射输入两组空间-深度可分离残差结构结合通道注意力模块中,使用全局平均池化层将输出映射转换成一维向量;经过Softmax分类器获得分类标签。实验结果显示,该模型参数数量少,收敛速度快,使用少量训练样本在Indian Pines和Pavia University数据集上总体分类精度（OA）分别为98.95%和99.46%。     

A multi-focus image fusion method based on attention mechanism and supervised learning

Multi-focus image fusion is always a difficult problem in digital image processing. To achieve efficient integration, we propose a new end-to-end network. This network uses the residual atrous spatial pyramid pooling module to extract multi-level features from the space of different scales and share parameters to ensure the consistency and correspondence of features. We also introduced a disparities attention module for the network which allows for information retention. These two parts can make our method overcome the difficulties of target edge artifacts, small range blur, poor detail capture, and so on. In addition, in order to improve the semantic ambiguity easily caused by unsupervised learning, we also proposed a new multi-focus image fusion dataset with groundtruth for supervised learning. We performed sufficient experiments, and the results show that the network can quickly capture the corresponding features of multi-focus images, and improve the fusion performance with less computation and lower storage cost. Compared with the existing nine fusion methods, our network is superior to other methods in subjective visual evaluation and objective evaluation, reaching a higher level.

     

基于多尺度分析的图像融合新方法

提出了一种基于Contourlet多尺度分解的图像融合新方法.该方法首先对源图像进行Contourlet分解,得到高频和低频图像.针对不同频段图像的特性,对于高频和低频图像分别采用不同的融合规则,最后进行Contourlet逆变换得到融合图像.采用平均梯度,熵、平均交叉熵和均方根交叉熵4种准则来评价融合算法的性能.实验结果表明,该方法不仅在客观评价指标上优于小波变换法和塔形分解法,而且从主观评价上来看,该方法得到的融合图像更加清晰.     

基于多尺度PSNR的图像融合评价算法

为了提高图像融合评价的准确性,提出了多尺度PSNR的图像融合客观评价方法。该方法首先对标准图像和融合图像按同种方式进行多尺度划分,得到每个标准图像块与相应融合图像块之间的PSNR;然后将它们组合成多尺度PSNR;最后应用灰色关联分析作为图像融合结果的优劣评判标准。实验结果表明,这种评价方法考虑了图像像素的整体和局部灰度分布特性,能正确对融合图像质量进行评价,其客观评价结果与主观评价结果具有一致性,且评价方法具有较好的有效性和简洁性。     

Bi-directional LSTM with multi-scale dense attention mechanism for hyperspectral image classification

Feature representation has always been the top priority of research in the field of hyperspectral image (HSI) classification. Efficient analysis of those features extracted from HSI massively depends on the way how features are represented. In this paper, we propose a bi-directional long short-term memory network (Bi-LSTM)-based multi-scale dense attention framework, namely MBDA-Net. In this framework, we develop a new multi-scale dense attention module (MCDA) that uses different sizes of convolution kernels to obtain multi-scale features. Then, we perform feature selection by using a multi-layer attention mechanism that assigns different weight coefficients to the extracted multi-scale features. Specifically, we use the bi-directional LSTM to obtain contextual semantic information. The extensive experiments conducted on three hyperspectral datasets demonstrate the effectiveness of our method in identifying hyperspectral images.

     

基于多尺度特征融合和残差注意力机制的目标检测

作为一个多任务的学习过程,目标检测相较于分类网络需要更好的特征.基于多尺度特征对不同尺度的目标进行预测的检测器性能已经大大超过了基于单一尺度特征的检测器.同时,特征金字塔结构被用于构建所有尺度的高级语义特征图,从而进一步提高了检测器的性能.但是,这样的特征图没有充分考虑到上下文信息对语义的补充作用.在SSD基准网络的基...     

基于ECA-Net与多尺度结合的细粒度图像分类方法

针对细粒度图像分类问题提出了一种有效的算法以实现端到端的细粒度图像分类.ECA-Net中ECA(efficient channel attention)模块是一种性能优势显著的通道注意力机制,将其与经典网络ResNet-50进行融合构成新的基础卷积神经网络ResEca;通过物体级图像定位模块与部件级图像生成模块生成物体级图像和部件级图像,并结合原始图像作为网络的输入,构建以ResEca为基础的三支路网络模型Tb-ResEca-Net(three branch of ResEca network).该算法在公有数据集CUB-200-2011、FGVC-aircraft和Stanford cars datasets上进行测试训练,分别取得了89.9％、95.1％和95.3％的准确率.实验结果表明,该算法相较于其他传统的细粒度分类算法具有较高的分类准确率以及较强的鲁棒性,是一种有效的细粒度图像分类方法.     

结合注意力机制与多尺度特征融合的视频彩色化方法

针对现有视频彩色化方法难以同时保证着色质量和时间一致性的问题,提出一种结合注意力机制和多尺度特征融合的视频彩色化方法AMVC-GAN。首先,提出以GAN为主体的视频彩色化网络模型,通过在GAN的生成器中设计以循环时间网络为主体的多尺度特征融合模块,来获取不同时间频率的信息;其次,为了有效地考虑相邻帧之间的关系,将不同时间频率提取的特征进行融合,加强帧与帧之间的联系,以此增强彩色化的时间一致性;最后,为了获取更多的有效信息,在主网络的上采样部分引入了注意力模块,并通过使用PatchGAN来对结果进行优化训练,以增强最终的着色效果。在DAVIS和VIDEVO数据集上与先进的全自动视频彩色化方法进行对比实验。结果表明,AMVC-GAN在多项指标上排名第一,具有更好的时间一致性和着色效果。相比于其他方法,AMVC-GAN能够有效地减少时间闪烁,同时保证着色效果更为真实、自然。     

基于多尺度卷积和注意力机制的LSTM时间序列分类

时间序列的多尺度特征包含丰富的类别信息,且这些信息对分类具有不同的重要程度,然而现有的单变量时间序列分类模型通常以固定大小的卷积核提取序列特征,导致不能有效地获取并聚焦重要的多尺度特征。针对上述问题,提出一种基于多尺度卷积和注意力机制（MCA）的长短时记忆（LSTM）模型（MCA-LSTM）,它能够关注并融合重要的多尺度特征,从而实现更准确的分类。其中,LSTM使用记忆细胞和门机制控制序列信息的传递,并充分提取时间序列的相关性信息;多尺度卷积模块（MCM）使用具有不同卷积核的卷积神经网络（CNN）提取序列的多尺度特征;注意力模块（AM）融合通道信息获取特征的重要性并分配注意力权重,从而使网络关注重要的时间序列特征。在UCR档案的65个单变量时间序列数据集上的实验结果表明,对比当前最先进的基于深度学习的时间序列分类模型：USRL-FordA（Unsupervised Scalable Representation Learning-FordA）、USRL-Combined （1-NN） （Unsupervised Scalable Representation Learning-Combined （1-Nearest Neighbor）） OS-CNN（Omni-Scale Convolutional Neural Network）、Inception-Time和RTFN（Robust Temporal Feature Network for time series classification）,MCA-LSTM在平均错误率（ME）上分别降低了7.48、9.92、2.43、2.09和0.82个百分点,并取得了最高的算术平均排名（AMR）和几何平均排名（GMR）,分别为2.14和3.23,这些充分体现了MCA-LSTM模型在单变量时间序列分类中的有效性。     

基于并行通道-空间注意力机制的腹部MRI影像多尺度超分辨率重建

为了有效解决腹部磁共振成像（MRI）影像在超分辨率重建过程中因高频细节丢失引起的边界不明显、腹部器官显示不清晰以及单模型单尺度重建应用不方便等问题，提出了一种基于并行通道-空间注意力机制的多尺度超分辨率重建算法。首先，构造了并行通道-空间注意力残差块，通过空间注意力模块获取图像重点区域与高频信息的相关性，通过通道注意力模块获取图像各通道对关键信息响应程度的权重，同时拓宽网络的特征提取层以增加流入注意力模块的特征信息；此外，添加了权重归一化层，保证了网络的训练效率；最后，在网络末端应用多尺度上采样层，增加了网络的灵活性和可用性。实验结果表明，相较深层残差通道注意力超分辨率网络（RCAN），所提算法在×2、×3、×4尺度下的峰值信噪比（PSNR）平均提高了0.68 dB。所提算法有效提升了图像的重建质量。