用于多光谱和高光谱图像融合的联合自注意力Transformer

目的 将高光谱图像和多光谱图像进行融合，可以获得具有高空间分辨率和高光谱分辨率的光谱图像，提升光谱图像的质量。现有的基于深度学习的融合方法虽然表现良好，但缺乏对多源图像特征中光谱和空间长距离依赖关系的联合探索。为有效利用图像的光谱相关性和空间相似性，提出一种联合自注意力的Transformer网络来实现多光谱和高光谱图像融合超分辨。方法 首先利用联合自注意力模块，通过光谱注意力机制提取高光谱图像的光谱相关性特征，通过空间注意力机制提取多光谱图像的空间相似性特征，将获得的联合相似性特征用于指导高光谱图像和多光谱图像的融合；随后，将得到的融合特征输入到基于滑动窗口的残差Transformer深度网络中，探索融合特征的长距离依赖信息，学习深度先验融合知识；最后，特征通过卷积层映射为高空间分辨率的高光谱图像。结果 在CAVE和Harvard光谱数据集上分别进行了不同采样倍率下的实验，实验结果表明，与对比方法相比，本文方法从定量指标和视觉效果上，都取得了更好的效果。本文方法相较于性能第二的方法EDBIN （enhanced deep blind iterative network），在CAVE数据集上峰值信噪比提高了0.5 dB，在Harvard数据集上峰值信噪比提高了0.6 dB。结论 本文方法能够更好地融合光谱信息和空间信息，显著提升高光谱融合超分图像的质量。     

U-Net通道变换网络在腺体图像分割中的应用

目的 腺体医学图像分割是将医学图像中的腺体区域与周围组织分离出来的过程,对分割精度有极高要求。传统模型在对腺体医学图像分割时,因腺体形态多样性和小目标众多的特点,容易出现分割不精细或误分割等问题,对此根据腺体医学图像的特点对U-Net型通道变换网络分割模型进行改进,实现对腺体图像更高精度分割。方法 首先在U-Net型通道变换网络的编码器前端加入ASPP_SE （spatial pyramid pooling_squeeze-and-excitation networks）模块与ConvBatchNorm模块的组合,在增强编码器提取小目标特征信息能力的同时,防止模型训练出现过拟合现象。其次在编码器与跳跃连接中嵌入简化后的密集连接,增强编码器相邻模块特征信息融合。最后在通道融合变换器（channel cross fusion with Transformer,CCT）中加入细化器,将自注意力图投射到更高维度,提高自注意机制能力,增强编码器全局模块特征信息融合。简化后的密集连接与CCT结合使用,模型可以达到更好效果。结果 改进算法在公开腺体数据集MoNuSeg （multi-organ nuclei segmentation challenge）和Glas （gland segmentation）上进行实验。以Dice系数和IoU （intersection over union）系数为主要指标,在MoNuSeg的结果为80.55%和67.32%,在Glas数据集的结果为92.23%和86.39%,比原U-Net型通道变换网络分别提升了0.88%、1.06%和1.53%、2.43%。结论 本文提出的改进算法在腺体医学分割上优于其他现有分割算法,能满足临床医学腺体图像分割要求。     

含多级通道注意力机制的CGAN遥感图像建筑物分割

目的 遥感图像建筑物分割是图像处理中的一项重要应用,卷积神经网络在遥感图像建筑物分割中展现出优秀性能,但仍存在建筑物漏分、错分,尤其是小建筑物漏分以及建筑物边缘不平滑等问题。针对上述问题,本文提出一种含多级通道注意力机制的条件生成对抗网络（conditional generative adversarial network,CGAN）模型Ra-CGAN,用于分割遥感图像建筑物。方法 首先构建一个具有多级通道注意力机制的生成模型G,通过融合包含注意力机制的深层语义与浅层细节信息,使网络提取丰富的上下文信息,更好地应对建筑物的尺度变化,改善小建筑物漏分问题。其次,构建一个判别网络D,通过矫正真实标签图与生成模型生成的分割图之间的差异来改善分割结果。最后,通过带有条件约束的G和D之间的对抗训练,学习高阶数据分布特征,使建筑物空间连续性更强,提升分割结果的边界准确性及平滑性。结果 在WHU Building Dataset和Satellite Dataset II数据集上进行实验,并与优秀方法对比。在WHU数据集中,分割性能相对于未加入通道注意力机制和对抗训练的模型明显提高,且在复杂建筑物的空间连续性、小建筑物完整性以及建筑物边缘准确和平滑性上表现更好;相比性能第2的模型,交并比（intersection over union,IOU）值提高了1.1%,F₁-score提高了1.1%。在Satellite数据集中,相比其他模型,准确率更高,尤其是在数据样本不充足的条件下,得益于生成对抗训练,分割效果得到了大幅提升;相比性能第2的模型,IOU值提高了1.7%,F₁-score提高了1.6%。结论 本文提出的含多级通道注意力机制的CGAN遥感图像建筑物分割模型,综合了多级通道注意力机制生成模型与条件生成对抗网络的优点,在不同数据集上均获得了更精确的遥感图像建筑物分割结果。     

面向人脸图像发布的差分隐私保护

目的 由于人脸图像蕴含着丰富的个人敏感信息,直接发布出来可能会造成个人的隐私泄露。为了保护人脸图像中的隐私信息,本文提出了一种基于傅里叶变换与差分隐私技术相结合的人脸图像发布方法FIP（facial image publication）。方法 将人脸图像作为实数域2维矩阵,充分利用离散傅里叶变换技术压缩图像。为了有效均衡由拉普拉斯机制引起的噪音误差以及由傅里叶变换导致的重构误差,引入一种基于指数机制的傅里叶系数选择方法EMK（exponential mechanism-based k coefficients sampling）,它能够在不同的系数空间中挑选出合理的傅里叶系数来压缩人脸图像,然后利用拉普拉斯机制对所挑选出的系数添加噪音,进而使整个处理过程满足ε-差分隐私。此外,为了避免较大的傅里叶系数空间导致指数机制挑选系数不准确问题,基于离散实数傅里叶变换的共轭对称特性,提出了一种增强的指数机制挑选傅里叶系数方法BEMK（boosted exponential mechanism-based k coefficients sampling）,该方法不仅进一步压缩离散傅里叶系数空间,而且还能够提高人脸图像发布的精度。结果 基于4种真实人脸图像数据集采用支持向量机分类与采用主成分分析技术验证方法的正确性。从算法的准确率、召回率,以及F1-Score度量结果显示,提出的基于离散傅里叶变换技术的人脸图像发布方法均优于直接采用拉普拉斯机制的发布方法LAP（Laplace mechanism-based publication）。结论 实验结果表明,本文方法能够实现满足ε-差分隐私的敏感人脸图像发布,图像分类验证其具有较高的可用性。特别是BEMK方法具有较好的鲁棒性,是一种有效的隐私人脸图像发布方法。     

多尺度条形池化与通道注意力的图像语义分割

目的 针对自然场景下图像语义分割易受物体自身形状多样性、距离和光照等因素影响的问题,本文提出一种新的基于条形池化与通道注意力机制的双分支语义分割网络(strip pooling and channel attention net,SPCANet)。方法 SPCANet从空间与内容两方面对图像特征进行抽取。首先,空间感知子网引入1维膨胀卷积与多尺度思想对条形池化技术进行优化改进,进一步在编码阶段增大水平与竖直方向上的感受野;其次,为了提升模型的内容感知能力,将在ImageNet数据集上预训练好的VGG16(Visual Geometry Group 16-layer network)作为内容感知子网,以辅助空间感知子网优化语义分割的嵌入特征,改善空间感知子网造成的图像细节信息缺失问题。此外,使用二阶通道注意力进一步优化网络中间层与高层的特征选择,并在一定程度上缓解光照产生的色差对分割结果的影响。结果 使用Cityscapes作为实验数据,将本文方法与其他基于深度神经网络的分割方法进行对比,并从可视化效果和评测指标两方面进行分析。SPCANet在目标分割指标mIoU(mean intersection over union)上提升了1.2%。结论 提出的双分支语义分割网络利用改进的条形池化技术、内容感知辅助网络和通道注意力机制对图像语义分割进行优化,对实验结果的提升起到了积极作用。     

LFSCA-UNet：基于空间与通道注意力机制的肝纤维化区域分割网络

目的 肝纤维化是众多慢性肝脏疾病的常见表现,如不及时治疗可发展为肝硬化甚至引发肝癌。肝纤维化的准确评估对临床治疗和预后评估等至关重要。目前,肝纤维化的诊断通过肝穿活检判断,有创且有并发症危险。为此,基于影像学的无创诊断方法越来越受到关注。本文提出一种基于通道注意力与空间注意力机制改进的用于肝纤维化区域的自动化分割U-Net （liver fibrosis region segmentation network based on spatial and channel attention mechanisms,LFSCA-UNet）。方法 依据Attention U-Net的改进方式,围绕U-Net的跳跃连接结构进行基于注意力的改进,在AG （attention gate）的基础上,加入以ECA （efficient channel attention）模块为实现方式的通道注意力机制,依据加入ECA的位置,LFSCA-UNet分为A、B、C共3个子型。结果 在肝数据集上与其他实验网络进行评估对比,本文提出的LFSCA-UNet网络结构平均Dice系数达到了93.33%,相比原始U-Net的Dice系数提高了0.539 6%。结论 本文方法将空间注意力机制与通道注意力机制进行结合,有效提高了肝纤维化区域的分割精度,对空间注意力模块使用通道注意力模块优化输入和输出,增加了网络的稳定性,提升了网络的整体效果。     

融合通道位置注意力机制和并行空洞卷积的人脸年龄合成

目的 人脸年龄合成旨在合成指定年龄人脸图像的同时保持高可信度的人脸,是计算机视觉领域的热门研究方向之一。然而目前主流人脸年龄合成模型过于关注纹理信息,忽视了与人脸相关的多尺度特征,此外网络存在对身份信息筛选不佳的问题。针对以上问题,提出一种融合通道位置注意力机制和并行空洞卷积的人脸年龄合成网络（generative adversarial network（GAN）composed of the parallel dilated convolution and channel-coordinate attention mechanism,PDA-GAN）。方法 PDA-GAN基于生成对抗网络提出了并行三通道空洞卷积残差块和通道—位置注意力机制。并行三通道空洞卷积残差块将3种膨胀系数空洞卷积提取的不同尺度人脸特征融合,提升了特征尺度上的多样性和总量上的丰富度;通道—位置注意力机制通过对人脸特征的长度、宽度和深度显著性计算,定位图像中与年龄高度相关的通道和空间位置区域,增强了网络对通道和空间位置上敏感特征的表达能力,解决了特征冗余问题。结果 实验在Flickr高清人脸数据集（Flickr-faces-high-quality,FFHQ）上训练,在名人人脸属性高清数据集（large-scale celebfaces attributes dataset-high quality,Celeba-HQ）上测试,将本文提出的PDA-GAN与最新的3种人脸年龄图像合成网络进行定性和定量比较,以验证本文方法的有效性。实验结果表明,PDA-GAN显著提升了人脸年龄合成的身份置信度和年龄估计准确度,具有良好的身份信息保留和年龄操控能力。结论 本文方法能够合成具有较高真实度和准确性的目标年龄人脸图像。     

基于Transformer的脊椎CT图像分割

目的 脊椎CT（computed tomography）图像存在组织结构显示不佳、对比度差以及噪音干扰等问题;传统分割算法分割精度低,分割过程需人工干预,往往只能实现半自动分割,不能满足实时分割需求。基于卷积神经网络（convolutional neural network,CNN）的U-Net模型成为医学图像分割标准,但仍存在长距离交互受限的问题。Transformer集成全局自注意力机制,可捕获长距离的特征依赖,在计算机视觉领域表现出巨大优势。本文提出一种CNN与Transformer混合分割模型TransAGUNet （Transformer attention gate U-Net）,以实现对脊椎CT图像的高效自动化分割。方法 提出的模型将Transformer、注意力门控机制（attention gate,AG）及U-Net相结合构成编码—解码结构。编码器使用Transformer和CNN混合架构,提取局部及全局特征;解码器使用CNN架构,在跳跃连接部分融入AG,将下采样特征图对应的注意力图（attention map）与下一层上采样后获得的特征图进行拼接,融合低层与高层特征从而实现更精细的分割。实验使用Dice Loss与带权重的交叉熵之和作为损失函数,以解决正负样本分布不均的问题。结果 将提出的算法在VerSe2020数据集上进行测试,Dice系数较主流的CNN分割模型U-Net、Attention U-Net、U-Net++和U-Net3+分别提升了4.47%、2.09%、2.44%和2.23%,相较优秀的Transformer与CNN混合分割模型TransUNet和TransNorm分别提升了2.25%和1.08%。结论 本文算法较以上6种分割模型在脊椎CT图像的分割性能最优,有效地提升了脊椎CT图像的分割精度,分割实时性较好。     

加强类别关系的农作物遥感图像语义分割

目的 遥感图像处理技术在农作物规划、植被检测以及农用地监测等方面具有重要的作用。然而农作物遥感图像上存在类别不平衡的问题,部分样本中农作物类间相似度高、类内差异性大,使得农作物遥感图像的语义分割更具挑战性。为了解决这些问题,提出一种融合不同尺度类别关系的农作物遥感图像语义分割网络CRNet （class relation network）。方法 该网络将ResNet-34作为编码器的主干网络提取图像特征,并采用特征金字塔结构融合高阶语义特征和低阶空间信息,增强网络对图像细节的处理能力。引入类别关系模块获取不同尺度的类别关系,利用一种新的类别特征加强注意力机制（class feature enhancement,CFE）结合通道注意力和加强位置信息的空间注意力,使得农作物类间的语义差异和农作物类内的相关性增大。在解码器中,将不同尺度的类别关系融合,增强了网络对不同尺度农作物特征的识别能力,从而提高了对农作物边界分割的精度。通过数据预处理、数据增强和类别平衡损失函数（class-balanced loss,CB loss）进一步缓解了农作物遥感图像中类别不平衡的问题。结果 在Barley Remote Sensing数据集上进行的实验表明,CRNet网络的平均交并比（mean intersection over union,MIoU）和总体分类精度（overall accuracy,OA）分别达到68.89%和82.59%,性能在评价指标和可视化效果上均优于PSPNet （pyramid scene parsing network）、FPN （feature pyramid network）、LinkNet、DeepLabv3+、FarSeg （foreground-aware relation network）以及STLNet （statistical texture learning network）。结论 CRNet网络通过类别关系模块,在遥感图像复杂的地物背景中更加精准地区分相似的不同农作物,识别特征差异大的同种农作物,并融合多级特征使得提取出的目标边界更加清晰完整,提高了分割精度。     

过参数卷积与CBAM融合的胸腔积液肿瘤细胞团块分割网络

目的 胸腔积液肿瘤细胞团块的分割对肺癌的筛查有着积极作用。胸腔积液肿瘤细胞团块显微图像存在细胞聚集、对比度低和边界模糊等问题，现有网络模型进行细胞分割时无法达到较高精度。提出一种基于UNet网络框架，融合过参数卷积与注意力机制的端到端语义分割模型DOCUNet （depthwise over-parameterized CBAM UNet）。方法 将UNet网络中的卷积层替换为过参数卷积层。过参数卷积层结合了深度卷积和传统卷积两种卷积，保证网络深度不变的同时，提高模型对图像特征的提取能力。在网络底端的过渡区域，引入结合了通道注意力与空间注意力机制的注意力模块CBAM （convolutional block attention module），对编码器提取的特征权重进行再分配，增强模型的分割能力。结果 在包含117幅显微图像的胸腔积液肿瘤细胞团块数据集上进行5折交叉实验。平均IoU （intersection over union）、Dice系数、精确率、召回率和豪斯多夫距离分别为0.858 0、0.920 4、0.928 2、0.920 3和18.17。并且与UNet等多种已存在的分割网络模型进行对比，IoU、Dice系数和精确率、召回率相较于UNet提高了2.80%、1.65%、1.47%和1.36%，豪斯多夫距离下降了41.16%。通过消融实验与类激活热力图，证明加入CBAM注意力机制与过参数卷积后能够提高网络分割精度，并能使网络更加专注于细胞的内部特征。结论 本文提出的DOCUNet将过参数卷积和注意力机制与UNet相融合，实现了胸水肿瘤细胞团块的有效分割。经过对比实验证明所提方法提高了细胞分割的精度。     

Analysis of various optimizers on deep convolutional neural network model in the application of hyperspectral remote sensing image classification

ABSTRACT

Hyperspectral image (HSI) classification is a most challenging task in hyperspectral remote sensing field due to unique characteristics of HSI data. It consists of huge number of bands with strong correlations in the spectral and spatial domains. Moreover, limited training samples make it more challenging. To address such problems, we have presented here a spatial feature extraction technique using deep convolutional neural network (CNN) for HSI classification. As optimizer plays an important role in learning process of deep CNN model, we have presented the effect of seven different optimizers on our deep CNN model in the application of HSI classification. The seven different optimizers used in this study are SGD, Adagrad, Adadelta, RMSprop, Adam, AdaMax, and Nadam. Extensive experimental results on four hyperspectral remote sensing data sets have been presented which demonstrate the superiority of the presented deep CNN model with Adam optimizer for HSI classification.     

高光谱图像超分辨率重建技术研究进展

不同于传统图像（如灰度图像、RGB图像等）专注于保存目标场景的空间信息,高光谱图像蕴含丰富的空—谱信息,不仅可以保存目标的空间信息,还可以保存具有高可辨性的光谱信息。因此高光谱图像广泛应用于多种计算机视觉和遥感图像任务中,如目标检测、场景分类和目标追踪等。然而,在高光谱图像获取以及重建过程中仍然存在许多问题与瓶颈。如传统高光谱成像仪器在成像过程中通常会引入噪声,且获得的图像往往具有较低的空间分辨率,极大地影响了高光谱图像的质量,对后续数据分析任务造成了极大的困难。近年来,高光谱图像超分辨率重建技术研究得到了极大的发展,现有超分辨率重建方法可以大致分为两类,一类为空间超分辨率重建方法,可以通过直接提升高光谱图像的空间分辨率来获得高质量高光谱图像;另一类为光谱超分辨率重建方法,可以通过提升高空间分辨率图像的光谱分辨率来生成高质量高光谱图像。本文从高光谱图像超分辨率重建领域的新设计、新方法和应用场景出发,通过综合国内外前沿文献来梳理该领域的主要发展,重点论述高光谱图像超分辨率重建领域的发展现状、前沿动态、热点问题及趋势。     

基于MCFFN-Attention的高光谱图像分类

针对高光谱图像高维度的特性和样本数量少的局限性,提出了一个多尺度跨层特征融合注意力机制（MCFFN-Attention）的方法。对高光谱图像进行PCA降维,然后以3D CNN为基础,将中心像素和其相邻像素作为整体输入到网络中,对不同卷积层得到的特征进行融合。同时对融合的低层特征进行空间注意力机制处理,对融合的高层特征进行通道注意力机制处理,分配给它们不同的权重来优化特征图。在印第安松树和帕维亚大学数据集上进行实验,结果表明此方法相对于CNN、3D CNN和M3D CNN方法,分类精度得到了提升。     

HSRS-SC:面向遥感场景分类的高光谱图像数据集

目的 场景分类是遥感领域一项重要的研究课题，但大都面向高分辨率遥感影像。高分辨率影像光谱信息少，故场景鉴别能力受限。而高光谱影像包含更丰富的光谱信息，具有强大的地物鉴别能力，但目前仍缺少针对场景级图像分类的高光谱数据集。为了给高光谱场景理解提供数据支撑，本文构建了面向场景分类的高光谱遥感图像数据集（hyperspectral remote sensing dataset for scene classification，HSRS-SC）。方法 HSRS-SC来自黑河生态水文遥感试验航空数据，是目前已知最大的高光谱场景分类数据集，经由定标系数校正、大气校正等处理形成。HSRS-SC分为5个类别，共1 385幅图像，且空间分辨率较高（1 m），波长范围广（380~1 050 nm），同时蕴含地物丰富的空间和光谱信息。结果 为提供基准结果，使用AlexNet、VGGNet-16、GoogLeNet在3种方案下组织实验。方案1仅利用可见光波段提取场景特征。方案2和方案3分别以加和、级联的形式融合可见光与近红外波段信息。结果表明有效利用高光谱影像不同波段信息有利于提高分类性能，最高分类精度达到93.20%。为进一步探索高光谱场景的优势，开展了图像全谱段场景分类实验。在两种训练样本下，高光谱场景相比RGB图像均取得较高的精度优势。结论 HSRS-SC可以反映详实的地物信息，能够为场景语义理解提供良好的数据支持。本文仅利用可见光和近红外部分波段信息，高光谱场景丰富的光谱信息尚未得到充分挖掘。后续可在HSRS-SC开展高光谱场景特征学习及分类研究。     

双卷积池化结构的3D-CNN高光谱遥感影像分类方法

目的 高光谱遥感影像数据包含丰富的空间和光谱信息,但由于信号的高维特性、信息冗余、多种不确定性和地表覆盖的同物异谱及同谱异物现象,导致高光谱数据结构呈高度非线性。3D-CNN（3D convolutional neural network）能够利用高光谱遥感影像数据立方体的特性,实现光谱和空间信息融合,提取影像分类中重要的有判别力的特征。为此,提出了基于双卷积池化结构的3D-CNN高光谱遥感影像分类方法。方法 双卷积池化结构包括两个卷积层、两个BN（batch normalization）层和一个池化层,既考虑到高光谱遥感影像标签数据缺乏的问题,也考虑到高光谱影像高维特性和模型深度之间的平衡问题,模型充分利用空谱联合提供的语义信息,有利于提取小样本和高维特性的高光谱影像特征。基于双卷积池化结构的3D-CNN网络将没有经过特征处理的3D遥感影像作为输入数据,产生的深度学习分类器模型以端到端的方式训练,不需要做复杂的预处理,此外模型使用了BN和Dropout等正则化策略以避免过拟合现象。结果 实验对比了SVM（support vector machine）、SAE（stack autoencoder）以及目前主流的CNN方法,该模型在Indian Pines和Pavia University数据集上最高分别取得了99.65%和99.82%的总体分类精度,有效提高了高光谱遥感影像地物分类精度。结论 讨论了双卷积池化结构的数目、正则化策略、高光谱首层卷积的光谱采样步长、卷积核大小、相邻像素块大小和学习率等6个因素对实验结果的影响,本文提出的双卷积池化结构可以根据数据集特点进行组合复用,与其他深度学习模型相比,需要更少的参数,计算效率更高。     

面向RGBD图像的标记分水岭分割

目的 针对分水岭分割算法中存在的过分割现象及现有基于RGB图像分割方法的局限,提出了一种基于RGB图像和深度图像(RGBD)的标记分水岭分割算法。方法 本文使用物体表面几何信息来辅助进行图像分割,定义了一种深度梯度算子和一种法向量梯度算子来衡量物体表面几何信息的变化。通过生成深度梯度图像和法向量梯度图像,与彩色梯度图像进行融合,实现标记图像的提取。在此基础上,使用极小值标定技术对彩色梯度图像进行修正,然后使用分水岭算法进行图像分割。结果 在纽约大学提供的NYU2数据集上进行实验,本文算法有效抑制了过分割现象,将分割区域从上千个降至数十个,且获得了与人工标定的分割结果更接近的分割效果,分割的准确率也比只使用彩色图像进行分割提高了10%以上。结论 本文算法普遍适用于RGBD图像的分割问题,该算法加入了物体表面几何信息的使用,提高了分割的准确率,且对颜色纹理相似的区域获得了较好的分割结果。     

Hybrid Multi-Strategy Aquila Optimization with Deep Learning Driven Crop Type Classification on Hyperspectral Images

Hyperspectral imaging instruments could capture detailed spatial information and rich spectral signs of observed scenes. Much spatial information and spectral signatures of hyperspectral images (HSIs) present greater potential for detecting and classifying fine crops. The accurate classification of crop kinds utilizing hyperspectral remote sensing imaging (RSI) has become an indispensable application in the agricultural domain. It is significant for the prediction and growth monitoring of crop yields. Amongst the deep learning (DL) techniques, Convolution Neural Network (CNN) was the best method for classifying HSI for their incredible local contextual modeling ability, enabling spectral and spatial feature extraction. This article designs a Hybrid Multi-Strategy Aquila Optimization with a Deep Learning-Driven Crop Type Classification (HMAODL-CTC) algorithm on HSI. The proposed HMAODL-CTC model mainly intends to categorize different types of crops on HSI. To accomplish this, the presented HMAODL-CTC model initially carries out image preprocessing to improve image quality. In addition, the presented HMAODL-CTC model develops dilated convolutional neural network (CNN) for feature extraction. For hyperparameter tuning of the dilated CNN model, the HMAO algorithm is utilized. Eventually, the presented HMAODL-CTC model uses an extreme learning machine (ELM) model for crop type classification. A comprehensive set of simulations were performed to illustrate the enhanced performance of the presented HMAODL-CTC algorithm. Extensive comparison studies reported the improved performance of the presented HMAODL-CTC algorithm over other compared methods.     

改进的基于通道注意力反馈网络的遥感图像融合算法

针对前馈卷积神经网络（CNN）感受野较小、获取上下文信息不足、其特征提取卷积层只能提取到浅层特征的问题,提出改进的基于通道注意力反馈网络的遥感图像融合算法。首先,通过两层卷积层分别初步提取全色（PAN）图像的细节特征和低分辨率多光谱（LMS）图像的光谱特征;其次,将提取的特征和网络反馈的深层特征相结合,并将其输入到通道注意力机制模块中以得到初步精细化特征;然后,经过反馈模块生成表征能力更强的深层特征;最后,将生成的深层特征经过含有反卷积的重建层,从而得到高分辨率多光谱（HMS）图像。在三个不同卫星图像数据集上的实验结果表明：所提算法能很好地提取PAN图像的细节特征和LMS图像的光谱特征,同时其恢复出来的HMS图像在主观视觉上更加清晰,并且在客观评价指标上优于对比算法,同时在均方根误差（RMSE）指标上,所提算法比传统算法降低了50%以上,比前馈卷积神经网络算法降低了10%以上。     

近红外高光谱图像数据预测技术

目的 受到传感器光谱响应范围的影响,可见光区域和近红外区域（400~2 500 nm）的高光谱数据通常使用不同的感光芯片进行成像,现有这一光谱区域典型的高光谱成像系统,如AVIRIS （airborne visible infrared imaging spectrometer）成像光谱仪,通常由多组感光芯片组成,整个成像系统成本和体积通常比较大,严重限制了该谱段高光谱探测技术的发展。为了能够扩展单感光芯片成像系统获得的高光谱图像的光谱范围,本文探索基于卷积神经网络的近红外光谱数据预测技术。方法 结合AVIRIS成像光谱仪的光谱配置,设计了基于残差学习的红外谱段图像预测网络,利用计算成像的方式从可见光范围的高光谱图像预测出近红外波段的光谱图像,并在典型的卫星高光谱遥感数据上进行红外光谱预测重构和基于重构的数据分类实验,以验证论文提出的红外光谱数据预测技术的可行性以及有效性。结果 本文设计的预测网络在Cuprite数据集上得到的预测近红外图像峰值信噪比为40.145 dB,结构相似度为0.996,光谱角为0.777 rad;在Salinas数据集上得到的预测近红外图像峰值信噪比为39.55 dB,结构相似性为0.997,光谱角为1.78 rad。在分类实验中,相比于只使用可见光图像,利用预测的近红外图像使得支持向量机（support vector machine,SVM）的准确率提升了0.6%,LeNet的准确率提升了1.1%。结论 基于AVIRIS传感器获取的两组典型卫星高光谱数据实验表明,本文提出的红外光谱数据预测技术不仅可基于计算成像的方式扩展可见光光谱成像系统的光谱成像范围,对于减小成像系统体积和质量具有重要意义,而且可有效提高可见光区域光谱图像数据在典型应用中的处理性能,对于提高高光谱数据处理精度提供新的技术支撑。     

引入分组注意力的医学图像分割模型

目的 卷积神经网络结合U-Net架构的深度学习方法广泛应用于各种医学图像处理中,取得了良好的效果,特别是在局部特征提取上表现出色,但由于卷积操作本身固有的局部性,导致其在全局信息获取上表现不佳。而基于Transformer的方法具有较好的全局建模能力,但在局部特征提取方面不如卷积神经网络。为充分融合两种方法各自的优点,提出一种基于分组注意力的医学图像分割模型（medical image segmentation module based on group attention,GAU-Net）。方法 利用注意力机制,设计了一个同时集成了Swin Transformer和卷积神经网络的分组注意力模块,并嵌入网络编码器中,使网络能够高效地对图像的全局和局部重要特征进行提取和融合;在注意力计算方式上,通过特征分组的方式,在同一尺度特征内,同时进行不同的注意力计算,进一步提高网络提取语义信息的多样性;将提取的特征通过上采样恢复到原图尺寸,进行像素分类,得到最终的分割结果。结果 在Synapse多器官分割数据集和ACDC （automated cardiac diagnosis challenge）数据集上进行了相关实验验证。在Synapse数据集中,Dice值为82.93%,HD（Hausdorff distance）值为12.32%,相较于排名第2的方法,Dice值提高了0.97%,HD值降低了5.88%;在ACDC数据集中,Dice值为91.34%,相较于排名第2的方法提高了0.48%。结论 本文提出的医学图像分割模型有效地融合了Transformer和卷积神经网络各自的优势,提高了医学图像分割结果的精确度。