联合集成学习与EfficientNet的光学遥感图像场景分类

深度学习能够提高光学遥感图像场景分类的准确率和效率,但光学遥感图像语义丰富,部分场景仍存在易误分类的情况,同时由网络模型规模扩大带来的硬件要求过高、时间成本消耗过大等问题制约着深度学习网络模型的推广应用。为此,提出一种基于轻量化网络模型的光学遥感图像场景分类方法。通过EfficientNet网络提取图像特征,对图像特征进行复合提取以生成语义信息更丰富的新特征,利用多个子分类器构建集成学习模块解析新特征得到预分类结果,集成加权预分类结果以获得最终的分类结果。在AID和NWPU-RESISC45数据集上的实验结果表明,即使只训练20%的数据样本,该方法也能分别达到94.32%和93.36%的准确率,相对D-CNNs、CNN-CapsNet等方法,所提方法对易误分类场景有更好的分类效果,且参数量和浮点运算量大幅减少。     

基于ResNet双注意力机制的遥感图像场景分类

针对基于传统机器学习遥感图像场景分类无法快速有效提取图像特征造成分类结果不准确的问题,提出一种基于注意力残差网络的遥感图像场景分类的方法,以残差网络为基准模型,在通道和空间两个维度上建立注意力模块,实验过程中对参数进行合理有效的设置,调整网络层数优化模型,达到对UC Merced Land-Use数据集的有效分类.实验结果表明,与基于卷积神经网络结构的遥感图像场景分类方法相比,该方法达到了98.1％的准确率.     

基于尺度注意力网络的遥感图像场景分类

针对卷积神经网络（CNN）平等地对待输入图像中潜在的对象信息和背景信息,而遥感图像场景又存在许多小对象和背景复杂的问题,提出一种基于注意力机制和多尺度特征变换的尺度注意力网络模型。首先,开发一个快速有效的注意力模块,基于最优特征选择生成注意力图;然后,在ResNet50网络结构的基础上嵌入注意力图,增加多尺度特征融合层,并重新设计全连接层,构成尺度注意力网络;其次,利用预训练模型初始化尺度注意力网络,并使用训练集对模型进行微调;最后,利用微调后的尺度注意力网络对测试集进行分类预测。该方法在实验数据集AID上的分类准确率达到95.72%,与ArcNet方法相比分类准确率提高了2.62个百分点;在实验数据集NWPU-RESISC上分类准确率达到92.25%,与IORN方法相比分类准确率提高了0.95个百分点。实验结果表明,所提方法能够有效提高遥感图像场景分类准确率。     

联合一二阶池化网络学习的遥感场景分类

目前大多数池化方法主要是从一阶池化层或二阶池化层提取聚合特征信息,忽略了多种池化策略对场景的综合表示能力,进而影响到场景识别性能。针对以上问题,提出了联合一二阶池化网络学习的遥感场景分类模型。首先,利用残差网络ResNet-50的卷积层提取输入图像的初始特征。接着,提出基于特征向量相似度的二阶池化方法,即通过特征向量间的相似度求出其权重系数来调制特征值的信息分布,并计算有效的二阶特征信息。同时,引入一种有效的协方差矩阵平方根逼近求解方法,以获得高阶语义信息的二阶特征表示。最后,基于交叉熵和类距离加权的组合损失函数训练整个网络,从而得到富于判别性的分类模型。所提方法在AID（50%训练比例）、NWPU-RESISC45 （20%训练比例）、CIFAR-10和CIFAR-100数据集上的分类准确率分别达到96.32%、93.38%、96.51%和83.30%,与iSQRT-COV方法相比,分别提高了1.09个百分点、0.55个百分点、1.05个百分点和1.57个百分点。实验结果表明,所提方法有效提高了遥感场景分类性能。     

基于双向门控尺度特征融合的遥感场景分类

针对遥感影像数据集的图像在形状、纹理和颜色上存在较大差别,以及因拍摄高度和角度不同存在的尺度差异导致遥感场景分类精度不高的问题,提出利用主动旋转聚合来融合不同尺度的特征,并通过双向门控提高底层特征与顶层特征互补性的特征融合补偿卷积神经网络（FAC-CNN）。该网络利用图像金字塔为原始图像生成不同尺度图像后将其输入到分支网络中来提取多尺度特征,并提出主动旋转聚合的方式来融合不同尺度的特征,使融合后的特征具有方向信息,从而提高模型对不同尺度输入以及不同旋转输入的泛化能力,实现模型分类精度的提升。FAC-CNN比基于VGGNet的注意循环卷积网络（ARCNet-VGGNet）和门控双向网络（GBNet）在西北工业大学遥感场景图像分类数据集（NWPU-RESISC）上准确率分别提升了2.05个百分点与2.69个百分点,在航空影像数据集（AID）上准确率分别提升了3.24个百分点与0.86个百分点。实验结果表明,FAC-CNN能有效解决遥感影像数据集存在的问题,提高遥感场景分类的精度。     

注意力金字塔卷积残差网络的表情识别

人脸表情是人类内心情绪最真实最直观的表达方式之一,不同的表情之间具有细微的类间差异信息。因此,提取表征能力较强的特征成为表情识别的关键问题。为提取较为高级的语义特征,在残差网络（ResNet）的基础上提出一种注意力金字塔卷积残差网络模型（APRNET50）。该模型融合金字塔卷积模块、通道注意力和空间注意力。首先用金字塔卷积提取图像的细节特征信息,然后对所提特征在通道和空间维度上分配权重,按权重大小定位显著区域,最后通过全连接层构建分类器对表情进行分类。以端到端的方式进行训练,使得所提网络模型更适合于精细的面部表情分类。实验结果表明,在FER2013和CK+数据集上识别准确率可以达到73.001%和94.949%,与现有的方法相比识别准确率分别提高了2.091个百分点和0.279个百分点,达到了具有相对竞争力的效果。     

双核压缩激活神经网络艺术图像分类

目的 为了充分提取版画、中国画、油画、水彩画和水粉画等艺术图像的整体风格和局部细节特征,实现计算机自动分类检索艺术图像的需求,提出通过双核压缩激活模块（double kernel squeeze-and-excitation,DKSE）和深度可分离卷积搭建卷积神经网络对艺术图像进行分类。方法 根据SKNet（selective kernel networks）自适应调节感受野提取图像整体与细节特征的结构特点和SENet（squeeze-and-excitation networks）增强通道特征的特点构建DKSE模块,利用DKSE模块分支上的卷积核提取输入图像的整体特征与局部细节特征;将分支上的特征图进行特征融合,并对融合后的特征图进行特征压缩和激活处理;将处理后的特征加权映射到不同分支的特征图上并进行特征融合;通过DKSE模块与深度可分离卷积搭建卷积神经网络对艺术图像进行分类。结果 使用本文网络模型对有无数据增强（5类艺术图像数据增强后共25 634幅）处理的数据分类,数据增强后的分类准确率比未增强处理的准确率高9.21%。将本文方法与其他网络模型和传统分类方法相比,本文方法的分类准确率达到86.55%,比传统分类方法高26.35%。当DKSE模块分支上的卷积核为1×1和5×5,且放在本文网络模型第3个深度可分离卷积后,分类准确率达到87.58%。结论 DKSE模块可以有效提高模型分类性能,充分提取艺术图像的整体与局部细节特征,比传统网络模型具有更好的分类准确率。     

改进的基于深度学习的遥感图像分类算法

针对传统的基于深度学习的遥感图像分类算法未能有效融合多种深度学习特征，且分类器性能欠佳的问题，提出一种改进的基于深度学习的高分辨率遥感图像分类算法。首先，设计并搭建一个七层卷积神经网络；其次，将高分辨率遥感图像样本输入到该网络中进行网络训练，得到最后两个全连接层输出作为遥感图像两种不同的高层特征；再次，针对该网络第五层池化层输出，采用主成分分析（PCA）进行降维，作为遥感图像的第三种高层特征；然后，将上述三种高层特征通过串联的形式进行融合，得到一种有效的基于深度学习的遥感图像特征；最后，设计了一种基于逻辑回归的遥感图像分类器，可以对遥感图像进行有效分类。与传统基于深度学习的遥感图像分类算法相比，所提算法分类准确率有较高提升。实验结果表明，该算法在分类准确率、误分类率和Kappa系数上表现优异，能实现良好的分类效果。     

结合DCGAN与LSTM的阿兹海默症分类算法

针对传统的阿兹海默症（AD）分类3D模型参数过多以及2D模型缺乏连续性特征的问题,提出了一种结合2D卷积神经网络与长短时记忆网络的脑部核磁共振成像（MRI）图像分类算法。利用深度卷积生成对抗网络（DCGAN）,卷积层能够在无标签的情况下自动提取到图像特征。首先以无监督的方式训练卷积神经网络;然后将MRI图像序列转换为特征序列,再输入到长短时记忆网络进行训练;最后结合特征序列与LSTM的隐藏状态进行分类。实验结果显示,相比3D模型,该算法有着更少的参数,对于NC与AD的分类达到了93.93%的准确率,对于NC与MCI的分类达到了86.27%的准确率。     

低小慢无人机降落野外场景识别方法

针对低小慢无人机野外飞行场景复杂自主降落场景识别问题,提出了一种融合局部金字塔特征和卷积神经网络学习特征的野外场景识别算法。首先,将场景分为4×4和8×8块的小场景,使用方向梯度直方图（HOG）算法提取所有块的场景特征,所有特征首尾连接得到具有空间金字塔特性的特征向量。其次,设计一个针对场景分类的深度卷积神经网络,采用调优训练方法得到卷积神经网络模型,并提取深度网络学习特征。最后,连接两个特征得到最终场景特征,并使用支持向量机（SVM）分类器进行分类。所提算法在Sports-8、Scene-15、Indoor-67以及自建数据集上较传统手工特征方法的识别准确率提高了4个百分点以上。实验结果表明,所提算法能有效提升降落场景识别准确率。     

基于U-Net的高分辨率遥感图像土地利用信息提取

随着现代遥感技术的迅速发展,遥感图像的质量和数量得到了显著的提升,新技术带来的高分辨率遥感图像所蕴含的信息也更加丰富,如何利用人工智能手段辅助挖掘这些丰富的信息也成为了遥感图像分析与理解的重要内容.与此同时,以深度卷积神经网络为代表的人工智能技术在图像处理领域大放异彩.得益于类人眼的分层卷积池化模型,深度卷积神经网络可...     

基于多粒度特征蒸馏的遥感图像场景分类研究

深度神经网络广泛应用于遥感图像场景分类任务中并能大幅提高分类精度,但隐藏层数较少的神经网络在标记数据不足的遥感场景分类中泛化能力较低,而隐层较多的网络往往需要较大的计算量和模型存储空间,限制了其在嵌入式设备上的应用.提出一种针对遥感图像场景分类的多粒度特征蒸馏方法,将深度网络不同阶段的特征与最终的类别概率同时作为浅层模...     

深度学习在多时相大棚提取应用研究

蔬菜大棚对于农业生产具有重要意义。受季节和环境影响,其在遥感影像上不同时期呈现不同形态,仅通过单时相特征提取精度不能满足要求。近几年,深度学习被证明适合遥感数据的分类,为实现深度学习在农业遥感上的有效应用,提出了一种改进的多时相语义分割模型（Multi-temporal Spatial Segmentation Network,MSSN）用于蔬菜大棚提取。提出基于补丁长短时记忆网络（Patch-LSTM）,该网络充分利用图像的空间和时序信息。采用带空洞卷积的空间金字塔池化（ASSP）解决网络对尺度敏感问题。进一步添加跳连层（Skip-layer）和反卷积层提升特征图的还原能力。选择山东高密GF-2遥感影像进行实验。结果表明,该分割模型在测试集上有0.95的Precision、0.92的F1 score以及0.93的前景IoU（Intersection Over Union）,可以实现高精度的蔬菜大棚提取,为深度学习在农业遥感的应用提供新的方法。     

基于多特征融合与CELM的场景分类算法

场景分类对于场景图像的语义解译至关重要,是遥感领域近期的主要研究课题之一。针对大部分图像分类方法中提取的特征结构单一,依赖于大量人工标记的数据以及分类器的训练过程缓慢等问题,提出了一种基于多特征融合与约束极限学习机（constrained extreme learning machines,CELM）的场景图像分类方法。该方法采用三种不同结构的预训练卷积神经网络,利用特定数据集对其进行微调,将微调后网络提取到的三种特征进行融合并送入CELM分类器进行分类,最终得到图像的类别标签。以SIRI-WHU、WHU-RS19与UC-Merced数据集作为实验数据集,在预训练卷积神经网络、单一特征和传统分类器上进行的对比实验表明,基于多特征融合与CELM相结合的方法产生了较好的分类效果,三种数据集上的总分类精度分别高达99.25%、98.26%与97.70%。     

注意力机制结合残差收缩网络对遥感图像分类

针对遥感场景图像中背景复杂、类内差异大以及类间相似度高问题所导致的分类效果欠佳情况,提出一种基于有监督对比学习的注意力机制和残差收缩单元算法。首先对有效通道注意力机制（ECA）进行改进,优化对待识别图像特征的提取;然后提出一种协同残差收缩单元算法,利用算法对图像进行冗余信息的筛选消除;再用有监督对比学习算法,增强算法的泛化能力。最后在遥感图像数据集进行实验,并与最新算法如增强注意算法、尺度注意力机制算法进行对比实验。实验表明,该算法在20%训练比例的AID数据集中分类精度提高了1.75%和2.5%。     

基于多时序特征和卷积神经网络的农作物分类

近年来,以卷积神经网络为主的深度学习模型在各种遥感应用中都显示出巨大的潜力。以加州帝国郡为研究区,以Landsat 8 OLI年内时序遥感影像计算时序植被指数NDVI、EVI、RVI以及TVI,组合后输入到构建的一维卷积神经网络 模型,以实现作物的高精度精细分类。为了验证卷积模型的优越性,另搭建了基于递归神经网络及其变体的深度学习模型。结果表明：①引入其他时序特征后,能够有效地提高卷积神经网络的分类精度。NDVI+EVI+TVI+RVI组合特征总体精度和Kappa系数最高,分别是89.667 4%和0.856 0,对比NDVI时序特征总体精度和Kappa系数提高了近4%和0.6。②在与其他深度学习模型的对比中,一维卷积神经网络分类精度最高,能够从时序数据中较为准确捕捉作物时序特征信息,尽管递归神经网络被广泛应用于序列数据的研究,但分类结果要略差于卷积神经网络。实验表明在NDVI的基础上引入其他植被指数辅助,能够有效地提高分类精度。基于一维卷积神经网络的深度学习框架为长时间序列分类任务提供了一种有效且高效的方法。     

对抗学习遥感图像场景识别

目的 在高分辨率遥感图像场景识别问题中,经典的监督机器学习算法大多需要充足的标记样本训练模型,而获取遥感图像的标注费时费力。为解决遥感图像场景识别中标记样本缺乏且不同数据集无法共享标记样本问题,提出一种结合对抗学习与变分自动编码机的迁移学习网络。方法 利用变分自动编码机（variational auto-encoders,VAE）在源域数据集上进行训练,分别获得编码器和分类器网络参数,并用源域编码器网络参数初始化目标域编码器。采用对抗学习的思想,引入判别网络,交替训练并更新目标域编码器与判别网络参数,使目标域与源域编码器提取的特征尽量相似,从而实现遥感图像源域到目标域的特征迁移。结果 利用两个遥感场景识别数据集进行实验,验证特征迁移算法的有效性,同时尝试利用SUN397自然场景数据集与遥感场景间的迁移识别,采用相关性对齐以及均衡分布适应两种迁移学习方法作为对比。两组遥感场景数据集间的实验中,相比于仅利用源域样本训练的网络,经过迁移学习后的网络场景识别精度提升约10%,利用少量目标域标记样本后提升更为明显;与对照实验结果相比,利用少量目标域标记样本时提出方法的识别精度提升均在3%之上,仅利用源域标记样本时提出方法场景识别精度提升了10%~40%;利用自然场景数据集时,方法仍能在一定程度上提升场景识别精度。结论 本文提出的对抗迁移学习网络可以在目标域样本缺乏的条件下,充分利用其他数据集中的样本信息,实现不同场景图像数据集间的特征迁移及场景识别,有效提升遥感图像的场景识别精度。     

BoVSG: bag of visual SubGraphs for remote sensing scene classification

ABSTRACT

Remote sensing scene classification is gaining much more interest in the recent few years for many strategic fields such as security, land cover and land use monitoring. Several methods have been proposed in the literature and they can be divided into three main classes based on the features used: handcrafted features, features obtained by unsupervised learning and those obtained from deep learning. Handcrafted features are generally time consuming and suboptimal. Unsupervised learning based features which have been proposed later gave better results but their performances are still limited because they mainly rely on shallow networks and are not able to extract powerful features. Deep learning based features are recently investigated and gave interesting results. But, they cannot be usually used because of the scarcity of labelled remote sensing images and are also computationally expensive. Most importantly, whatever kind of feature is used, the neighbourhood information of them is ignored. In this paper, we propose a novel remote sensing scene representation and classification approach called Bag of Visual SubGraphs (BoVSG). First, each image is segmented into superpixels in order to summarize the image content while retaining relevant information. Then, the superpixels from all images are clustered according to their colour and texture features and a random label is assigned to each cluster that probably corresponds to some material or land cover type. Thus superpixels belonging to the same cluster have the same label. Afterwards, each image is modelled with a graph where nodes correspond to labelled superpixels and edges model spatial neighbourhoods. Finally, each image is represented by a histogram of the most frequent subgraphs corresponding to land cover adjacency patterns. This way, local spatial relations between the nodes are also taken into account. Resultant feature vectors are classified using standard classification algorithms. The proposed approach is tested on three popular datasets and its performance outperforms state-of-the-art methods, including deep learning methods. Besides its accuracy, the proposed approach is computationally much less expensive than deep learning methods.