噪声鲁棒的轻量级深度遥感场景图像分类检索

目的 基于深度神经网络的遥感图像处理方法在训练过程中往往需要大量准确标注的数据,一旦标注数据中存在标签噪声,将导致深度神经网络性能显著降低。为了解决噪声造成的性能下降问题,提出了一种噪声鲁棒的轻量级深度遥感场景图像分类检索方法,能够同时完成分类和哈希检索任务,有效提高深度神经网络在有标签噪声遥感数据上的分类和哈希检索性能。方法 选取轻量级神经网络作为骨干网,而后设计能够同时完成分类和哈希检索任务的双分支结构,最后通过设置损失基准的正则化方法,有效减轻模型对噪声的过拟合,得到噪声鲁棒的分类检索模型。结果 本文在两个公开遥感场景数据集上进行分类测试,并与8种方法进行比较。本文方法在AID（aerial image datasets）数据集上,所有噪声比例下的分类精度比次优方法平均高出7.8%,在NWPU-RESISC45（benchmark created by Northwestern Polytechnical University for remote sensing image scene classification covering 45 scene classes）数据集上,分类精度比次优方法平均高出8.1%。在效率方面,本文方法的推理速度比CLEOT（classification loss with entropic optimal transport）方法提升了2.8倍,而计算量和参数量均不超过CLEOT方法的5%。在遥感图像哈希检索任务中,在AID数据集上,本文方法的平均精度均值（mean average precision,mAP）在3种不同哈希比特下比MiLaN（metric-learning based deep hashing network）方法平均提高了5.9%。结论 本文方法可以同时完成遥感图像分类和哈希检索任务,在保持模型轻量高效的情况下,有效提升了深度神经网络在有标签噪声遥感数据上的鲁棒性。     

结合判别相关分析与特征融合的遥感图像检索

目的 高分辨率遥感图像检索中,单一特征难以准确描述遥感图像的复杂信息。为了充分利用不同卷积神经网络（convolutional neural networks,CNN）的学习参数来提高遥感图像的特征表达,提出一种基于判别相关分析的方法融合不同CNN的高层特征。方法 将高层特征作为特殊的卷积层特征处理,为了更好地保留图像的原始空间信息,在图像的原始输入尺寸下提取不同高层特征,再对高层特征进行最大池化来获得显著特征;计算高层特征的类间散布矩阵,结合判别相关分析来增强同类特征的联系,并突出不同类特征之间的差异,从而提高特征的判别力;选择串联与相加两种方法来对不同特征进行融合,用所得融合特征来检索高分辨率遥感图像。结果 在UC-Merced、RSSCN7和WHU-RS19数据集上的实验表明,与单一高层特征相比,绝大多数融合特征的检索准确率和检索时间都得到有效改进。其中,在3个数据集上的平均精确率均值（mean average precision,mAP）分别提高了10.4% 14.1%、5.7% 9.9%和5.9% 17.6%。以检索能力接近的特征进行融合时,性能提升更明显。在UC-Merced数据集上,融合特征的平均归一化修改检索等级（average normalized modified retrieval rank,ANMRR）和mAP达到13.21%和84.06%,与几种较新的遥感图像检索方法相比有一定优势。结论 本文提出的基于判别相关分析的特征融合方法有效结合了不同CNN高层特征的显著信息,在降低特征冗余性的同时,提升了特征的表达能力,从而提高了遥感图像的检索性能。     

带尺寸约束的弱监督眼底图像视盘分割

目的 医学图像的像素级标注工作需要耗费大量的人力。针对这一问题，本文以医学图像中典型的眼底图像视盘分割为例，提出了一种带尺寸约束的弱监督眼底图像视盘分割算法。方法 对传统卷积神经网络框架进行改进，根据视盘的结构特点设计新的卷积融合层，能够更好地提升分割性能。为了进一步提高视盘分割精度，本文对卷积神经网络的输出进行了尺寸约束，同时用一种新的损失函数对尺寸约束进行优化，所提的损失公式可以用标准随机梯度下降方法来优化。结果 在RIM-ONE视盘数据集上展开实验，并与经典的全监督视盘分割方法进行比较。实验结果表明，本文算法在只使用图像级标签的情况下，平均准确识别率（mAcc）、平均精度（mPre）和平均交并比（mIoU）分别能达到0.852、0.831、0.827。结论 本文算法不需要专家进行像素级标注就能够实现视盘的准确分割，只使用图像级标注就能够得到像素级标注的分割精度。缓解了医学图像中像素级标注难度大的问题。     

注意力机制改进卷积神经网络的遥感图像目标检测

目的 遥感图像目标检测是遥感图像处理的核心问题之一,旨在定位并识别遥感图像中的感兴趣目标。为解决遥感图像目标检测精度较低的问题,在公开的NWPU_VHR-10数据集上进行实验,对数据集中的低质量图像用增强深度超分辨率（EDSR）网络进行超分辨率重构,为训练卷积神经网络提供高质量数据集。方法 对原Faster-RCNN （region convolutional neural network）网络进行改进,在特征提取网络中加入注意力机制模块获取更多需要关注目标的信息,抑制其他无用信息,以适应遥感图像视野范围大导致的背景复杂和小目标问题;并使用弱化的非极大值抑制来适应遥感图像目标旋转;提出利用目标分布之间的互相关对冗余候选框进一步筛选,降低虚警率,以进一步提高检测器性能。结果 为证明本文方法的有效性,进行了两组对比实验,第1组为本文所提各模块间的消融实验,结果表明改进后算法比原始Faster-RCNN的检测结果高了12.2%,证明了本文所提各模块的有效性。第2组为本文方法与其他现有方法在NWPU_VHR-10数据集上的对比分析,本文算法平均检测精度达到79.1%,高于其他对比算法。结论 本文使用EDSR对图像进行超分辨处理,并改进Faster-RCNN,提高了算法对遥感图像目标检测中背景复杂、小目标、物体旋转等情况的适应能力,实验结果表明本文算法的平均检测精度得到了提高。     

面向遥感影像的深度语义哈希检索

目的 哈希检索旨在将海量数据空间中的高维数据映射为紧凑的二进制哈希码,并通过位运算和异或运算快速计算任意两个二进制哈希码之间的汉明距离,从而能够在保持相似性的条件下,有效实现对大数据保持相似性的检索。但是,遥感影像数据除了具有影像特征之外,还具有丰富的语义信息,传统哈希提取影像特征并生成哈希码的方法不能有效利用遥感影像包含的语义信息,从而限制了遥感影像检索的精度。针对遥感影像中的语义信息,提出了一种基于深度语义哈希的遥感影像检索方法。方法 首先在具有多语义标签的遥感影像数据训练集的基础上,利用两个不同配置参数的深度卷积网络分别提取遥感影像的影像特征和语义特征,然后利用后向传播算法针对提取的两类特征学习出深度网络中的各项参数并生成遥感影像的二进制哈希码。生成的二进制哈希码之间能够有效保持原始高维遥感影像的相似性。结果 在高分二号与谷歌地球遥感影像数据集、CIFAR-10数据集及FLICKR-25K数据集上进行实验,并与多种方法进行比较和分析。当编码位数为64时,相对于DPSH（deep supervised Hashing with pairwise labels）方法,在高分二号与谷歌地球遥感影像数据集、CIFAR-10数据集、FLICKR-25K数据集上,mAP（mean average precision）指标分别提高了约2%、6%7%、0.6%。结论 本文提出的端对端的深度学习框架,对于带有一个或多个语义标签的遥感影像,能够利用语义特征有效提高对数据集的检索性能。     

遥感图像飞机目标分类的卷积神经网络方法

目的 遥感图像飞机目标分类,利用可见光遥感图像对飞机类型进行有效区分,对提供军事作战信息有重要意义。针对该问题,目前存在一些传统机器学习方法,但这些方法需人工提取特征,且难以适应真实遥感图像的复杂背景。近年来,深度卷积神经网络方法兴起,网络能自动学习图像特征且泛化能力强,在计算机视觉各领域应用广泛。但深度卷积神经网络在遥感图像飞机分类问题上应用少见。本文旨在将深度卷积神经网络应用于遥感图像飞机目标分类问题。方法 在缺乏公开数据集的情况下,收集了真实可见光遥感图像中的8种飞机数据,按大致4∶1的比例分为训练集和测试集,并对训练集进行合理扩充。然后针对遥感图像与飞机分类的特殊性,结合深度学习卷积神经网络相关理论,有的放矢地设计了一个5层卷积神经网络。结果 首先,在逐步扩充的训练集上分别训练该卷积神经网络,并分别用同一测试集进行测试,实验表明训练集扩充有利于网络训练,测试准确率从72.4%提升至97.2%。在扩充后训练集上,分别对经典传统机器学习方法、经典卷积神经网络LeNet-5和本文设计的卷积神经网络进行训练,并在同一测试集上测试,实验表明该卷积神经网络的分类准确率高于其他两种方法,最终能在测试集上达到97.2%的准确率,其余两者准确率分别为82.3%、88.7%。结论 在少见使用深度卷积神经网络的遥感图像飞机目标分类问题上,本文设计了一个5层卷积神经网络加以应用。实验结果表明,该网络能适应图像场景,自动学习特征,分类效果良好。     

结合细粒度特征与深度卷积网络的手绘图检索

目的 传统的手绘图像检索方法主要集中在检索相同类别的图像，忽略了手绘图像的细粒度特征。对此，提出了一种新的结合细粒度特征与深度卷积网络的手绘图像检索方法，既注重通过深度跨域实现整体匹配，也实现细粒度细节匹配。方法 首先构建多通道混合卷积神经网络，对手绘图像和自然图像分别进行不同的处理；其次通过在网络中加入注意力模型来获取细粒度特征；最后将粗细特征融合，进行相似性度量，得到检索结果。结果 在不同的数据库上进行实验，与传统的尺度不变特征（SIFT）、方向梯度直方图（HOG）和深度手绘模型Deep SaN（sketch-a-net）、Deep 3DS（sketch）、Deep TSN（triplet sketch net）等5种基准方法进行比较，选取了Top-1和Top-10，在鞋子数据集上，本文方法Top-1正确率提升了12%，在椅子数据集上，本文方法Top-1正确率提升了11%，Top-10提升了3%，与传统的手绘检索方法相比，本文方法得到了更高的准确率。在实验中，本文方法通过手绘图像能在第1幅检索出绝大多数的目标图像，达到了实例级别手绘检索的目的。结论 提出了一种新的手绘图像检索方法，为手绘图像和自然图像的跨域检索提供了一种新思路，进行实例级别的手绘检索，与原有的方法相比，检索精度得到明显提升，证明了本文方法的可行性。     

密集网络图像哈希检索

目的 为提取可充分表达图像语义信息的图像特征,减少哈希检索中的投影误差,并生成更紧致的二值哈希码,提出一种基于密集网络和改进的监督核哈希方法。方法 用训练优化好的密集网络提取图像的高层语义特征;先对提取到的图像特征进行核主成分分析投影,充分挖掘图像特征中隐含的非线性信息,以减少投影误差,再利用监督核哈希方法对图像特征进行监督学习,将特征映射到汉明空间,生成更紧致的二值哈希码。结果 为验证提出方法的有效性、可拓展性以及高效性,在Paris6K和LUNA16（lung nodule analysis 16）数据集上与其他6种常用哈希方法相比,所提方法在不同哈希码长下的平均检索精度均较高,且在哈希码长为64 bit时,平均检索精度达到最高,分别为89.2%和92.9%;与基于卷积神经网络的哈希算法（convolution neural network Hashing,CNNH）方法相比,所提方法的时间复杂度有所降低。结论 提出一种基于密集网络和改进的监督核哈希方法,提高了图像特征的表达能力和投影精度,具有较好的检索性能和较低的时间复杂度;且所提方法的可拓展性也较好,不仅能够有效应用到彩色图像检索领域,也可以应用在医学灰度图像检索领域。     

残差密集空间金字塔网络的城市遥感图像分割

目的 遥感图像语义分割是根据土地覆盖类型对图像中每个像素进行分类,是遥感图像处理领域的一个重要研究方向。由于遥感图像包含的地物尺度差别大、地物边界复杂等原因,准确提取遥感图像特征具有一定难度,使得精确分割遥感图像比较困难。卷积神经网络因其自主分层提取图像特征的特点逐步成为图像处理领域的主流算法,本文将基于残差密集空间金字塔的卷积神经网络应用于城市地区遥感图像分割,以提升高分辨率城市地区遥感影像语义分割的精度。方法 模型将带孔卷积引入残差网络,代替网络中的下采样操作,在扩大特征图感受野的同时能够保持特征图尺寸不变;模型基于密集连接机制级联空间金字塔结构各分支,每个分支的输出都有更加密集的感受野信息;模型利用跳线连接跨层融合网络特征,结合网络中的高层语义特征和低层纹理特征恢复空间信息。结果 基于ISPRS （International Society for Photogrammetry and Remote Sensing） Vaihingen地区遥感数据集展开充分的实验研究,实验结果表明,本文模型在6种不同的地物分类上的平均交并比和平均F₁值分别达到69.88%和81.39%,性能在数学指标和视觉效果上均优于SegNet、pix2pix、Res-shuffling-Net以及SDFCN （symmetrical dense-shortcut fully convolutional network）算法。结论 将密集连接改进空间金字塔池化网络应用于高分辨率遥感图像语义分割,该模型利用了遥感图像不同尺度下的特征、高层语义信息和低层纹理信息,有效提升了城市地区遥感图像分割精度。     

目标提取与哈希机制的多标签图像检索

目的 哈希是大规模图像检索的有效方法。为提高检索精度,哈希码应保留语义信息。图像之间越相似,其哈希码也应越接近。现有方法首先提取描述图像整体的特征,然后生成哈希码。这种方法不能精确地描述图像包含的多个目标,限制了多标签图像检索的精度。为此提出一种基于卷积神经网络和目标提取的哈希生成方法。方法 首先提取图像中可能包含目标的一系列区域,然后用深度卷积神经网络提取每个区域的特征并进行融合,通过生成一组特征来刻画图像中的每个目标,最后再产生整幅图像的哈希码。采用Triplet Loss的训练方法,使得哈希码尽可能保留语义信息。结果 在VOC2012、Flickr25K和NUSWIDE数据集上进行多标签图像检索。在NDCG(normalized discounted cumulative gain)性能指标上,当返回图像数量为 1 000时,对于VOC2012,本文方法相对于DSRH(deep semantic ranking hashing)方法提高24个百分点,相对于ITQ-CCA(iterative quantization-canonical correlation analysis)方法能提高36个百分点;对于Flickr25,本文方法比DSRH方法能提高2个左右的百分点;对于NUSWIDE,本文方法相对于DSRH方法能提高4个左右的百分点。对于平均检索准确度,本文方法在NUSWIDE和Flickr25上能提高25个百分点。根据多项评价指标可以看出,本文方法能以更细粒度来精确地描述图像,显著提高了多标签图像检索的性能。结论 本文新的特征学习模型,对图像进行细粒度特征编码是一种可行的方法,能够有效提高数据集的检索性能。     

基于样本不平衡与视觉多样性的超平面偏移法

在基于内容的图像检索中,支持向量机（SVM）的分类性能不仅受到样本不平衡的影响,而且由于图像的视觉多样性,导致在分类超平面附近找不到正例样本,无法提高分类器性能。针对上述问题,提出一种二阶段的SVM超平面偏移方法。根据样本的不平衡性进行超平面的相对偏移,使得当前超平面向理论的最优超平面移动,以此为基础进行相关反馈,并根据反馈结果运用超平面三原则对当前的偏移超平面再进行偏移,以解决图像的视觉多样性问题,从而得到能够提高检索精度的分类超平面。实验结果证明,与基于SVM的标准图像检索方法相比,该方法能大幅提升样本集的分类性能,使图像的检索精度平均提高16％。     

基于流形主动学习的遥感图像分类算法

为了高效地解决遥感图像分类问题,提出一种基于流形学习和支持向量机(SVM)的图像分类算法。在初始阶段,该算法首先利用初始训练集训练SVM,并且使用SVM找出离分类界面最近的样本;然后在所选样本中利用拉普拉斯图构建样本空间的流形结构,选出最具有代表性的样本加入训练集;最后利用高光谱图像进行实验进行验证。通过与现有的主动学习算法进行比较,结果表明该算法获得了更高的分类准确率。     

基于深度多相似性哈希方法的遥感图像检索

哈希方法由于低存储、高效率的特性而被广泛应用于遥感图像检索领域。面向遥感图像检索任务的无监督哈希方法存在伪标签不可靠、图像对的训练权重相同以及图像检索精度较低等问题,为此,提出一种基于深度多相似性哈希（DMSH）的遥感图像检索方法。针对优化伪标签和训练关注度分别构建自适应伪标签模块（APLM）和成对结构信息模块（PSIM）。APLM采用K最近邻和核相似度来评估图像间的相似关系,实现伪标签的初始生成和在线校正。PSIM将图像对的多尺度结构相似度映射为训练关注度,为其分配不同的训练权重从而优化深度哈希学习。DMSH通过Swin Transformer骨干网络提取图像的高维特征,将基于语义相似矩阵的伪标签作为监督信息以训练深度网络,同时网络在两个基于不同相似度设计的模块上实现交替优化,充分挖掘图像间的多种相似信息进而生成具有高辨识力的哈希编码,实现遥感图像的高精度检索。实验结果表明,DMSH在EuroSAT和PatternNet数据集上的平均精度均值较对比方法分别提高0.8%～3.0%和9.8%～12.5%,其可以在遥感图像检索任务中取得更高的准确率。     

高光谱遥感图像分类算法中的应用研究

针对高光谱遥感图像数据量大、维数高、数据之间冗余量大的特点,提出一种基于决策边界特征提取(Decision Bounda-ry Feature Extraction,DBFE)的SVM高光谱遥感图像分类算法。首先采用DBFE对高光谱遥感图像进行特征提取,消除特征之间相关性,并降低特征维数,然后采用GA对SVM参数进行优化,找到最优分类模型参数,最后采用最优分类模型对待分类的高光谱遥感图像进行分类。仿真结果表明,高光谱遥感图像分类算法提高了高光谱遥感图像分类的效率和分类正确率,说明分类方法是有效、可行的。     

SVM在多源遥感图像分类中的应用研究

在利用遥感图像进行土地利用/覆盖分类过程中,可采用以下两种途径来提高分类精度:一是通过增加有利于分类的数据源,引入地理辅助数据和归一化植被指数(NDVI)来进行多源信息融合;二是选择更好的分类方法,例如支持向量机(SVM)学习方法,由于该方法克服了最大似然法和神经网络的弱点,非常适合高维、复杂的小样本多源数据的分类。为了提高多源遥感图像分类的精度,还研究了支持向量机在遥感图像分类中模型的选择,包括多类模型和核函数的选择。分类结果表明,支持向量机比传统的分类方法具有更高的精度,尤其是基于径向基核函数和一对一多类方法的支持向量机模型更适合多源遥感图像分类,因此,基于支持向量机的多源土地利用/覆盖分类能大大提高分类精度。     

深度学习在GlobeLand30-2010产品分类精度优化中应用研究

本文提出结合深度卷积神经网络与在线高分遥感影像的分类方法，用于GlobeLand30地表覆盖产品的质量优化。首先，通过对多源地表覆盖产品的一致性分析，构建深度学习训练所需的高分辨率遥感大样本（224万样本量）；其次，基于该大规模样本集训练适用于GlobeLand30优化的深度卷积神经网络模型（GoogleNet Inception V3）；最后，利用训练好的神经网络模型对在线高分影像进行分类，用以优化GlobeLand30产品的不可靠区域。经独立测试样本集验证，经过训练的神经网络分类总体精度为87.7%，Kappa系数为0.86，相比原始GlobeLand30的精度（总体精度75.1%、Kappa系数0.71）有了明显提升。在4个试验区的GlobeLand 30产品优化实验表明：该方法能够有效优化GlobeLand30产品的分类精度。     

一种新的可见光遥感图像云判别算法

为了解决由于云层遮挡所引起的数据利用率低等问题,提出了一种新的基于支持向量机(SVM)与无监督聚类算法相结合的分类算法,实现可见光遥感图像快速高效地自动云判别。该算法首先使用ISODATA进行聚类,再利用聚类结果为SVM挑选训练集,从而大大减少SVM的训练时间,融合了SVM准确率高与ISODATA聚类速度快的优势。结果表明:该算法使得SVM的训练时间降低至单独使用SVM算法所需训练时间的2%,基本满足实时性需求,并保证分类正确率达90%以上。     

U-Net Neural Networks and Its Application in High Resolution Satellite Image Classification

High-resolution remote sensing images have precise geometric structure and spatial layout, but the spectral information is limited, which increases the difficulty of classifying similar features of spectral features. Aiming at the problem of high resolution remote sensing image classification, a U-Net convolutional neural network classification method based on deep learning is proposed. Based on the remote sensing image of the Ejina Oasis GF-2 in the lower reaches of the Heihe River, the U-Net model was used to extract the five types of land cover types of Populus euphratica, Tamarix chinensis, cultivated land, grassland and bare land. The overall classification accuracy and Kappa coefficient were 85.024% and 0.795 6 respectively. Compared with the traditional Support Vector Machine(SVM) and object-oriented method, the results show that compared with SVM and object-oriented method, the U-Net model is used to classify the high-resolution remote sensing, and the classification effect is better. The ground extracts the essential features of the features to meet the accuracy requirements.     

深度学习U-Net方法及其在高分辨卫星影像分类中的应用

高分辨率遥感影像有精确的几何结构和空间布局,但是光谱信息有限,增大了对光谱特征相似地物的分类难度。针对高分辨率遥感影像分类的问题,采用深度学习U-Net模型分类方法。基于黑河下游额济纳绿洲高分二号遥感影像,通过U-Net模型提取胡杨、柽柳、耕地、草地和裸地五种地物覆被类型,分类总体精度和Kappa系数分别为85.024%和0.795 6,并与传统的支持向量机（SVM, Support Vector Machine）和面向对象的分类方法比较,结果表明：相对于SVM和面向对象,基于U-Net模型的高分辨率卫星影像地物覆被分类,能够更好地对地物本质特征进行提取,分类效果较好,满足精度要求。