Hyperspectral image classification based on bilateral filter with linear spatial correlation information

Support Vector Machine (SVM) with the margin theory is widely used for the hyperspectral classification. However, the margin model is a single interval and does not represent the complete distribution of hyperspectral image data sets. In addition, the spatial texture information obtained by filtering in recent years has become a hot research topic for improving classification of hyperspectral images, but the spatial correlation information is often lost in the spatial texture information extraction. To solve this problem, this paper proposed an algorithm with large margin distribution machine (LDM) that combined the spatial information obtained by the bilateral filter and linear spatial correlation information (BFLSCI-LDM). First, spatial features were extracted by bilateral filter from hyperspectral image whose dimensionality was reduced by principal component analysis. Next, the linear spatial correlation information was constructed for hyperspectral images. Finally, the spatial information and original spectral information were combined for LDM. The experimental results of actual hyperspectral images indicated that the proposed BFLSCI-LDM method was superior to other classification methods, including the original SVM with the raw spectral features, the dimensionality reduction features, and spatial-spectral information, the method of edge-preserving filter and recursive filter, and the LDM-based method.     

双卷积池化结构的3D-CNN高光谱遥感影像分类方法

目的 高光谱遥感影像数据包含丰富的空间和光谱信息,但由于信号的高维特性、信息冗余、多种不确定性和地表覆盖的同物异谱及同谱异物现象,导致高光谱数据结构呈高度非线性。3D-CNN（3D convolutional neural network）能够利用高光谱遥感影像数据立方体的特性,实现光谱和空间信息融合,提取影像分类中重要的有判别力的特征。为此,提出了基于双卷积池化结构的3D-CNN高光谱遥感影像分类方法。方法 双卷积池化结构包括两个卷积层、两个BN（batch normalization）层和一个池化层,既考虑到高光谱遥感影像标签数据缺乏的问题,也考虑到高光谱影像高维特性和模型深度之间的平衡问题,模型充分利用空谱联合提供的语义信息,有利于提取小样本和高维特性的高光谱影像特征。基于双卷积池化结构的3D-CNN网络将没有经过特征处理的3D遥感影像作为输入数据,产生的深度学习分类器模型以端到端的方式训练,不需要做复杂的预处理,此外模型使用了BN和Dropout等正则化策略以避免过拟合现象。结果 实验对比了SVM（support vector machine）、SAE（stack autoencoder）以及目前主流的CNN方法,该模型在Indian Pines和Pavia University数据集上最高分别取得了99.65%和99.82%的总体分类精度,有效提高了高光谱遥感影像地物分类精度。结论 讨论了双卷积池化结构的数目、正则化策略、高光谱首层卷积的光谱采样步长、卷积核大小、相邻像素块大小和学习率等6个因素对实验结果的影响,本文提出的双卷积池化结构可以根据数据集特点进行组合复用,与其他深度学习模型相比,需要更少的参数,计算效率更高。     

遥感异常目标的仿生非线性滤波检测

目的 为了解决复杂背景干扰下基于线性滤波异常检测算法无法有效区分复杂背景特征与异常目标特征,导致检测结果虚警率偏高的问题,提出一种面向复杂背景的遥感异常小目标仿生非线性滤波检测算法。方法 受生物视觉系统利用不同属性信息挖掘高维特征机理的启发,该算法通过相关型非线性滤波器综合多波段光谱数据提取高维光谱变化特征作为异常目标检测检测依据,弥补线性滤波抗噪性能差,难于区分复杂背景特征与目标特征的缺点。结果 仿真实验结果验证该算法在仿真数据及真实遥感数据的异常检测效果上有较大改善,在实现快速异常检测的同时提高了检测命中率。结论 本文方法不涉及背景建模,计算复杂度低,具有较好的实时性与普适性。特别是对复杂背景下的小尺寸异常目标具有较好的检测效果。     

结合超像元和子空间投影支持向量机的高光谱图像分类

目的 高光谱图像包含了丰富的空间、光谱和辐射信息,能够用于精细的地物分类,但是要达到较高的分类精度,需要解决高维数据与有限样本之间存在矛盾的问题,并且降低因噪声和混合像元引起的同物异谱的影响。为有效解决上述问题,提出结合超像元和子空间投影支持向量机的高光谱图像分类方法。方法 首先采用简单线性迭代聚类算法将高光谱图像分割成许多无重叠的同质性区域,将每一个区域作为一个超像元,以超像元作为图像分类的最小单元,利用子空间投影算法对超像元构成的图像进行降维处理,在低维特征空间中执行支持向量机分类。本文高光谱图像空谱综合分类模型,对几何特征空间下的超像元分割与光谱特征空间下的子空间投影支持向量机（SVMsub）,采用分割后进行特征融合的处理方式,将像元级别转换为面向对象的超像元级别,实现高光谱图像空谱综合分类。结果 在AVIRIS（airbone visible/infrared imaging spectrometer）获取的Indian Pines数据和Reflective ROSIS（optics system spectrographic imaging system）传感器获取的University of Pavia数据实验中,子空间投影算法比对应的非子空间投影算法的分类精度高,特别是在样本数较少的情况下,分类效果提升明显;利用马尔可夫随机场或超像元融合空间信息的算法比对应的没有融合空间信息的算法的分类精度高;在两组数据均使用少于1%的训练样本情况下,同时融合了超像元和子空间投影的支持向量机算法在两组实验中分类精度均为最高,整体分类精度高出其他相关算法4%左右。结论 利用超像元处理可以有效融合空间信息,降低同物异谱对分类结果的不利影响;采用子空间投影能够将高光谱数据变换到低维空间中,实现有限训练样本条件下的高精度分类;结合超像元和子空间投影支持向量机的算法能够得到较高的高光谱图像分类精度。     

提高小样本高光谱图像分类性能的变维卷积神经网络

目的 为了解决基于卷积神经网络的算法对高光谱图像小样本分类精度较低、模型结构复杂和计算量大的问题,提出了一种变维卷积神经网络。方法 变维卷积神经网络对高光谱分类过程可根据内部特征图维度的变化分为空—谱信息融合、降维、混合特征提取与空—谱联合分类的过程。这种变维结构通过改变特征映射的维度,简化了网络结构并减少了计算量,并通过对空—谱信息的充分提取提高了卷积神经网络对小样本高光谱图像分类的精度。结果 实验分为变维卷积神经网络的性能分析实验与分类性能对比实验,所用的数据集为Indian Pines和Pavia University Scene数据集。通过实验可知,变维卷积神经网络对高光谱小样本可取得较高的分类精度,在Indian Pines和Pavia University Scene数据集上的总体分类精度分别为87.87%和98.18%,与其他分类算法对比有较明显的性能优势。结论 实验结果表明,合理的参数优化可有效提高变维卷积神经网络的分类精度,这种变维模型可较大程度提高对高光谱图像中小样本数据的分类性能,并可进一步推广到其他与高光谱图像相关的深度学习分类模型中。     

基于空谱特征的核极端学习机高光谱遥感图像分类算法

近年来,局部二值模式(Local Binary Patterns,LBP)由于其在空间特征提取方面具有显著的优势被应用于高光谱遥感图像分类中,该算法在空间特征提取上虽减少类内方差,却忽视了用于区分不同地物类别的光谱特征。为避免在图像分类过程中提取单一特征导致特征提取不充分、分类效果不理想的问题,通过将空间特征和光谱特征进行矢量堆叠得到新的空谱特征向量。再将新的空谱特征向量引入到核极端学习机中,提出一种基于空谱特征的核极端学习机高光谱遥感图像分类算法(Space Spectrum feature Kernel Extreme Learning Machine,SS-KELM)。为验证所提算法的有效性,将使用两个高光谱图像数据集进行实验。实验结果表明所提SS-KELM算法的分类性能优于目前较为常见的传统分类算法。     

CNN和三维Gabor滤波器的高光谱图像分类

卷积神经网络(CNN)具有强大的特征提取能力,能够有效地提高高光谱图像的分类精度.然而CNN模型训练需要大量的训练样本参与,以防止过拟合,Gabor滤波器以非监督的方式提取图像的边缘和纹理等空间信息,能够减轻CNN模型对训练样本的依赖度及特征提取的压力.为了充分利用CNN和Gabor滤波器的优势,提出了一种双通道CNN和三维Gabor滤波器相结合的高光谱图像分类方法Gabor-DC-CNN.首先利用二维卷积神经网络(2D-CNN)模型处理原始高光谱图像数据,提取图像的深层空间特征;同时利用一维卷积神经网络(1D-CNN)模型处理三维Gabor特征数据,进一步提取图像的深层光谱-纹理特征.连接2个CNN模型的全连接层实现特征融合,并将融合特征输入到分类层中完成分类.实验结果表明,该方法能够有效地提高分类精度,在Indian Pines,Pavia University和Kennedy Space Center 3组数据上分别达到98.95%,99.56%和99.67%.     

3D卷积自编码器高光谱图像分类模型

目的 高光谱图像分类是遥感领域的基础问题，高光谱图像同时包含丰富的光谱信息和空间信息，传统模型难以充分利用两种信息之间的关联性，而以卷积神经网络为主的有监督深度学习模型需要大量标注数据，但标注数据难度大且成本高。针对现有模型的不足，本文提出了一种无监督范式下的高光谱图像空谱融合方法，建立了3D卷积自编码器（3D convolutional auto-encoder，3D-CAE）高光谱图像分类模型。方法 3D卷积自编码器由编码器、解码器和分类器构成。将高光谱数据预处理后，输入到编码器中进行无监督特征提取，得到一组特征图。编码器的网络结构为3个卷积块构成的3D卷积神经网络，卷积块中加入批归一化技术防止过拟合。解码器为逆向的编码器，将提取到的特征图重构为原始数据，用均方误差函数作为损失函数判断重构误差并使用Adam算法进行参数优化。分类器由3层全连接层组成，用于判别编码器提取到的特征。以3D-CNN （three dimensional convolutional neural network）为自编码器的主干网络可以充分利用高光谱图像的空间信息和光谱信息，做到空谱融合。以端到端的方式对模型进行训练可以省去复杂的特征工程和数据预处理，模型的鲁棒性和稳定性更强。结果 在Indian Pines、Salinas、Pavia University和Botswana等4个数据集上与7种传统单特征方法及深度学习方法进行了比较，本文方法均取得最优结果，总体分类精度分别为0.948 7、0.986 6、0.986 2和0.964 9。对比实验结果表明了空谱融合和无监督学习对于高光谱遥感图像分类的有效性。结论 本文模型充分利用了高光谱图像的光谱特征和空间特征，可以做到无监督特征提取，无需大量标注数据的同时分类精度高，是一种有效的高光谱图像分类方法。     

A maximum noise fraction transform with improved noise estimation for hyperspectral images

Feature extraction is often performed to reduce spectral dimension of hyperspectral images before image classification. The maximum noise fraction(MNF) transform is one of the most commonly used spectral feature extraction methods. The spectral features in several bands of hyperspectral images are submerged by the noise. The MNF transform is advantageous over the principle component(PC) transform because it takes the noise information in the spatial domain into consideration. However,the experiments describ...     

截断核范数和全变差正则化高光谱图像复原

目的 高光谱图像距具有较高的光谱分辨率,从而具备区分诊断性光谱特征地物的能力,但高光谱数据经常会受到如环境、设备等各种因素的干扰,导致数据污染,严重影响高光谱数据在应用中的精度和可信度。方法 根据高光谱图像光谱维度特征值大小与所包含信息的关系,利用截断核范数最小化方法表示光谱低秩先验,从而有效抑制稀疏噪声;再利用高光谱图像的空间稀疏先验建立正则化模型,达到去除高密度噪声的目的;最终,结合上述两种模型的优势,构建截断核范数全变差正则化模型去除高斯噪声、稀疏噪声及其他混合噪声等。结果 将本文与其他三种近期发表的主流去噪方法进行对比,模型平均峰信噪比提高3.20 dB,平均结构相似数值指标提高0.22,并可以应用到包含各种噪声、不同尺寸的图像,其模型平均峰信噪比提高1.33 dB。结论 本文方法在光谱低秩中更加准确地表示了观测数据的先验特征,利用高光谱遥感数据的空间和低秩先验信息,能够对含有高密度噪声以及稀疏异常值的图像进行复原。     

高光谱图像小样本分类的卷积神经网络方法

目的 与传统分类方法相比,基于深度学习的高光谱图像分类方法能够提取出高光谱图像更深层次的特征。针对现有深度学习的分类方法网络结构简单、特征提取不够充分的问题,提出一种堆叠像元空间变换信息的数据扩充方法,用于解决训练样本不足的问题,并提出一种基于不同尺度的双通道3维卷积神经网络的高光谱图像分类模型,来提取高光谱图像的本质空谱特征。方法 通过对高光谱图像的每一像元及其邻域像元进行旋转、行列变换等操作,丰富中心像元的潜在空间信息,达到数据集扩充的作用。将扩充之后的像素块输入到不同尺度的双通道3维卷积神经网络学习训练集的深层特征,实现更高精度的分类。结果 5次重复实验后取平均的结果表明,在随机选取了10%训练样本并通过8倍数据扩充的情况下,Indian Pines数据集实现了98.34%的总体分类精度,Pavia University数据集总体分类精度达到99.63%,同时对比了不同算法的运行时间,在保证分类精度的前提下,本文算法的运行时间短于对比算法,保证了分类模型的稳定性、高效性。结论 本文提出的基于双通道卷积神经网络的高光谱图像分类模型,既解决了训练样本不足的问题,又综合了高光谱图像的光谱特征和空间特征,提高了高光谱图像的分类精度。     

结合倒置特征金字塔和U-Net的高光谱图像分类

目的 地物分类是对地观测研究领域的重要任务。高光谱图像具有丰富的地物光谱信息,可用于提升遥感图像地物分类的准确度。如何对高光谱图像进行有效的特征提取与表示是高光谱图像分类应用的关键问题。为此,本文提出了一种结合倒置特征金字塔和U-Net的高光谱图像分类方法。方法 对高光谱数据进行主成分分析（principal component analysis,PCA）降维,获取作为网络输入的重构图像数据,然后使用U-Net逐层提取高光谱重构图像的空间特征。与此同时,利用倒置的特征金字塔网络抽取相应层级的语义特征;通过特征融合,得到既有丰富的空间信息又有较强烈的语义响应的特征表示。提出的网络利用注意力机制在跳跃连接过程中实现对背景区域的特征响应抑制,最终实现了较高的地物分类精度。结果 分析了PCA降维方法和输入数据尺寸对分类性能的影响,并在Indian Pines、Pavia University、Salinas和Urban数据集上进行了对比实验。本文方法在4个数据集上分别取得了98.91%、99.85%、99.99%和87.43%的总体分类精度,与支持向量机（support vector machine,SVM）等相关算法相比,分类精度高出1%~15%。结论 本文提出一种结合倒置特征金字塔和U-Net的高光谱图像分类方法,可以应用于有限训练样本下的高光谱图像分类任务,并在多个数据集上取得了较高的分类精度。实验结果表明倒置特征金字塔结构与U-Net结合的算法能够高效地实现高光谱图像的特征提取与表示,从而获得更精细的分类结果。     

Pan-sharpening based on common saliency feature analysis and multiscale spatial information extraction for multiple remote sensing images

ABSTRACT

The requirements of spectral and spatial quality differ from region to region in remote sensing images. The employment of saliency in pan-sharpening methods is an effective approach to fulfil this kind of demands. Common saliency feature analysis, which considers the mutual information between multiple images, can ensure the consistency and accuracy when assigning saliency to regions in different images. Thus, we propose a pan-sharpening method based on common saliency feature analysis and multiscale spatial information extraction for multiple remote sensing images. Firstly, we extract spatial information by the guided filter and accurate intensity component estimation. Then, a common saliency feature analysis method based on global contrast calculation and intensity feature extraction is designed to obtain preliminary pixel-wise saliency estimation, which is subsequently integrated with text-featured based compensation to generate adaptive injection gains. The introduction of common saliency feature analysis guarantees that the same pan-sharpening strategy will be applied to regions with similar features in multiple images. Finally, the injection gains are used to implement the detail injection. Our proposal satisfies diverse needs of spatial and spectral information for different regions in the single image and guarantees that regions with similar features in different images are treated consistently in the process of pan-sharpening. Both visual and quantitative results demonstrate that our method has better performance in guaranteeing consistency in multiple images, improving spatial quality and preserving spectral fidelity.     

嵌入式深度神经网络高光谱图像聚类

目的 高光谱图像的高维特性和非线性结构给聚类任务带来了"维数灾难"和线性不可分问题，以往的工作将特征提取过程与聚类过程互相剥离，难以同时优化。为了解决上述问题，提出了一种新的嵌入式深度神经网络模糊C均值聚类方法（EDFCC）。方法 EDFCC算法为了提取更加有效的深层特征，联合优化高光谱图像的特征提取和聚类过程，将模糊C均值聚类算法嵌入至深度自编码器网络中，可以保持两任务联合优化的优势，同时利用深度自编码器网络降维以及逼近任意非线性函数的能力，逐步将原始数据映射到潜在特征空间，提取数据的深层特征。所提方法采用模糊C均值聚类算法约束特征提取过程，学习适用于聚类的高光谱数据深层特征，动态调整聚类指示矩阵。结果 实验结果表明，EDFCC算法在Indian Pines和Pavia University两个高光谱数据集上的聚类精度分别达到了42.95%和60.59%，与当前流行的低秩子空间聚类算法（LRSC）相比分别提高了3%和4%，相比于基于自编码器的数据聚类算法（AEKM）分别提高了2%和3%。结论 EDFCC算法能够从高光谱图像的高维光谱信息中提取更加有效的深层特征，提升聚类精度，并且由于EDFCC算法不需要额外的训练过程，大大提升了聚类效率。     

Learning Explicit Smoothing Kernels for Joint Image Filtering

Smoothing noises while preserving strong edges in images is an important problem in image processing. Image smoothing filters can be either explicit (based on local weighted average) or implicit (based on global optimization). Implicit methods are usually time‐consuming and cannot be applied to joint image filtering tasks, i.e., leveraging the structural information of a guidance image to filter a target image. Previous deep learning based image smoothing filters are all implicit and unavailable for joint filtering. In this paper, we propose to learn explicit guidance feature maps as well as offset maps from the guidance image and smoothing parameter that can be utilized to smooth the input itself or to filter images in other target domains. We design a deep convolutional neural network consisting of a fully‐convolution block for guidance and offset maps extraction together with a stacked spatially varying deformable convolution block for joint image filtering. Our models can approximate several representative image smoothing filters with high accuracy comparable to state‐of‐the‐art methods, and serve as general tools for other joint image filtering tasks, such as color interpolation, depth map upsampling, saliency map upsampling, flash/non‐flash image denoising and RGB/NIR image denoising.     

基于双重L2稀疏编码的高光谱图像分类

目的 为了有效提高高光谱图像分类的精度,提出了双重L2稀疏编码的高光谱图像分类方法。方法 首先对高光谱图像进行预处理,充分结合图像的空间信息和光谱信息,利用像元的空间连续性,用L2稀疏编码重建图像中每个像元。针对重建的图像数据,依据L2稀疏编码的最小误差和编码系数实现分类。结果 在公开的数据库AVIRIS高光谱图像上进行验证,分类精度为99.44%,与支持向量机（SVM）、K最近邻（KNN）和L1稀疏编码方法比较,有效地提高了分类的准确性。结论 实验结果表明,提出的方法应用于高光谱图像分类具有较好的分类效果。     

高光谱图像空谱特征提取综述

由于高光谱图像包含了丰富的光谱、空间和辐射信息，且具有光谱接近连续、图谱合一的特性，可用于地质勘探、精细农业、生态环境、城市遥感以及军事目标检测等领域的目标精准分类与识别。对高光谱图像进行空谱特征提取是遥感领域的研究热点和前沿课题之一。传统空谱特征提取方法对高光谱图像分类的计算量和样本需求小、理论可解释性好、抗噪声能力强，但应用于分类的精度受限于特征来源；基于深度学习的高光谱图像空谱特征提取方法虽然计算量和样本需求大，但是由于深层空谱特征的表达能力更好，可以大幅度提高分类器的性能。为了便于对高光谱图像空谱特征提取领域进行更深入有效的探索，本文系统综述了相关研究进展。首先，概述了空间纹理与形态学特征提取、空间邻域信息获取及空间信息后处理等传统高光谱空谱特征提取方法的原理，对大量的已有工作进行了梳理、分析与总结。然后，从深度空谱特征提取角度出发，介绍了当前流行的卷积神经网络、图卷积神经网络及跨场景多源数据模型的结构特点及研究进展，分析、评价了基于深度学习的网络模型对高光谱图像空谱特征提取的优势及问题所在。最后，对该研究领域的未来相关发展提出建议并进行了展望。     

综合纹理特征的高光谱遥感图像分类方法

提出了一种基于Gabor滤波的高光谱遥感图像支持向量机(SVM)分类方法,通过将Gabor滤波器组产生的纹理特征引入SVM分类,不仅充分利用了SVM适于解决高维数据分类问题的优势,而且在分类过程中实现了空间结构信息和光谱信息的综合使用,有效利用了高光谱图像“图谱合一”的特性.采用中科院上海技术物理研究所研制的模块化成像光谱仪OMIS (operative modular imaging spectrometry)真实数据进行的实验,实验结果表明,该方法提高了分类效果,分类结果更具有空间连贯性,并且能有效地克服噪声的影响.     

New Riemannian techniques for directional and tensorial image data

This paper develops new geometrical filtering and edge detection algorithms for processing non-Euclidean image data. We view image data as residing on a Riemannian manifold, and we work with a representation based on the exponential map for this manifold together with the Riemannian weighted mean of image data. We show how the weighted mean can be efficiently computed using Newton's method, which converges faster than the gradient descent method described elsewhere in the literature. Based on geodesic distances and the exponential map, we extend the classical median filter and the Perona-Malik anisotropic diffusion technique to smooth non-Euclidean image data. We then propose an anisotropic Gaussian kernel for image filtering, and we also show how both the median filter and the anisotropic Gaussian filter can be combined to develop a new edge preserving filter, which is effective at removing both Gaussian noise and impulse noise. By using the intrinsic metric of the feature manifold, we also generalise Di Zenzo's structure tensor to non-Euclidean images for edge detection. We demonstrate the applications of our Riemannian filtering and edge detection algorithms both on directional and tensor-valued images.     

跨数据集评估的高光谱图像分类

目的 随着高光谱成像技术的飞速发展,高光谱数据的应用越来越广泛,各场景高光谱图像的应用对高精度详细标注的需求也越来越旺盛。现有高光谱分类模型的发展大多集中于有监督学习,大多数方法都在单个高光谱数据立方中进行训练和评估。由于不同高光谱数据采集场景不同且地物类别不一致,已训练好的模型并不能直接迁移至新的数据集得到可靠标注,这也限制了高光谱图像分类模型的进一步发展。本文提出跨数据集对高光谱分类模型进行训练和评估的模式。方法 受零样本学习的启发,本文引入高光谱类别标签的语义信息,拟通过将不同数据集的原始数据及标签信息分别映射至同一特征空间以建立已知类别和未知类别的关联,再通过将训练数据集的两部分特征映射至统一的嵌入空间学习高光谱图像视觉特征和类别标签语义特征的对应关系,即可将该对应关系应用于测试数据集进行标签推理。结果 实验在一对同传感器采集的数据集上完成,比较分析了语义—视觉特征映射和视觉—语义特征映射方向,对比了5种基于零样本学习的特征映射方法,在高光谱图像分类任务中实现了对分类模型在不同数据集上的训练和评估。结论 实验结果表明,本文提出的基于零样本学习的高光谱分类模型可以实现跨数据集对分类模型进行训练和评估,在高光谱图像分类任务中具有一定的发展潜力。