混合深度CNN联合注意力的高光谱图像分类

深度学习中的卷积神经网络（CNN）能充分利用计算机的计算能力,高效地提取遥感图像的特征,取得很好的成果,特别是在高光谱图像分类方面取得了很大的进展。为了在有限的高光谱样本上充分提取光谱和空间特征,提高高光谱图像分类的精度,提出了混合深度卷积联合注意力（HDC-Attention）的模型。首先利用核主成分分析（KPCA）和小批量K均值（MBK-means）对高光谱图像进行组合降维,有效地消除数据冗余并保留主要信息量,使得降维后的数据具有最佳区分度。然后将降维后的数据输入HDC网络进行充分的光谱-空间特征提取。最后利用光谱-空间注意力,重新分配光谱-空间特征的权重,增强有用的空谱特征,抑制无用的特征。提出的模型在三个公开数据集上进行了多次实验,在有限的标记样本下,三个数据集的OA、AA、Kappa分类指标均超过99%。     

基于多视图边界判别投影的高光谱图像分类

高光谱图像分类是遥感领域研究的热点问题,其关键在于利用高光谱图谱合一的 优势,同时融合高光谱图像中各个像元位置的光谱信息和空间信息,提高光谱图像分类精度。 针对高光谱图像特征维数高和冗余信息多等问题,采用多视图子空间学习方法进行特征降维, 提出了图正则化的多视图边界判别投影算法。将每个像元处的光谱特征看作一个视图,该像元 处的空间特征看作另一个视图,通过同时优化每个视图上的投影方向来寻找最优判别公共子空 间。公开测试数据集上的分类实验表明,多视图学习在高光谱图像空谱融合分类方面具有显著 的优越性,在多视图降维算法中,该算法具有最高的分类准确性。     

打印机光谱特性化方法研究综述

目的 打印输出技术是目前国内外图像复制领域的主流技术。打印机特征化旨在建立打印机输入控制值与输出色彩信息值之间的对应关系,保证打印输出图像各像素色彩值的准确性。基于可见光谱的打印机特性化过程,以图像光谱信息作为打印机特性化过程中的色彩控制依据,可避免基于色度的打印输出过程所固有的同色异谱问题,实现图像色彩复制领域最高级别的无条件颜色匹配。在广泛文献调研的基础上,本文回顾了打印机光谱特性化方法各部分研究的发展历程,分析介绍了该领域主要研究内容及其研究现状,对打印机光谱特性化方法流程进行了较为全面的综述。方法 以Yule-Nielsen修正的光谱Neugebauer模型（YNSN模型）为典型代表,从打印机墨量限制方法、正向光谱预测模型、反向光谱分色模型以及色彩匹配评价度量4个方面,对目前基于可见光谱的打印机特性化方法研究情况进行了总结与归纳,并结合现有研究存在的问题对未来研究发展趋势进行了展望。结果 综合近几年该领域研究发展情况,认为目前打印机光谱特性化方法研究在墨量限制算法合理性、正反向建模精度等方面已经取得了较为理想的结果。然而,尽管已有20多年的广泛研究,鉴于光谱数据的高维性以及具体应用场景的多样性,导致准确而高效的实现光谱打印机特性化仍然是一个极具难度的问题,特别在建模效率提高、模型适用性增强、模型物理意义提升以及评价度量综合性能优化等方面,目前研究仍存在较大的研究发展空间。结论 打印机光谱特性化是实现图像色彩信息高保真打印复制的必要手段,其今后将继续在图像复制领域起到非常关键作用。然而,由于基于光谱的打印机特性化过程涉及光谱学及色度学理论、半色调呈色理论、最优化计算理论、人眼视觉机理、数字加网技术等多种理论与技术,故其研究具有一定的难度与挑战性。本文对打印机光谱特性化方法研究现状进行了较为深入的介绍与分析,意在使国内同行对该领域有一个较为全面的了解,以期引起更多研究者对该领域的关注。由于篇幅所限,许多问题未及深究。     

基于LFDA和GA-ELM的高光谱图像地物识别方法研究

高光谱图像的高维特性和波段间的高相关性,导致高光谱图像地物识别问题研究中,面临着数据量大、信息冗余的问题,降低了高光谱图像的分类识别精度。针对以上问题,提出了基于局部保留降维（Local Fisher Discriminant Analysis,LFDA）结合遗传算法（Genetic Algorithm, GA ）优化极限学习机（Extreme Learning Machine, ELM）的高光谱图像分类方法。首先,采用LFDA对高光谱图像数据进行降维处理,消除信息冗余并保留局部邻域内主要特征;然后用GA优化ELM,对降维处理后的特征样本进行分类,提高高光谱图像的分类识别精度。将该方法应用于Salinas和Pavia University高光谱图像的地物识别问题研究,分类精度分别达到了98.56%和97.11%,由此验证了该方法的有效性。     

基于改进的胶囊网络模型的高光谱图像分类方法

针对卷积神经网络无法有效提取高光谱图像光谱与空间特征以及识别特征之间的空间位置问题,提出一种基于胶囊网络的改进神经网络模型.采用1×1卷积核对高光谱图像块进行降维处理;利用双通道卷积神经网络提取降维图像的初级特征,进而在PrimaryCaps层将初级特征信息封装为胶囊向量;通过DigitCaps层计算胶囊向量的模长来判...     

基于核最小噪声分离变换的高光谱遥感影像特征提取研究

高光谱遥感影像具有高维非线性的特点,线性特征提取方法容易造成信息丢失和失真。在最小噪声分离变换(MNF)线性特征提取算法的基础上,引入核方法,提出核最小噪声分离变换(KMNF)高光谱遥感影像非线性特征提取方法。KMNF通过核函数,将样本映射到高维特征空间,在特征空间中运算线性MNF,实现原始空间中的非线性KMNF算法。进行基于KMNF的高光谱影像特征提取实验,分析样本个数对KMNF特征提取的效果,发现样本数量对KMNF特征提取的结果影响很小,较少的样本数即可达到较多样本时特征提取的效果。对比KMNF与MNF特征提取的效果,分析它们降维的效率与保留的信息量,发现KMNF总体降维效率与MNF相当,且体现出高光谱图像的非线性特征;在KMNF和MNF特征提取的基础上,利用SVM进行高光谱图像分类,KMNF+SVM的分类精度优于MNF+SVM。     

基于半监督算法的高光谱影像特征提取仿真

高光谱影像包括待测物的空间、光谱和辐射三重信息,且图像信息具有维度高、空间相关性弱、特征非线性强的特点,导致其空间特征序列混乱,特征提取难度大。于是提出基于半监督算法的高光谱影像特征提取方法。应用半监督算法对高光谱图像中的高维数据降维处理,并基于降维结果完成高光谱图像的去模糊。高光谱图像完成降维去模糊后,根据特征学习模型学习高光谱影像数据,获取图像深层特征。在像元空间内对深度特征以及空间信息完成空、谱的联合,实现高光谱影像特征的提取。实验结果表明,所提方法应用下影像特征点在特征空间内聚类效果好,查全率和查准率均能达到95%以上,说明上述方法的应用性能更优。     

多光谱图像纹理特征数据挖掘方法仿真

为了更好地实现多光谱图像特征数据处理效果,将数据挖掘引入到多光谱图像特征数据处理中。但当前多光谱图像纹理特征数据挖掘过程中,普遍存在着特征数据挖掘时间过长、成本消耗过大、数据挖掘精确度较低等问题。提出基于Contourlet变换的图像纹理特征挖掘方法。对多光谱图像纹理特征数据进行模糊预处理,采用邻近范围相关性等知识去除多光谱图像包络线,在此基础上对多光谱图像纹理特征进行分析,利用形态学滤波算子去除多光谱图像中的噪声点。引用Contourlet变换方法将多光谱图像从空间域变换到频率域,提取了变换分解后的多光谱图像低频子带和高频子带的特征向量,完成多光谱图像纹理特征数据挖掘。实验结果表明,所提方法挖掘得到的数据均匀度较好、深浅度适中,挖掘精度高,且所提方法挖掘时间较短、成本消耗较低。     

改进Res2Net和注意力机制的高光谱图像分类

针对目前以卷积神经网络（CNN）为框架的高光谱图像分类模型参数量多，训练时间长，对样本数量依赖性大的问题，提出了一种改进Res2Net和注意力机制的高光谱图像分类模型。该模型首先使用主成分分析（PCA）对原始图像的通道维度进行降维，将降维后的数据输入三维空洞卷积层，并添加空间注意力模块以强化空间纹理特征；将所得特征映射输入两组空间-深度可分离残差结构结合通道注意力模块中，使用全局平均池化层将输出映射转换成一维向量；经过Softmax分类器获得分类标签。实验结果显示，该模型参数数量少，收敛速度快，使用少量训练样本在Indian Pines和Pavia University数据集上总体分类精度（OA）分别为98.95%和99.46%。     

基于3D多尺度特征融合残差网络的高光谱图像分类

深度学习中用于训练的高光谱图像(HSI)数据十分有限,因此较深的网络不利于空谱特征的提取.为了缓解该问题,文中提出3D多尺度特征融合残差网络,利用深度学习和多尺度特征融合的方式对光谱-空间特征进行有序的学习.首先对3D-HSI数据进行自适应降维,将降维后的图像作为网络输入.然后,通过多尺度特征融合残差块依次提取光谱-空间特征,融合不同尺度的特征,通过特征共享增强信息流,获得更丰富的特征.最后以端到端的方式训练网络.在相关数据集上的测试表明,文中网络具有良好的分类性能.     

TM多光谱与SPOT 全色遥感图像融合算法对比

融合技术是遥感数据处理中一种重要的方法。而TM多光谱与SPOT全色图像是遥感融合最为普遍的选择。为了对比分析不同方法在融合TM多光谱与SPOT全色图像上的效果,提出基于色彩空间的HSV变换、基于算数技术的Brovey变换和Gram—Schmidt波谱锐化3种融合方法相结合,实现了对同一传感器的全色和多光谱数据融合。试验表明:就空间信息量而言,经过HSV变换的图像具有最大的空间信息,但其光谱保真能力最差;Brovey变换最大限度保持了原始图像的光谱信息,而空间信息的详细程度较差;Gram-Schmidt波谱锐化后的影像不仅保持了多光谱影像的光谱信息,同时又保持了高光谱全色影像的空间细节信息,是一种较好的图像融合方法。     

Multi-sensor data fusion using NIHS transform and decomposition algorithms

Multi-spectral image fusion is to enhance the details present in multi-spectral bands with the spatial information available in the panchromatic image. Fused images have the effect of spectral distortions and lack of structural similarity. To overcome these limitations, three methods are proposed using intensity, hue, saturation (IHS) and nonlinear IHS (NIHS) transform along with the Dynamic Mode Decomposition (DMD) and 2D-Empirical Mode Decomposition (2D-EMD or IEMD). An intensity plane is calculated from the NIHS transform. The modes are constructed using DMD by considering the variations between the intensity plane computed using NIHS transforms of a low resolution multi-spectral image and a panchromatic image. Similarly, 2D-EMD is also used for image fusion. Modes are subjected to weighted fusion rule to get an intensity plane with spatial and edge information. Finally, the calculated intensity plane is concatenated along with the hue and saturation plane of low-resolution multi-spectral image and transformed into RGB color space. Thus, the fused images have high spatial and edge information on spectral bands. The experiments and its quality assessment assure that proposed methods perform better than the existing methods.     

一种基于特征的遥感影像融合新方法

基于特征的影像融合主要是在突出目标地物的空间结构和纹理特征情况下的信息融合,在小波多分辨率分析理论基础上,采用小波变换方法对高分辨图像的目标地物边缘信息增强后与多光谱图像进行特征融合,在融合过程中,没有采用传统的HIS小波融合方法,而是采用RGB小波变换的方法,用多光谱图像中的R、G、B 3个波段经小波分解后的低频图像与特征增强后的高分辨率图像、经小波分解后的高频图像分别进行融合,再经RGB合成为彩色图像得到最后的融合图像,这样既改善了图像的清晰度和分辨率,同时也保留了原多光谱图像的光谱信息。最后通过实验验证了上述结论。     

一种基于特征的遥感影像融合新方法

基于特征的影像融合主要是在突出目标地物的空间结构和纹理特征情况下的信息融合。在小波多分辨率分析理论基础上，采用小波变换方法对高分辨图像的目标地物边缘信息增强后与多光谱图像进行特征融合。在融合过程中，没有采用传统的HIS小波融合方法，而是采用RGB小波变换的方法，用多光谱图像中的R、G、B3波段经小波分解后的低频图像与特征增强后的高分辨率图像经小波分解后的高频图像分别进行融合，再经RGB合成为彩色图像得到最后的融合图像，这样既改善了图像的清晰度和分辨率，同时也保留了原多光谱图像的光谱信息。最后通过实验验证了上述结论。     

Multi-spectral Texture Segmentation Based on the Spectral Cooccurrence Matrix

Multi-spectral images are becoming more common in industrial inspection tasks where the colour is used as a quality measure. In this paper we propose a spectral cooccurrence matrix-based method to analyse multi-spectral texture images, in which every pixel contains a measured colour spectrum. We first quantise the spectral domain of the multi-spectral images using the Self-Organising Map (SOM). Next we label the spectral domain according to the quantised spectra. In the spatial domain, we represent a multi-spectral texture using the spectral cooccurrence matrix, which we calculate from the labelled image. In the experimental part of this paper, we present the results of segmenting natural multi-spectral textures. We compared the k-nearest neighbour (k-NN) classifier and the multilayer perceptron (MLP) neural network-based segmentation results of the multi-spectral and RGB colour textures. Received: 15 September 1998, Received in revised form: 25 January 1999, Accepted: 22 March 1999     

一种基于分类的融合算法

提出了一种基于分类的融合算法 ,可用于融合低分辨率多光谱影像和配准的高分辨率全色波段影像 .算法的主要步骤如下 :(1)将 1m高分辨率全色波段影像和 4 m低分辨率多光谱影像进行几何配准 ;(2 )采用监督或非监督分类算法对高分辨率影像和配准的多光谱影像进行统一分类 ;(3)根据每一类所对应的高分辨率全色波段影像直方图和相应的空间关系 ,对配准后单个波段的多光谱影像进行调整 .(4)采用柱状坐标系对调整后的多谱影像进行 HIS(Hue,Intensity,Saturation)变换 ,并反变换至 RGB(red,green,blue)彩色空间 ,从而得到融合影像 .以天安门附近 10 0× 10 0大小 IKONOS的 1m高分辨率全色波段影像和 4 m多光谱影像为例 ,对融合算法进行了验证 .实验结果表明 :(1)此算法可以融合分类信息、全色波段的高分辨率信息和多光谱波段的光谱信息 ,突出分类信息作为先验知识的重要性 [1 ] ;(2 )在精确分类的基础上 ,可部分消除目标物边界的假彩色现象 ,有较好的目视判读效果 ;(3)对融合过程中 ,先验知识与空间关系的加入作了一些有益的尝试 .     

一种基于特征的遥感影像融合新方法

基于特征的影像融合主要是在突出目标地物的空间结构和纹理特征情况下的信息融合,在小波多分辨率分析理论基础上,采用小波变换方法对高分辨图像的目标地物边缘信息增强后与多光谱图像进行特征融合,在融合过程中,没有采用传统的HIS小波融合方法,而是采用RGB小波变换的方法,用多光谱图像中的R、G、B 3个波段经小波分解后的低频图像与特征增强后的高分辨率图像、经小波分解后的高频图像分别进行融合,再经RGB合成为彩色图像得到最后的融合图像,这样既改善了图像的清晰度和分辨率,同时也保留了原多光谱图像的光谱信息。最后通过实验验证了上述结论。     

Extreme compression and modeling of bidirectional texture function

The recent advanced representation for realistic real-world materials in virtual reality applications is the Bidirectional Texture Function (BTF) which describes rough texture appearance for varying illumination and viewing conditions. Such a function can be represented by thousands of measurements (images) per material sample. The resulting BTF size excludes its direct rendering in graphical applications and some compression of these huge BTF data spaces is obviously inevitable. In this paper we present a novel, fast probabilistic model-based algorithm for realistic BTF modeling allowing an extreme compression with the possibility of a fast hardware implementation. Its ultimate aim is to create a visual impression of the same material without a pixel-wise correspondence to the original measurements. The analytical step of the algorithm starts with a BTF space segmentation and a range map estimation by photometric stereo of the BTF surface, followed by the spectral and spatial factorization of selected sub-space color texture images. Single mono-spectral band-limited factors are independently modeled by their dedicated spatial probabilistic model. During rendering, the sub-space images of arbitrary size are synthesized and both color (possibly multi-spectral) and range information is combined in a bump-mapping filter according to the view and illumination directions. The presented model offers a huge BTF compression ratio unattainable by any alternative sampling-based BTF synthesis method. Simultaneously this model can be used to reconstruct missing parts of the BTF measurement space.     

Covariance intersection based image fusion technique with application to pansharpening in remote sensing

Image fusion of multi-spectral images and panchromatic images has been widely applied to imaging sensors. Multi-spectral images are rich in spectral information whereas panchromatic images have relatively higher spatial resolution. In this paper, we consider the image fusion as an estimation problem, that is to estimate the ideal scene of multi-spectral images at the resolution of panchromatic images. We propose a method of combining the covariance intersection (CI) principle with the expectation maximization (EM) algorithm to develop a novel image fusion approach. In contrast to other fusion methods, the proposed scheme takes cross-correlation among data sources into account, and thus provides consistent and accurate estimates through convex combinations. Since the covariance information is usually unknown in practice, the EM method is employed to provide a maximum likelihood estimate (MLE) of the covariance matrix. Real multi-spectral and panchromatic images are used to evaluate the effectiveness of the proposed EM-CI method. The proposed algorithm is found to preserve both the spectral information of the multi-spectral image and the high spatial resolution information of the panchromatic image more effectively than the conventional image fusion techniques.     

SPOT-5全色与多光谱数据融合方法的比较研究

多源遥感影像融合是20世纪70年代提出的数据(信息)融合理论在遥感学应用的一个分支,是近年来研究的热点。SPOT-5的多光谱图像含有丰富的光谱信息,而全色图像有很高的空间分辨率,通过将多光谱图像和全色图像进行像素级的融合,使融合后的图像在保留多光谱信息的同时尽量提高空间分辨率。不仅可以提高图像的可视效果,为测量和专业制图提供有利的数据,而且可以用于地物分类、目标识别等一系列处理。此外从景观分类的角度对3种方法的融合效果进行评价分析。