高光谱图像超分辨率重建技术研究进展

不同于传统图像（如灰度图像、RGB图像等）专注于保存目标场景的空间信息,高光谱图像蕴含丰富的空—谱信息,不仅可以保存目标的空间信息,还可以保存具有高可辨性的光谱信息。因此高光谱图像广泛应用于多种计算机视觉和遥感图像任务中,如目标检测、场景分类和目标追踪等。然而,在高光谱图像获取以及重建过程中仍然存在许多问题与瓶颈。如传统高光谱成像仪器在成像过程中通常会引入噪声,且获得的图像往往具有较低的空间分辨率,极大地影响了高光谱图像的质量,对后续数据分析任务造成了极大的困难。近年来,高光谱图像超分辨率重建技术研究得到了极大的发展,现有超分辨率重建方法可以大致分为两类,一类为空间超分辨率重建方法,可以通过直接提升高光谱图像的空间分辨率来获得高质量高光谱图像;另一类为光谱超分辨率重建方法,可以通过提升高空间分辨率图像的光谱分辨率来生成高质量高光谱图像。本文从高光谱图像超分辨率重建领域的新设计、新方法和应用场景出发,通过综合国内外前沿文献来梳理该领域的主要发展,重点论述高光谱图像超分辨率重建领域的发展现状、前沿动态、热点问题及趋势。     

高光谱图像空谱特征提取综述

由于高光谱图像包含了丰富的光谱、空间和辐射信息，且具有光谱接近连续、图谱合一的特性，可用于地质勘探、精细农业、生态环境、城市遥感以及军事目标检测等领域的目标精准分类与识别。对高光谱图像进行空谱特征提取是遥感领域的研究热点和前沿课题之一。传统空谱特征提取方法对高光谱图像分类的计算量和样本需求小、理论可解释性好、抗噪声能力强，但应用于分类的精度受限于特征来源；基于深度学习的高光谱图像空谱特征提取方法虽然计算量和样本需求大，但是由于深层空谱特征的表达能力更好，可以大幅度提高分类器的性能。为了便于对高光谱图像空谱特征提取领域进行更深入有效的探索，本文系统综述了相关研究进展。首先，概述了空间纹理与形态学特征提取、空间邻域信息获取及空间信息后处理等传统高光谱空谱特征提取方法的原理，对大量的已有工作进行了梳理、分析与总结。然后，从深度空谱特征提取角度出发，介绍了当前流行的卷积神经网络、图卷积神经网络及跨场景多源数据模型的结构特点及研究进展，分析、评价了基于深度学习的网络模型对高光谱图像空谱特征提取的优势及问题所在。最后，对该研究领域的未来相关发展提出建议并进行了展望。     

基于双空间共轭自编码器的多时相高光谱异常变化检测

高光谱异常变化检测能够从多时相高光谱遥感图像中寻找到数量稀少、与整体背景变化趋势不同、难以发现且令人感兴趣的异常变化。数据集规模较小、存在噪声干扰以及线性预测模型存在局限性等问题，极大地降低了传统高光谱异常变化检测方法的检测性能。目前，自编码器已被成功地应用于高光谱异常变化检测。然而，单个自编码器在处理多时相高光谱图像时，仅关注图像的重构质量，在获取瓶颈特征时往往忽略了图像中复杂的光谱变化信息。为了解决该问题，提出了一种基于双空间共轭自编码器的多时相高光谱异常变化检测(Multi-temporal Hyperspectral Anomaly Change Detection Based on Dual Space Conjugate Autoencoder, DSCAE)方法。所提方法包含两个共轭的自编码器，即它们从不同方向构造各自的潜在特征。在该方法的训练过程中，首先，两幅不同时刻的高光谱图像经过各自的编码器分别获得相应的潜在空间特征表示，再分别经过各自的解码器获得另一时刻的预测图像；其次，在样本空间和潜在空间中施加不同的约束条件，并在两个空间中最小化相应的损失函数；最后，两幅输入图...     

基于半监督算法的高光谱影像特征提取仿真

高光谱影像包括待测物的空间、光谱和辐射三重信息,且图像信息具有维度高、空间相关性弱、特征非线性强的特点,导致其空间特征序列混乱,特征提取难度大。于是提出基于半监督算法的高光谱影像特征提取方法。应用半监督算法对高光谱图像中的高维数据降维处理,并基于降维结果完成高光谱图像的去模糊。高光谱图像完成降维去模糊后,根据特征学习模型学习高光谱影像数据,获取图像深层特征。在像元空间内对深度特征以及空间信息完成空、谱的联合,实现高光谱影像特征的提取。实验结果表明,所提方法应用下影像特征点在特征空间内聚类效果好,查全率和查准率均能达到95%以上,说明上述方法的应用性能更优。     

深度学习在高光谱图像分类领域的研究现状与展望

高光谱图像（Hyperspectral imagery,HSI）分类是高光谱遥感对地观测技术的一项重要内容,在军事及民用领域都有着重要的应用.然而,高光谱图像的高维特性、波段间高度相关性、光谱混合等使得高光谱图像分类面临巨大挑战.近年来,随着深度学习新技术的出现,基于深度学习的高光谱图像分类在方法和性能上得到了突破性的进展,为其研究提供了新的契机.本文首先介绍了高光谱图像分类的背景、研究现状及几个常用的数据集,并简要概述了几种典型的深度学习模型,最后详细介绍了当前的一些基于深度学习的高光谱图像分类方法,总结了深度学习在高光谱图像分类领域中的主要作用和存在的问题,并对未来的研究方向进行了展望.     

高光谱协同稀疏与非局部低秩张量变化检测

高光谱图像变化检测可提供地球表面的时间维变化信息,对城乡规划和管理至关重要.因具有较高的光谱分辨率,高光谱图像常被用于检测更精细的变化.针对高光谱变化检测的问题,提出一种基于协同稀疏与非局部低秩张量的高光谱图像变化检测方法.该方法首先求得前后时间点的高光谱差分图像,再根据差分图像中图像块的非局部分布特点,提取不同的非局...     

用于多光谱和高光谱图像融合的联合自注意力Transformer

目的 将高光谱图像和多光谱图像进行融合，可以获得具有高空间分辨率和高光谱分辨率的光谱图像，提升光谱图像的质量。现有的基于深度学习的融合方法虽然表现良好，但缺乏对多源图像特征中光谱和空间长距离依赖关系的联合探索。为有效利用图像的光谱相关性和空间相似性，提出一种联合自注意力的Transformer网络来实现多光谱和高光谱图像融合超分辨。方法 首先利用联合自注意力模块，通过光谱注意力机制提取高光谱图像的光谱相关性特征，通过空间注意力机制提取多光谱图像的空间相似性特征，将获得的联合相似性特征用于指导高光谱图像和多光谱图像的融合；随后，将得到的融合特征输入到基于滑动窗口的残差Transformer深度网络中，探索融合特征的长距离依赖信息，学习深度先验融合知识；最后，特征通过卷积层映射为高空间分辨率的高光谱图像。结果 在CAVE和Harvard光谱数据集上分别进行了不同采样倍率下的实验，实验结果表明，与对比方法相比，本文方法从定量指标和视觉效果上，都取得了更好的效果。本文方法相较于性能第二的方法EDBIN （enhanced deep blind iterative network），在CAVE数据集上峰值信噪比提高了0.5 dB，在Harvard数据集上峰值信噪比提高了0.6 dB。结论 本文方法能够更好地融合光谱信息和空间信息，显著提升高光谱融合超分图像的质量。     

基于区域活动轮廓模型的高光谱图像分割方法

针对高光谱图像特点,提出了一种基于区域活动轮廓模型的高光谱图像分割方法。综合考虑高光谱图像的空间信息和光谱信息,对Chan\|Vese方法中的能量函数加以改进,利用空间全局信息和同质区域的灰度一致性,约束能量函数空间项;利用目标光谱信息相似性,约束能量函数光谱项,最后通过能量函数最小化实现图像分割。该方法能够有效提取高光谱图像中的模糊轮廓,从而降低混合像元和目标周围阴影对分割造成的影响。利用两幅AVIRIS图像进行仿真实验,实验结果表明,提出的方法能够获得令人满意的分割效果,并且对复杂场景具有一定适应性。     

一种基于深度谱空网络的高光谱图像聚类方法

通常无监督算法在对高光谱数据进行聚类时仅使用光谱信息,忽略了空间信息,使得聚类准确率较低.针对上述问题提出一种基于深度谱空网络和无监督判别极限学习的高光谱图像聚类算法.利用深度谱空网络对高光谱数据进行光谱特征和空间特征的分层交叉学习,通过反复学习获得深度空谱特征,为后续无监督聚类提供方便.在三种高光谱图像上进行实验,结果表明,该算法获得的聚类效果优于其他基于极限学习机的方法和其他无监督方法.     

双判别器深度残差GAN高光谱图像融合

目的 为了解决高空间分辨率多光谱图像与高光谱图像融合时的多波段对多波段问题,以及高空间分辨率多光谱图像波谱范围不能完全涵盖高光谱图像波谱范围而导致的光谱失真问题,本文利用深度学习的数据驱动优势,基于高分 5 号（GF-5）高光谱数据和 Sentinel-2 多光谱数据,提出一种基于生成对抗网络（generative adversarialnetwork,GAN）的高光谱图像空谱融合方法——双判别器深度残差 GAN 网络（two discriminator deep residual GAN,2DDRGAN）。方法 考虑待融合图像间的波谱范围关系,采用分组融合策略,利用波段间的相关性,将多对多的融合问题转变为多个一对多的融合问题。使用深度残差模块深度提取图像的光谱和空间特征,用两个判别网络对融合图像的空间和光谱质量分别进行判断,改善生成网络生成的融合图像质量。另外,本文的深度学习网络不需要制作额外的融合结果标签,待融合图像本身就是标签,这大大降低了高光谱融合的工作量,也是目前深度学习遥感图像融合的根本改变。结果 与常用传统空谱融合方法和经典深度学习方法比较的实验结果表明,对于不同地物类型数据,该网络得到的融合结果在提升空间分辨率的同时,有较高的光谱保真度。光谱曲线评价也验证了该网络对于高空间分辨率图像波谱范围以外的高光谱图像波段进行融合时有良好的光谱保真度。结论 本文方法通过深度残差模块提取高光谱图像光谱特征和高空间分辨率图像空间特征,同时引入双判别网络,使得融合结果在保持光谱信息的同时更好地提升空间信息。     

基于邻域加权稀疏表示的高光谱图像目标探测

提出了一种基于邻域加权稀疏表示的高光谱图像目标探测方法。在构造稀疏模型时,以单位化像元的内积表示像元的相似性,据此对重构图像中测试像元空间邻域的像元进行加权约束,保证了空间的平滑性;并提出基于加权最小二乘的正交匹配追踪算法求解该稀疏模型,它使得每次迭代中参数估计有效。实验结果表明,该探测算法是有效可行的。     

高光谱图像低秩表达与噪声水平估计

目的 高光谱遥感图像常存在多种不同程度的退化,进而影响到后续的应用,因此,对高光谱图像进行噪声水平估计具有重要意义。在实际情况中,不同波段的图像噪声水平常有所差异,需要针对不同谱通道的特性差异进行噪声估计。因此,本文提出一种基于低秩表达的噪声水平估计算法。方法 该算法首先利用多波段图像间的光谱相关性,建立高光谱数据的低秩表达模型;再通过该模型对各波段的噪声及其水平进行估计,并根据需要检测并剔除被噪声淹没的无效波段。结果 在多组高光谱数据上进行模拟和真实实验,证明本文算法能够准确估计高光谱图像的谱通道噪声水平。结论 本文算法挖掘了低秩表达在高光谱应用中的特性,在利用波段间相关性进行全局处理的同时,也能保留波段间的差异,具有较强的鲁棒性;在合适的阈值范围内,无效波段的漏检率低至0,准确率高于80%。     

基于对偶树复小波变换与PCA方法结合的图像变化检测算法研究

图像变化检测是遥感图像处理领域重要方向,大多数变化检测算法都存在算法复杂度高、抗噪性弱等缺陷,利用对偶树复小波变换的平移不变性与能提高方向分辨率的优点,把对偶树复小波变换运用于变化检测中,可以提高图像细节变化的检测和算法抗噪性。首先用对偶树复小波变换对图像进行尺度分解,把图像在每个尺度上分解成一个低通子图和六个方向的高通子图。然后运用PCA(主向量分析法）提取每个尺度与方向上的特征并降维,然后运用k均值算法将图像像素分成为变化与不变化两类,最后通过多尺度融合,得到变化检测图像。     

基于边缘增强的遥感图像变化检测技术

遥感图像变化检测技术是遥感技术中最广泛最基本的应用之一。为此作者经过大量对已有图像的实验,提出一种基于边缘增强的遥感图像变化检测技术,通过选择适当的卷积算子对图像进行锐化增强与使用Sobel算子对图像进行边缘增强相结合,总结出了快速有效变化检测处理方法。     

粗定位和协同表示的高光谱图像异常检测

目的 由于在军事和民用应用中的重要作用,高光谱遥感影像异常检测在过去的20~30年里一直都是备受关注的研究热点。然而,考虑到异常点往往藏匿于大量的背景像元之中,且只占据很少的数量,给精确检测带来了不小的挑战。针对此问题,基于异常点往往表现在高频的细节区域这一前提,本文提出了一种基于异常点粗定位和协同表示的高光谱遥感影像异常检测算法。方法 对输入的原始高光谱遥感影像进行空间维的降质操作;通过衡量降质后影像与原始影像在空间维的差异,粗略定位可能的异常点位置;将粗定位的异常点位置用于指导像元间的协同表示以重构像元;通过衡量重构像元与原始像元的差异,从而进一步优化异常检测结果。结果 在4个数据集上与6种方法进行了实验对比。对于San Diego数据集,次优算法和本文算法分别取得的AUC （area under curve）值为0.978 6和0.994 0;对于HYDICE （hyperspectral digital image collection equipment）数据集,次优算法和本文算法的AUC值为0.993 6和0.998 5;对于Honghu数据集,次优算法和本文方法的AUC值分别为0.999 2和0.999 3;对Grand Isle数据集而言,尽管本文方法以0.001的差距略低于性能第1的算法,但从目视结果图中可见,本文方法所产生的虚警目标远少于性能第1的算法。结论 本文所提出的粗定位和协同表示的高光谱异常检测算法,综合考虑了高光谱遥感影像的谱间特性,同时还利用了其空间特性以及空间信息的先验分布,从而获得异常检测结果的提升。     

局部梯度轮廓变换的高光谱异常检测

目的 高光谱异常检测由于其重要的应用价值,引起了研究人员的广泛关注,但大部分的检测算法,往往直接利用输入的高光谱遥感影像所携带的光谱信息或者空谱信息进行检测。考虑到由于成像过程的限制,如成像条件的复杂性以及光谱通道众多导致的每个通道光子数量有限等问题,所获取的高光谱遥感影像往往在一定程度上偏离真实场景,而这也制约了异常检测的精度。针对此问题,本文提出了一种局部梯度轮廓变换的高光谱遥感影像异常检测算法。方法 为了在不影响算法性能的基础上减少计算复杂度,首先选取部分可能的异常像元,只对这些局部的异常像元可能位置进行梯度轮廓变换。其次,将变换后的梯度轮廓用于指导原始高光谱遥感影像的空域增强。最后,对增强后的高光谱遥感影像进行检测。通过将局部梯度轮廓用于影像的增强,避免了成像过程中由于细节损失而造成检测精度受限的情况。结果 实验在来自4个数据集的6幅高光谱遥感影像上进行了性能验证。首先利用经典的Global-RX （Reed Xiaoli）检测算法同时检测本文算法增强后的影像和原始影像,分别取得的平均AUC （area under curve）值为0.987 1和0.933 6,本文算法带来了0.053 5的精度提升;同时,通过与其他3种预处理方法进行比较,证明了本文局部梯度轮廓变换方法的有效性;更进一步,利用基于协同表示CRD （collaborative representation-based detector）的检测器对增强后的影像和原始影像分别进行检测,分别取得的平均AUC值为0.990 7和0.977 5,检测结果再次验证了本文算法能够有效提升影像的检测精度;通过对比,实验数据表明本文所采用的局部梯度轮廓变换可减少约37.82%的时间复杂度。结论 本文算法通过将局部的梯度轮廓进行变换并用于指导原始影像的增强过程,使得影像的空间轮廓信息更为锐利,更为接近真实场景,从而获得异常检测结果的提升。     

一种改进PCA与IHS融合的高光谱图像异常检测算法

高光谱图像空间分辨率不足容易导致异常检测虚警率过高,针对此提出了一种新的异常检测算法。算法首先利用主成分分析PCA对低分辨率高光谱图像进行主成分提取,然后对所提取的主成分和高分辨率图像分别进行IHS变换,分别得到各自的强度分量。运用IHS变换的可逆性,将高光谱数据新的强度分量与原色度分量H和饱和度分量S进行IHS逆变换,得到空间信息增强的高光谱图像数据,最后使用改进的KwRX算法对空间信息增强的高光谱图像数据进行异常检测。仿真实验表明,与KRX算法、PCA-KRX算法相比,本算法在检测目标像素数和虚警个数上都有较大的改善,说明了本算法的的有效性和可行性。     

改进协同表示的高光谱图像异常检测算法

针对协同表示的高光谱图像异常检测算法中双窗口中心为异常像元同时背景字典存在同种异常像元的情况,中心像元的输出较小难以与背景区分的问题,提出一种改进协同表示的高光谱图像异常检测算法。为了减小背景字典中异常像元的权重,使用背景字典原子与均值的距离调整原子的权重,从而增大上述情况下中心像元的输出。实验结果表明,提出的算法在不同双窗口下都取得了较好的检测效果,验证了算法的有效性。     

基于超声图像的生物组织细微热损伤检测算法

基于超声的组织损伤无损检测在HIFU临床的推广与应用中具有重要意义.提出一种基于相关距离的快速算法,通过对辐照前后HIFU焦域位置超声图像进行二维亚像素级互相关分析,追踪超声图像的中特征点的位移及变化,从而对HIFU焦域位置生物组织的细微热损伤进行检测.结果表明,超声图像亚像素级相关分析矢量场可反映组织发生凝固性坏死的位置,其相关距离可以辅助探测组织束损伤程度.