一种基于小波变换的多传感器图像融合优化方法

文中针对小波变换在进行高分辨率图像和多光谱图像融合时，不能同时保持空间信息及光谱信息的问题，提出了一种优化的小波变换图像融合算法。它将高空间分辨率图像和多光谱图像经小波变换后的低频、高频分量先分别进行增强，然后再进行融合，优化了传统的基于小波变换融合方法。并且通过对同一场景的SAR图像和TM图像的融合实验，证明了该算法在有效地保留原图像光谱信息的同时，也很好地保持了空间细节。     

基于归一化相关矩的多分辨率遥感图象融合

多传感器数据融合技术已广泛应用于遥感图象处理方面 .针对遥感多光谱图象空间分辨率较低的问题 ,提出了一种基于归一化相关矩的多分辨率图象融合方法 .该方法首先对图象进行二维小波变换 ,然后根据所得到的高频小波系数的一阶、二阶统计特征来定义图象局部灰度相关矩 ,并以此作为图象融合测度来对遥感图象进行多分辨率特征融合 ,从而得到包含更多信息和有效特征的融合图象 .仿真结果表明 ,融合后的图象在保留多光谱信息和提高空间分辨率上均能获得较好的效果 ,因而可以更好地用于目标识别、分类等遥感图象处理方面     

小波变换实现多光谱图象融合增强

本文针对多光谱图象的增强问题,提出了一种基于小波变换理论的融合增强方法。它将高空间分辨率的全色图象和多光谱图象经小波变换后的低频分量进行融合,改进了传统基于小波变换理论的增强方法。本文还对比评价了基于IHS变换和传统小波变换的增强结果,表明了该方法在提高多光谱图象的空间细节表现能力和保持地物光谱信息上都具
有很好的效果。     

平衡多小波在图象融合增强中的应用

平衡的多小波变换无需预滤波，保持了多小波的特性。据此，本文提出了一种基于平衡多小波变换的图象融合方法。多光谱图象融合增强实验表明，该方法在提高多光谱图象的空间细节表现能力和保持地物光谱信息上都具有很好的效果，优于基于非平衡多小波变换的融合方法。     

相关系数准则下的多光谱图像最优融合方法

证明了在相关系数准则下最优融合算法与线性最优融合算法是等价的，利用这一结果大大减少了计算的空间与时间复杂度；并通过设置加权系数和提供一种自适应计算权值的方法以突出原多光谱图像目标区域的频谱特征；对于相关性较弱的多光谱图像集提出了分组融合的方法．实验结果表明：该最优融合算法高效可行，能处理各种不同多光谱场景的融合．     

用于多光谱和高光谱图像融合的联合自注意力Transformer

目的 将高光谱图像和多光谱图像进行融合，可以获得具有高空间分辨率和高光谱分辨率的光谱图像，提升光谱图像的质量。现有的基于深度学习的融合方法虽然表现良好，但缺乏对多源图像特征中光谱和空间长距离依赖关系的联合探索。为有效利用图像的光谱相关性和空间相似性，提出一种联合自注意力的Transformer网络来实现多光谱和高光谱图像融合超分辨。方法 首先利用联合自注意力模块，通过光谱注意力机制提取高光谱图像的光谱相关性特征，通过空间注意力机制提取多光谱图像的空间相似性特征，将获得的联合相似性特征用于指导高光谱图像和多光谱图像的融合；随后，将得到的融合特征输入到基于滑动窗口的残差Transformer深度网络中，探索融合特征的长距离依赖信息，学习深度先验融合知识；最后，特征通过卷积层映射为高空间分辨率的高光谱图像。结果 在CAVE和Harvard光谱数据集上分别进行了不同采样倍率下的实验，实验结果表明，与对比方法相比，本文方法从定量指标和视觉效果上，都取得了更好的效果。本文方法相较于性能第二的方法EDBIN （enhanced deep blind iterative network），在CAVE数据集上峰值信噪比提高了0.5 dB，在Harvard数据集上峰值信噪比提高了0.6 dB。结论 本文方法能够更好地融合光谱信息和空间信息，显著提升高光谱融合超分图像的质量。     

一种基于小波变换的图象融合算法

基于多分辨率小波变换的融合算法近年来得到了广泛的应用。为了充分利用各种遥感图象的信息中,针对“资源一号”卫星图象和SPOT全色波图象,提出了一种新的基于区域能量特征的小波变换复原-增强融合算法。通过同IHS、PCA和HPF几种传统融合方法的比较和结果评价,证明该方法在提高“资源一号”卫星图象空间分辨率的同时,还较好地保留了多光谱图象的光谱信息,并且有效地克服了“资源一号”卫星图象模糊的特点。     

基于小波包变换的遥感图象融合

为了能够更好地把来自多传感器的图象信息综合起来，以提高对图象信息的分析和提取能力，在研究了小波包图象分析法之后，提出了一种基于小波包变换的图象融合方法，由于小波包变换能对图象进行多层次分解，包括对小波变换没有细分的高频部分也能进行进一步的分解，因此小波包分析能够为图象提供一种比小波多分辨分析更加精细的分析方法，利用此融合算法将由多传感器获得的同一目标不同波段的遥感图象和不同分辨率的遥感图象进行融合后得到的融合图象，能够很好地将源图象的细节融合在一起，通过与该融合图象进行主观与客观的评价比较，证明该融合方法可以获得更好的融合效果。     

基于PCA变换与小波变换的遥感图象融合

针对多光谱图象与全色图象的融合问题,提出了一种基于PCA变换和小波变换的遥感图象融合方法.新方法通过对多光谱图象作PCA变换,首先得到3个主分量;然后,利用小波变换融合方法融合多光谱图象的第1主分量与全色图象,并用融合后的图象替代多光谱图象的第1主分量;最后,作PCA反变换来得到新的多光谱图象.主观视觉效果分析和客观统计参数评价分析表明,新方法的性能优于PCA变换融合方法、IHS变换融合方法和小波变换融合方法,该方法不仅较大地增强了结果图象空间细节的表现能力,而且很好地保留了多光谱图象的光谱信息.     

基于小波包变换的遥感图像融合

提出一种基于小波包变换的遥感图像融合方法,融合时变换域内低频部分采用基于局部窗口能量方式,高频部分则采用基于极大值选择规则来计算融合系数.以同一目标的TM多光谱和SPOT全色遥感图像进行融合实验,实验结果表明,本文提出的方法使融合图像在提高空间分辨率的同时能较好地保留原始图像的光谱信息,有较好的融合效果.     

Covariance intersection based image fusion technique with application to pansharpening in remote sensing

Image fusion of multi-spectral images and panchromatic images has been widely applied to imaging sensors. Multi-spectral images are rich in spectral information whereas panchromatic images have relatively higher spatial resolution. In this paper, we consider the image fusion as an estimation problem, that is to estimate the ideal scene of multi-spectral images at the resolution of panchromatic images. We propose a method of combining the covariance intersection (CI) principle with the expectation maximization (EM) algorithm to develop a novel image fusion approach. In contrast to other fusion methods, the proposed scheme takes cross-correlation among data sources into account, and thus provides consistent and accurate estimates through convex combinations. Since the covariance information is usually unknown in practice, the EM method is employed to provide a maximum likelihood estimate (MLE) of the covariance matrix. Real multi-spectral and panchromatic images are used to evaluate the effectiveness of the proposed EM-CI method. The proposed algorithm is found to preserve both the spectral information of the multi-spectral image and the high spatial resolution information of the panchromatic image more effectively than the conventional image fusion techniques.     

小波变换在遥感图象融合中的应用研究

针对基于小波变换的图象融合中存在的光谱扭曲问题 ,提出了一种直接相加的小波变换低频信息处理方法 ,即将未分解的 TM放大图象与小波分解后的 SPOT图象的高频部分重构得到的图象通过直接相加来生成融合图象 ,这种方法得到的融合图象 ,其光谱扭曲值和信息量两个指标均优于常规的小波融合方法 .由小波变换与 IHS变换的光谱质量比较表明 ,小波变换比 IHS变换更适合于波谱响应范围不同、相关性弱的图象间的融合 ;另外 ,空间质量比较还表明 ,小波变换在融合中、小尺度的纹理特征方面具有优势 .     

几种小波融合方法在遥感影像融合中的应用与比较

遥感影像融合是在提高空间分辨率的同时尽量保持光谱信息的完整性。小波融合方法已经被证明在保持光谱信息方面具有一定的优势。本文利用SPOT5的全色影像和多光谱影像,对常用的几种小波融合方法进行了试验,使用多种评价方法,将他们与常用的IHS方法和PCA方法进行了比较,并研究了小波分解层数对融合结果的影响。     

Panchromatic and multi-spectral image fusion for new satellites based on multi-channel deep model

With the launch and rapid development of new satellites such as WorldView-3, the bands number of multi-spectral images from new satellites is greatly increased. However, the spectral matching between the panchromatic image and multi-spectral images is deteriorated with the existing image fusion methods. In this paper, a novel method based on the multi-channel deep model is proposed to fuse images for new satellites. The deep model is implemented by convolutional neural networks and trained on each band to reduce the impact of spectral range mismatch. The proposed method also preserves the detailed information in multi-spectral images, which is ignored by the traditional methods. It also effectively alleviates the inconvenience for obtaining the remote sensing images by the data augmentation processing. In addition, it reduces the randomness of manual setting parameters using the parameter self-learning. Visual and quantitative assessments of fusion results show that the proposed method clearly improves the fusion quality compared to the state-of-the-art methods.     

TM多光谱与SPOT 全色遥感图像融合算法对比

融合技术是遥感数据处理中一种重要的方法。而TM多光谱与SPOT全色图像是遥感融合最为普遍的选择。为了对比分析不同方法在融合TM多光谱与SPOT全色图像上的效果,提出基于色彩空间的HSV变换、基于算数技术的Brovey变换和Gram—Schmidt波谱锐化3种融合方法相结合,实现了对同一传感器的全色和多光谱数据融合。试验表明:就空间信息量而言,经过HSV变换的图像具有最大的空间信息,但其光谱保真能力最差;Brovey变换最大限度保持了原始图像的光谱信息,而空间信息的详细程度较差;Gram-Schmidt波谱锐化后的影像不仅保持了多光谱影像的光谱信息,同时又保持了高光谱全色影像的空间细节信息,是一种较好的图像融合方法。     

Multi spectral image fusion by deep convolutional neural network and new spectral loss function

In this paper we propose a new multispectral image fusion architecture. The proposed method includes two steps related to two neural networks. First the extracted spatial information, from panchromatic (Pan) image, is injected to upsampled multi-spectral (MS) image. In this step, the method employed a deep convolution neural network (DCNN) to estimate the spatial information of the MS image, according to multi-resolution analysis (MRA) scheme. This DCNN is trained by the low-spatial resolution version of Pan as an input, and by the spatial information as the target. This trained DCNN is called ‘Fusion network (FN)’. The FN, adaptively, estimates the spatial information of the MS images, and operates as an injection gain in the MRA scheme. In the second step, the spectral compensation is performed on the fused MS image. For this purpose, we used a novel loss function for this DCNN, to reduce the spectral distortion in the fused images, and simultaneously maintain the spatial information. This network is called ‘Spectral compensation network (SCN)’. Finally, the proposed method is compared to the several state-of-the-art methods on three datasets, using both full-reference and reduced reference criterion. The experimental results show that the proposed method can achieve competitive performance in both spatial and spectral information.     

基于IHS变换与小波变换的遥感图像融合

针对多光谱图像与全色图像的融合，本文提出了一种基于IHS变换和小波变换的遥感图像融合方法。新方法首先对多光谱图像作IHS变换，得到亮度I，色度H，饱和度S三个分量；其次，利用小波变换融合方法融合多光谱图像的亮度分量与全色图像，并用融合后的图像替代多光谱图像的亮度分量；最后，作IHS反变换得到新的多光谱图像。主观视觉效果分析和客观统计参数评价分析表明，新方法的性能优于IHS变换融合方法、小波变换融合方法和PCA变换融合方法，不仅较大地增强了融合图像的空间细节表现能力，而且很好地保留了多光谱图像的光谱信息。     

一种基于特征量积的遥感图像融合方法

提出了一种基于特征量积的遥感图像融合方法。以目前卫星遥感领域最常见的传感器图像、多光谱图像和全色图像为例,首先对多光谱图像作IHS变换,并对全色图像和多光谱图像的亮度分量I进行小波分解,得到不同分辨率下的小波系数特征,然后根据特征量积判决准则对多光谱图像的I分量与全色图像进行特征融合,并对高频域融合规则进行一致性检测,进而用融合结果替代多光谱图像的亮度分量I,最后,作IHS反变换得到融合图像。实验结果表明,融合图像既显著地融入了高空间分辨率图像的细节信息,又有效地保留了多光谱图像的光谱信息,同时信息丰富程度增加,从而使融合图像在保持光谱信息和提高空间分辨率两个方面的综合性能达到很好的平衡。     

信息分离和质量引导的红外与可见光图像融合

目的 红外与可见光图像融合的目标是将红外图像与可见光图像的互补信息进行融合,增强源图像中的细节场景信息。然而现有的深度学习方法通常人为定义源图像中需要保留的特征,降低了热目标在融合图像中的显著性。此外,特征的多样性和难解释性限制了融合规则的发展,现有的融合规则难以对源图像的特征进行充分保留。针对这两个问题,本文提出了一种基于特有信息分离和质量引导的红外与可见光图像融合算法。方法 本文提出了基于特有信息分离和质量引导融合策略的红外与可见光图像融合算法。设计基于神经网络的特有信息分离以将源图像客观地分解为共有信息和特有信息,对分解出的两部分分别使用特定的融合策略;设计权重编码器以学习质量引导的融合策略,将衡量融合图像质量的指标应用于提升融合策略的性能,权重编码器依据提取的特有信息生成对应权重。结果 实验在公开数据集RoadScene上与6种领先的红外与可见光图像融合算法进行了对比。此外,基于质量引导的融合策略也与4种常见的融合策略进行了比较。定性结果表明,本文算法使融合图像具备更显著的热目标、更丰富的场景信息和更多的信息量。在熵、标准差、差异相关和、互信息及相关系数等指标上,相较于对比算法...     

ASTER多光谱影像与资源二号全色影像融合研究

随着遥感获取数据手段的日益增多,遥感影像的融合技术备受关注。针对ASTER多光谱影像光谱信息丰富、分辨率小,资源二号全色影像分辨率高、纹理信息丰富的特点,以安徽省马鞍山市当涂县的ASTER多光谱影像与资源二号全色影像为例,分别采用基于主成分分析、小波变换以及主成分分析与小波变换相结合的3种融合方法进行融合实验,并对融合后的影像进行对比,探讨 ASTER多光谱影像与资源二号全色影像融合的方法和效果。结果表明:采用主成分分析与小波变换相结合的方法对两幅影像融合的效果最好,极大地改善了两种单一方法的缺点,提高了原始影像的目视效果和光谱信息,从而为区域研究提供了更精确的数据资料。