Introduction of sensor spectral response into image fusion methods. Application to wavelet-based methods

Usual image fusion methods inject features from a high spatial resolution panchromatic sensor into every low spatial resolution multispectral band trying to preserve spectral signatures and improve spatial resolution to that of the panchromatic sensor. The objective is to obtain the image that would be observed by a sensor with the same spectral response (i.e., spectral sensitivity and quantum efficiency) as the multispectral sensors and the spatial resolution of the panchromatic sensor. But in these methods, features from electromagnetic spectrum regions not covered by multispectral sensors are injected into them, and physical spectral responses of the sensors are not considered during this process. This produces some undesirable effects, such as resolution overinjection images and slightly modified spectral signatures in some features. The authors present a technique which takes into account the physical electromagnetic spectrum responses of sensors during the fusion process, which produces images closer to the image obtained by the ideal sensor than those obtained by usual wavelet-based image fusion methods. This technique is used to define a new wavelet-based image fusion method.     

一种基于非采样Contourlet变换的遥感图像融合算法

为使融合后的多光谱图像尽可能保持原多光谱图像光谱特性的同时提高空间质量,提出了一种基于非采样Contourlet变换（NSCT）和多尺度边缘检测的融合算法。介绍了非采样Contourlet变换和多尺度边缘检测;设计了基于多尺度边缘检测、直接替代的高频、低频子带融合规则;用QuickBird卫星高分辨率遥感图像进行仿真实验。实验结果表明该算法能够在保持光谱信息的同时注入更丰富的空间细节信息,优于传统的Wavelet变换法和Contourlet变换法。     

联合多流融合和多尺度学习的卷积神经网络遥感图像融合方法

为尽可能保持原始低分辨率多光谱(LRMS)图像光谱信息的同时,显著提高融合后的多光谱图像的空间分辨率,该文提出一种联合多流融合和多尺度学习的卷积神经网络遥感图融合方法.首先将原始MS图像输入频谱特征提取子网得到其光谱特征,然后分别将通过梯度算子处理全色图像得到的梯度信息和通过卷积后的全色图像与得到的光谱特征图在通道上拼...     

基于滤波器组的遥感图像融合方法及其性能分析研究

提出了一种基于滤波器组的图像融合方法，用以融合高空间分辨率全色图像和低空间分辨率的多光谱图像．在高空间分辨率全色图像经过多通道滤波器组分解的基础上，用多光谱图像直接替换全色图像低频子图像的方式进行融合处理；最后对替代后的子图像进行滤波器组重构得到融合后的图像．实验结果表明，通过调整滤波器组的通道个数，该方法能够使融合图像中空间信息和多光谱信息获得更好地折衷．     

基于Contourlet系数局部特征的选择性遥感图像融合算法

为了使融合后的多光谱图像在显著提高空间分辨率的同时,尽可能多地保持原始多光谱特性,提出了一种基于Contourlet变换系数局部特征的选择性遥感图像融合方法。根据多光谱和全色图像融合过程中Contourlet变换后的低频和高频部分融合目的的不同,对得到的近似和各层各方向的细节分量分别运用窗口邻域移动模板逐一计算相应区域Contourlet系数阵的不同局部特征量,然后选择适当的准则,对图像的近似和细节分量分别应用不同的策略在Contourlet系数域内进行选择性融合,通过Contourlet和亮度-色调-饱和度(IHS)逆变换得到融合的高分辨率多光谱图像。采用Landsat TM多光谱和SPOT全色图像进行的融合实验结果表明:提出的算法在显著提高空间分辨率的同时,又能很好地保持原始图像的光谱特征,并优于传统的融合方法。     

基于采样二通道不可分小波的多光谱图像融合

针对基于非下采样不可分小波图像融合方法空间分辨率不高、基于张量积小波融合方法会出现方块效应的不足,提出了一种基于伸缩矩阵为[1,1;1,-1]的二通道采样不可分小波的多光谱图像和全色图像融合方法.利用矩阵扩充方法,构造了一组新的不可分低通滤波器和高通滤波器组,利用所设计滤波器组分别对多光谱图像的亮度分量和全色图像作下采样的多尺度不可分小波分解,分别对分解后的低频子图像和高频子图像按不同的融合规则进行融合.实验结果表明,其保持光谱信息的能力和保持空间分辨率信息的能力比基于IHS变换融合方法、基于DWT的融合方法、基于IHS-DWT的融合方法、基于IHS-Contourlet变换的融合方法、基于IHS-Curvelet变换的融合方法、SRF方法都强,与基于非下采样的二通道不可分正交小波和不可分双正交小波融合方法相比,该方法能保持较好的整体光谱信息和较高的空间分辨率信息.     

基于小波变换的加权图像融合方法

提出了一种基于小波变换的多光谱图像与高空间分辨率图像融合方法。该方法通过局部方差准则利用加权平均将高空间分辨率图像和多光谱图像经小波分解的低频分量进行融合，然后将融合的低频分量和高空间分辨率图像的细节分量结合进行小波反演变换得到融合图像。通过和WT方法的融合结果进行对比评价，表明了该方法在提高多光谱图像的空间细节表现能力和保持光谱信息上都有很好的效果。     

QuickBird高分辨率影像融合方法比较研究

遥感图像融合的关键就是选择合适的融合方法,恰当的融合方法可在提高图像空间信息的同时,能很好地保持多光谱影像的光谱特性。从应用的角度出发,利用ENVI 4.5、PCI 9.0、ERDAS 9.1和PhotoShop四种软件平台对快鸟卫星(QuickBird)数据进行了融合实验研究,并对相应的融合结果进行了讨论与分析,希望为同类作业者提供借鉴。结果表明,格拉姆-施密特(Gram-schmidt)正交化变换法和彩色合成(PanSharp)方法在提高影像空间分辨率的同时,还较好地保持了多光谱波段的光谱信息,并且色彩信息更符合人的视觉习惯。     

Practical remote sensing image fusion method based on guided filter and improved SML in the NSST domain

Due to the different characteristics of image modality, the panchromatic (PAN) and multispectral (MS) images include complementary and redundancy information in the spatial and spectral resolutions. Image fusion is an effective way to integrate the source PAN and MS images to obtain high-resolution MS image. In this paper, a novel remote sensing image fusion scheme in non-subsample Shearlet transform (NSST) domain is presented. An enhancement strategy is designed to solve the insufficiency of spatial detail in multiresolution analysis (MRA)-based methods after the intensity–hue–saturation (IHS) color space transform. Then, in the NSST fusion process, a guided filter-based low-frequency coefficient fusion rule and an improved sum-modified-Laplacian (SML)-based high-frequency coefficient fusion rule are proposed. The final fused image can be obtained through the inverse NSST transform and inverse IHS transform. Two different groups of satellite dataset are utilized to evaluate the fusion performance. The experiment results demonstrate that the proposed approach can achieve more spatial details and less spectral distortion compared with the existing methods regarding both the visual quality and the objective measurements.     

基于非亚采样Contourlet和SWT的多光谱图像和全色图像的融合算法

该文研究了多尺度几何分析工具非亚采样Contourlet变换(NSCT),提出一种新的全色图像和多光谱图像融合的方法。该方法首先对全色图像和进行过IHS变换的多光谱图像的亮度分量进行NSCT变换,对于二者的低频近似系数再进行平稳小波变换(SWT)并融合,进一步提高融合图像的空间信息量,对于高频细节系数,采用基于局部平均梯度的方法进行融合,经过逆NSCT得到融合图像。实验结果表明,该文提出的方法在保留多光谱图像的光谱信息的同时,增强了融合图像的空间细节表现能力,提高了信息量,并且优于传统的基于IHS变换、小波变换、双树复小波变换及Contourlet变换的融合方法,该方法是有效可行的。     

QuickBird Image Fusion by a Multirresolution-Multidirectional Joint Image Representation

A new fusion methodology for Multiespectral and Pancromatic images, has been proposed. This methodology is based on a joint multiresolution-multidirectional representation of the source images. For that an unique directional filters bank of low computacional complexity has been used.This kind of image representation allows an appropriated selection of the information extracted from the source images, avoiding some of the limitations inherent to other multiresolution fusión methods. The final aim is to obtain fused images with a high spectral and spatial quality simultaneously. The source images corresponds to the captured by Quickbird satellite (panchromatic and multispectral). The high quality of the obtained results shows the potential of the joint multiresolution-multidirectional representation for images fusion.     

基于sc-NMF的高光谱图像融合

将高光谱图像与全色图像融合,所得融合数据对于后续的其它高光谱图像处理非常有帮助。区别于传统方法,针对高光谱图像特点,引入了光谱约束项,改进并建立基于光谱约束的非负矩阵分解（spectral-constrained nonnegative matrix factorization,sc-NMF）。改进后,该模型首先在光谱约束前提下,对高光谱图像进行非负矩阵分解,对分解所得基底进行增强,再重建高光谱图像。这样,所得到的融合图像在空间细节和光谱保持性均有比较好的效果。最后,进行了仿真和实际数据的实验验证,通过主观和客观的评价结果,所改进的融合方法性能较好,比传统方法更适用于高光谱图像融合。     

基于CNN的QuickBird遥感影像融合研究

为了充分利用QuickBird多光谱影像的光谱信息和全色影像的高空间分辨率信息,提出了一种基于细胞神经网络（CNN）的QuickBird多光谱和全色遥感影像融合方法.实验结果表明,相对于传统的影像融合算法,提出的方法具有更好的性能.     

基于多级引导滤波器的图像区域融合算法

为了提高多光谱图像与全色图像的融合质量,研究了多种滤波器和融合算法,提出了基于多级引导滤波器的区域融合方法。采用该方法对多光谱图像进行插值,利用改进的分水岭算法对全色图像进行区域划分,并将划分结果映射至每个多光谱图像,然后将多光谱图像与全色图像利用多级引导滤波器分别进行滤波,得到各自的细节信息,最后根据每个区域中全色图像和多光谱图像的关系指标局部相关系数与4阶相关系数的大小,对细节信息进行区域融合,得到融合后的多光谱图像。结果表明,该算法充分保留了多光谱图像的光谱信息,并尽可能多地注入了全色图像的细节信息,成功地提高了多光谱图像的融合效果。     

基于变分的多尺度遥感图像融合算法

全色图像与多光谱图像融合时,忽略了上采样的重要性和通道间细节的差异性.针对前者,利用不同尺度下自相似块,估计出低分辨率图像丢失信息,从而修改了图像上采样的策略,并以此构造目标函数的保真项;针对后者,利用全色图像和光谱图像梯度域结构相似性,提出局部加权动态稀疏约束,构造目标函数的正则项.本文基于变分法理论,构造了新的目标函数,并提出了多尺度迭代融合框架,通过多次迭代逐步提高融合图像的分辨率,每一层的融合结果更加准确,从而提高最终的融合精度.本文算法与Brovey等成分替代算法、P+XS等变分算法、MTF_GLP等多分辨分析算法进行比较.实验结果表明,本算法的融合结果具有良好的视觉效果,且在客观评价指标上比所有对比算法的最优值平均值均有提高.     

基于联合卷积分析与合成稀疏表示的遥感图像分量替换融合方法

针对遥感图像融合中传统分量替换方法光谱失真严重问题,提出了一种基于联合卷积分析与合成稀疏表示的改进分量替换融合方法.与传统分量替换方法不同,该方法旨在改进融合过程中空间细节信息提取和注入策略,以生成具有更高光谱与空间质量的遥感图像.首先利用联合卷积分析与合成稀疏表示算法分别对强度分量和直方图匹配后的全色图像进行分解,获...     

基于非下采样三通道不可分对称小波的多光谱图像融合

针对IHS变换融合方法不能保持好的光谱信息,张量积小波变换融合方法生成的融合结果图像空间分辨率偏低、且易产生方块效应等不足.提出了一种基于三通道不可分对称小波的多光谱图像融合方法.利用矩阵扩充的方法,给出了三通道不可分对称小波滤波器组的构造方法,用所构造的不可分小波滤波器组分别对多光谱图像的亮度分量和全色图像作非下采样...     

基于统计模型的遥感图像多分辨融合方法

本文针对多光谱图像的增强问题,提出了一种新的多分辨融合方法.将相关约束引入到统计融合模型中,从而充分增强了相关的空间信息,同时又有效抑制了光谱失真.真实的遥感图像实验结果表明了该文算法的有效性.     

Synthesis of Multispectral Images to High Spatial Resolution: A Critical Review of Fusion Methods Based on Remote Sensing Physics

Our framework is the synthesis of multispectral images (MS) at higher spatial resolution, which should be as close as possible to those that would have been acquired by the corresponding sensors if they had this high resolution. This synthesis is performed with the help of a high spatial but low spectral resolution image: the panchromatic (Pan) image. The fusion of the Pan and MS images is classically referred as pan-sharpening. A fused product reaches good quality only if the characteristics and differences between input images are taken into account. Dissimilarities existing between these two data sets originate from two causes-different times and different spectral bands of acquisition. Remote sensing physics should be carefully considered while designing the fusion process. Because of the complexity of physics and the large number of unknowns, authors are led to make assumptions to drive their development. Weaknesses and strengths of each reported method are raised and confronted to these physical constraints. The conclusion of this critical survey of literature is that the choice in the assumptions for the development of a method is crucial, with the risk to drastically weaken fusion performance. It is also shown that the Amelioration de la Resolution Spatiale par Injection de Structures concept prevents from introducing spectral distortion into fused products and offers a reliable framework for further developments.     

基于小波的全局多源遥感图像信息融合方法

提出的图像信息融合方法用于解决传统方法在空间分辨率等方面的不足。原始图像经过小波变换，分解成子图像，再进行分块处理，高、低分辨率图像根据全局方差准则分别计算融合的权值系数，进行图像融合重建，然后，对图像采用全局法进行信息融合，实验表明，方法切实可行，能使低分辨率图像接近于高分辨率图像。