多光谱遥感图像与高分辨率全色图像融合研究

介绍了遥感图像融合的一般过程和特点,研究了像素级融合的常用算法,归纳了融合图像的基本步骤,采用四种融合方法对高空间分辨率的全色图像与高光谱分辨率的多光谱图像进行像素级融合实验,发现基于小波变换的图像融合提供更多细节信息,Brovey变换法融合全色图像与多光谱图像目视效果最好,速度最快。     

通道融合的渐进增强遥感图像全色锐化算法

目的 遥感图像融合的目的是将低空间分辨率的多光谱图像和对应的高空间分辨率全色图像融合为高空间分辨率的多光谱图像。为了解决上采样多光谱图像带来的图像质量下降和空间细节不连续问题,本文提出了渐进式增强策略,同时为了更好地融合两种图像互补的信息,提出在通道维度上进行融合的策略。方法 构建了一种端到端的网络,网络分为两个阶段：渐进尺度细节增强阶段和通道融合阶段。考虑到上采样低空间分辨率多光谱图像导致的细节模糊问题,在第1阶段将不同尺度的全色图像作为额外的信息,通过两个细节增强模块逐步增强多光谱图像;在第2阶段,全色图像在多光谱图像的每个通道上都通过结构保持模块进行融合,更好地利用两种图像的互补信息,获得高空间分辨率的多光谱图像。结果 实验在GaoFen-2和QuickBird数据集上与表现优异的8种方法进行了比较,本文算法在有参考指标峰值信噪比(peak signal-to-noise ratio, PSNR)、结构相似度(structural similarity, SSIM)、相关系数(correlation coefficient, CC)和总体相对误差(erreur relative ...     

一种新的基于HIS和小波变换的图像融合方法*

针对遥感图像影像分辨率低的问题,提出了一种新的基于HIS和小波变换的低分辨多光谱和高分辨全色图像的融合方法.该方法通过对高分辨全色图像小波分解后的低频分量进行低通滤波,将全色图像的低频信息中的高频分量融入到多光谱图像HIS空间的亮度信息的低频中;再将这个融合后的低频和高分辨全色图像的细节信息进行小波反变换,得到融合后的图像.该图像很大程度地保留了多光谱的光谱特性和高分辨图像的空间分辨率.仿真结果表明了本方法的有效性.     

一种基于小波变换的多传感器图像融合优化方法

文中针对小波变换在进行高分辨率图像和多光谱图像融合时，不能同时保持空间信息及光谱信息的问题，提出了一种优化的小波变换图像融合算法。它将高空间分辨率图像和多光谱图像经小波变换后的低频、高频分量先分别进行增强，然后再进行融合，优化了传统的基于小波变换融合方法。并且通过对同一场景的SAR图像和TM图像的融合实验，证明了该算法在有效地保留原图像光谱信息的同时，也很好地保持了空间细节。     

一种基于特征量积的遥感图像融合方法

提出了一种基于特征量积的遥感图像融合方法。以目前卫星遥感领域最常见的传感器图像、多光谱图像和全色图像为例,首先对多光谱图像作IHS变换,并对全色图像和多光谱图像的亮度分量I进行小波分解,得到不同分辨率下的小波系数特征,然后根据特征量积判决准则对多光谱图像的I分量与全色图像进行特征融合,并对高频域融合规则进行一致性检测,进而用融合结果替代多光谱图像的亮度分量I,最后,作IHS反变换得到融合图像。实验结果表明,融合图像既显著地融入了高空间分辨率图像的细节信息,又有效地保留了多光谱图像的光谱信息,同时信息丰富程度增加,从而使融合图像在保持光谱信息和提高空间分辨率两个方面的综合性能达到很好的平衡。     

基于高通滤波的多光谱图像融合方法*

提出了一种基于高通滤波的多光谱图像与高空间分辨率图像融合的方法.该算法首先对高空间分辨率图像进行高通滤波,然后将滤波后的图像与HIS正变换后的强度分量进行融合处理,再进行HIS 逆变换,得到最后的融合图像.通过将小波方法与HIS变换法的融合结果进行对比评价,表明了该方法在提高多光谱图像的空间细节表现能力和保持光谱信息上都有很好的效果.     

基于归一化方差的多分辨率图像融合方法

针对遥感多光谱图像空间分辨率较低的问题,论文提出了一种基于归一化方差的多分辨率图像融合方法。该方法首先对图像进行二维小波变换,然后根据高频小波系数的均值和方差来定义图像局部灰度相关矩,从而得到包含更多信息和有效特征的融合图像。试验结果证明融合图像在保留地物光谱信息和提高空间细节表现能力上都具有很好的效果。     

基于多种变换的遥感图像新型融合方法

针对多光谱图像空间分辨率低这一特点,提出一种在PCA变换基础上,利用小波变换和高通滤波相结合的图像融合算法。实现了ETM+全色波段与ETM+多光谱波段图像的融合,并从空间纹理信息,光谱真实性两个方面进行定性和定量评价。研究表明,该融合算法产生的光谱失真较小,同时很大程度地保持了高分辨率全色波段的空间纹理细节信息,是一种较好的图像融合方法。     

基于深度金字塔网络的Pan-Sharpening算法

为了利用高空间分辨率单波段的全色(PAN)图像和低空间分辨率的多光谱图像(MS)生成高分辨率的多光谱图像,提出一种基于深度金字塔网络的遥感图像融合(即pan-sharpening)算法,通过图像金字塔的方式逐层上采样来重构高分辨率的多光谱图像.在细节保持方面,针对全色图像和多光谱图像在尺度上跨度过大的问题,采用深度金字塔网络多尺度地融合全色图像的细节信息;在光谱保持方面,使用反卷积层代替传统的超分辨算法来上采样低分率的多光谱图像;最后将这2部分相加,得到最终的融合图像. GeoEye-1数据集上的实验结果表明,文中算法综合性能优于BDSD, PRACS, PNN and PanNet算法.     

基于àtrous-Contourlet变换的梯度选择遥感图像融合算法

为了更好地进行遥感图像融合,基于劋trous-Contourlet变换,提出了一种利用梯度和匹配度结合的多光谱和高分辨率图像融合新算法。该算法首先结合Contourlet变换和劋trous小波的优势,将图像进行劋trous-Contourlet多分辨率分解;由于梯度反映了图像的细节信息,因此该算法在加权时,为了尽可能地提高空间分辨率,考虑高频系数对应位置系数的正负,提出了一种匹配度梯度加权算法(match degree weighted gradient algorithm,MWGA)用于对高频细节进行融合;最后用高频附加的方法得到最后的融合图像。实验表明,此算法能在获得很好的光谱质量的基础上,获得空间细节增强效果更佳的图像。     

Spatio-spectral fusion of satellite images based on dictionary-pair learning

This paper proposes a novel spatial and spectral fusion method for satellite multispectral and hyperspectral (or high-spectral) images based on dictionary-pair learning. By combining the spectral information from sensors with low spatial resolution but high spectral resolution (LSHS) and the spatial information from sensors with high spatial resolution but low spectral resolution (HSLS), this method aims to generate fused data with both high spatial and spectral resolution. Based on the sparse non-negative matrix factorization technique, this method first extracts spectral bases of LSHS and HSLS images by making full use of the rich spectral information in LSHS data. The spectral bases of these two categories data then formulate a dictionary-pair due to their correspondence in representing each pixel spectra of LSHS data and HSLS data, respectively. Subsequently, the LSHS image is spatial unmixed by representing the HSLS image with respect to the corresponding learned dictionary to derive its representation coefficients. Combining the spectral bases of LSHS data and the representation coefficients of HSLS data, fused data are finally derived which are characterized by the spectral resolution of LSHS data and the spatial resolution of HSLS data. The experiments are carried out by comparing the proposed method with two representative methods on both simulation data and actual satellite images, including the fusion of Landsat/ETM+ and Aqua/MODIS data and the fusion of EO-1/Hyperion and SPOT5/HRG multispectral images. By visually comparing the fusion results and quantitatively evaluating them in term of several measurement indices, it can be concluded that the proposed method is effective in preserving both the spectral information and spatial details and performs better than the comparison approaches.     

地质灾害调查中ETM+与SPOT-5 Pan融合方法比较

ETM+与SPOT-5Pan融合影像含有丰富的光谱信息和空间结构信息,是地质灾害调查的理想数据源。但ETM+多光谱图像与SPOT-5 Pan图像空间分辨率相差悬殊,直接融合可能导致融合影像色彩模糊、色调不和谐等问题;若将ETM+与其全色融合后再与SPOT-5 Pan融合,如果融合方法不当亦会造成光谱信息的过多损失。通过采用IHS、Brovey、PCA和Gram-Schmidt变换分别对ETM+和SPOT-5 Pan按上述两种途径进行直接和间接融合,采用主观评定以及光谱剖面分析对融合影像进行了评价,从而筛选出适合于地质灾害调查的ETM+与SPOT-5 Pan融合方法。     

An image fusion method based on object-oriented classification

In image fusion of different spatial resolution multispectral (MS) and panchromatic (PAN) images, a spectrally mixed MS pixel superimposes multiple mixed PAN pixels and multiple pure PAN pixels. This verifies that with increased spatial resolution in imaging, a low spatial resolution spectrally mixed subpixel may be unmixed to be a pure pixel. However, spectral unmixing of mixed MS subpixels is rarely considered in current remote-sensing image fusion methods, resulting in blurred fused images. In the image fusion method proposed in this article, such spectral unmixing is realized. In this method, the MS and PAN images are jointly segmented into image objects, image objects are classified to obtain a classification map of the PAN image and each MS subpixel is fused to be a pixel matching the class of the corresponding PAN pixel. Tested on spatially degraded IKONOS MS and PAN images with a significant spatial resolution ratio of 8:1, the fusion method offered fused images with high spectral quality and deblurred visualization.     

Fusion of multispectral and panchromatic satellite sensor imagery based on tailored filtering in the Fourier domain

A new methodology for fusing satellite sensor imagery, based on tailored filtering in the Fourier domain is proposed. Finite‐duration Impulse Response (FIR) filters have been designed through an objective criterion, which depends on source image characteristics only. The designed filters allow a weighted fusion of the information contained in a fine spatial resolution image (PAN) and in a multispectral image (MULTI), respectively, establishing a trade‐off between spatial and spectral quality of the resulting fused image. This new technique has been tested with Landsat Enhanced Thematic Mapper Plus (ETM+) imagery. Spatial and spectral quality of the fused images was compared with the results provided by Mallat's Wavelet algorithm. The images fused by the proposed method were characterized by a spatial resolution very close to the PAN image, and by the spectral resolution of the MULTI image.     

基于归一化相关矩的多分辨率遥感图象融合

多传感器数据融合技术已广泛应用于遥感图象处理方面 .针对遥感多光谱图象空间分辨率较低的问题 ,提出了一种基于归一化相关矩的多分辨率图象融合方法 .该方法首先对图象进行二维小波变换 ,然后根据所得到的高频小波系数的一阶、二阶统计特征来定义图象局部灰度相关矩 ,并以此作为图象融合测度来对遥感图象进行多分辨率特征融合 ,从而得到包含更多信息和有效特征的融合图象 .仿真结果表明 ,融合后的图象在保留多光谱信息和提高空间分辨率上均能获得较好的效果 ,因而可以更好地用于目标识别、分类等遥感图象处理方面     

基于Iαβ色彩空间和Contourlet变换相结合的融合方法*

针对北京1号小卫星的多光谱与全色波段的分辨率比率较大,传统的融合方法会产生边界模糊和光谱扭曲现象,提出了一种新的融合算法。首先对多光谱与全色影像分别进行Iαβ和Contourlet变换;然后在频率域中采用不同的融合策略进行处理;最后进行Contourlet和Iαβ逆变换,得到融合图像。实验表明,本方法既提高了融合图像的空间细节信息又很好地保持了图像的光谱特征,优于传统的融合方法。     

基于多进制小波的多源遥感影像融合

首先介绍了遥感影像融合的一般理论和方法，然后在讨论多进制小波理论和影像特征的基础上，提出了一种基于特征的多进制小波变换的影像融合算法，该算法根据待融合影像分辨率之比来确定采用几进制小波，将待融合的高分辨率影像进行多进制小波变换，然后把高分辨影像经小波变换后获得的低频成分和低分辨率影像依据一定的关系进行相互转换，以形成新的高分辨影像的低频成分，经过多进制小波逆变换获得到融合后的影像，最大限度地利用了待融合影像的信息，防止了影像信息的丢失，通过对具体影像的清晰度和空间分辨率，融合后的影像最大限度地保留了待融合影像的光谱信息，同时提高了待融合影像的清晰度和空间分辨率，给出了SPOT全色影像与SPOT多光谱影像，SPOT全色影像与TM影像的融合结果，并与其他方法进行了比较，从而证明了本方法的优越性和自适应能力。     

Multi spectral image fusion by deep convolutional neural network and new spectral loss function

In this paper we propose a new multispectral image fusion architecture. The proposed method includes two steps related to two neural networks. First the extracted spatial information, from panchromatic (Pan) image, is injected to upsampled multi-spectral (MS) image. In this step, the method employed a deep convolution neural network (DCNN) to estimate the spatial information of the MS image, according to multi-resolution analysis (MRA) scheme. This DCNN is trained by the low-spatial resolution version of Pan as an input, and by the spatial information as the target. This trained DCNN is called ‘Fusion network (FN)’. The FN, adaptively, estimates the spatial information of the MS images, and operates as an injection gain in the MRA scheme. In the second step, the spectral compensation is performed on the fused MS image. For this purpose, we used a novel loss function for this DCNN, to reduce the spectral distortion in the fused images, and simultaneously maintain the spatial information. This network is called ‘Spectral compensation network (SCN)’. Finally, the proposed method is compared to the several state-of-the-art methods on three datasets, using both full-reference and reduced reference criterion. The experimental results show that the proposed method can achieve competitive performance in both spatial and spectral information.     

基于归一化方差的退化图像融合研究

针对退化图像空间分辨率较低的问题,提出了一种基于归一化方差的多分辨率图像融合方法。该方法首先对图像进行二层小波分解,然后根据小波系数的统计特征来定义归一化方差,并以此作为图像融合测度来对退化图像进行多分辨率特征融合,从而得到包含更多信息和有效特征的融合图像。试验结果表明,融合后的图像在保留细节信息和光谱信息上均能获得较好的效果。     

基于NSCT和PCNN的遥感图像融合算法

为能同时获得空间信息与光谱信息,提出一种基于非下采样Contourlet变换(NSCT)和脉冲耦合神经网络(PCNN)的遥感图像融合算法。通过NSCT分解得到多光谱与高分辨率图像,并对其高低频分量采用不同的准则进行融合。实验结果表明,该算法能较好地保留图像光谱信息,提高图像的空间分辨率。