基于边缘保留分解和改进稀疏表示的医学图像融合

针对多模态医学图像融合中容易产生伪影且存在细节缺失的问题,提出一种利用多尺度边缘保留分解和稀疏表示的二尺度多模态医学图像融合方法框架.首先利用边缘保留滤波器对源图像进行多尺度分解,得到源图像的平滑层和细节层.然后,将改进的稀疏表示算法用于融合平滑层,并在此基础上提出一种基于图像块筛选的策略来构建过完备字典的数据集,再利...     

基于潜在低秩表示及导向滤波的红外与可见光图像融合方法

针对红外与可见光图像融合过程中出现的细节损失严重等问题,提出一种基于潜在低秩表示与导向滤波的红外与可见光图像融合方法.首先,采用潜在低秩表示方法将源图像分解为低秩图层和显著图层,为了更多地提取低秩图层中细节信息,采用导向滤波将低秩图层分解基础图层和细节图层;并针对基础图层、细节图层和显著图层的特性,分别采用视觉显著度加权法、梯度显著度加权法、绝对值最大选择法作为融合规则.特别地,为了解决初始权重具有噪声且不与物体边界对齐问题,采用导向滤波优化初始权重.最后,将基础融合图层、细节融合图层和显著融合图层经叠加运算得到融合图像.通过对比多组融合图像主、客观评价结果表明,该方法能有效挖掘源图像的细节信息,在视觉质量和客观评价方法优于其他图像融合方法.     

一种根据图像能量调整的图像融合方法

针对传统图像融合算法无法对能量差异较大的图像取得良好融合效果的问题,文中根据图像的能量划分,利用多尺度变换和稀疏表示相结合的方式分解两幅图像的高低频信号,在低频部分自动调整不同能量图像块的稀疏融合规则,并在高频部分加入一致性检验,从而进一步约束对应局部空间能量MSD系数的复合过程,最后通过小波逆变换重构得到融合图像。使用红外图像、医学图像和多聚焦图像分别进行融合性能的验证,并分析稀疏分解层数和窗口步长等条件对融合效果的影响,最终取得该框架下的最优分解方式,获得了具备优秀的主观效果和客观指标的融合图像。实验结果表明,该算法在对任意两种类型传感器获得的图像进行融合时均能获得更加优秀的融合效果,且不仅局限于某两种图像的融合,其在SF,SSIM和EFQI等客观指标上优于传统融合算法和一般多尺度结合稀疏表示的算法。     

双重字典学习与自适应PCNN相结合的医学图像融合

目的 针对基于稀疏编码的医学图像融合方法存在的细节保存能力不足的问题,提出了一种基于卷积稀疏表示双重字典学习与自适应脉冲耦合神经网络（PCNN）的多模态医学图像融合方法。方法 首先通过已配准的训练图像去学习卷积稀疏与卷积低秩子字典,在两个字典下使用交替方向乘子法（ADMM）求得其卷积稀疏表示系数与卷积低秩表示系数,通过与对应的字典重构得到卷积稀疏与卷积低秩分量;然后利用改进的的拉普拉斯能量和（NSML）以及空间频率和（NMSF）去激励PCNN分别对卷积稀疏与卷积低秩分量进行融合;最后将融合后的卷积稀疏与卷积低秩分量进行组合得到最终的融合图像。结果 对灰度图像与彩色图像进行实验仿真并与其他融合方法进行比较,实验结果表明,所提出的融合方法在客观评估和视觉质量方面明显优于对比的6种方法,在4种指标上都有最优的表现;与6种多模态图像融合方法相比,3组实验平均标准差分别提高了7%、10%、5.2%;平均互信息分别提高了33.4%、10.9%、11.3%;平均空间频率分别提高了8.2%、9.6%、5.6%;平均边缘评价因子分别提高了16.9%、20.7%、21.6%。结论 与其他稀疏表示方法相比,有效提高了多模态医学图像融合的质量,更好地保留了源图像的细节信息,使融合图像的信息更加丰富,符合人眼的视觉特性,有效地辅助医生进行疾病诊断。     

Image fusion with morphological component analysis

Image fusion can produce a single image that describes the scene better than the individual source image. One of the keys to image fusion algorithm is how to effectively and completely represent the source images. Morphological component analysis (MCA) believes that an image contains structures with different spatial morphologies and can be accordingly modeled as a superposition of cartoon and texture components, and that the sparse representations of these components can be obtained by some specific decomposition algorithms which exploit the structured dictionary. Compared with the traditional multiscale decomposition, which has been successfully applied to pixel-level image fusion, MCA employs the morphological diversity of an image and provides more complete representation for an image. Taking advantage of this property, we propose a multi-component fusion method for multi-source images in this paper. In our method, source images are separated into cartoon and texture components, and essential fusion takes place on the representation coefficients of these two components. Our fusion scheme is verified on three kinds of images and compared with six single-component fusion methods. According to the visual perceptions and objective evaluations on the fused results, our method can produce better fused images in our experiments, compared with other single-component fusion methods.     

基于双树复小波变换彩色多聚焦图像融合方法

针对离散小波变换图像融合算法在特征表达上存在的不足,将双树复数小波变换引入到彩色多聚焦图像融合中。对彩色图像的三个通道分别进行融合处理,并采用基于多测度的融合策略：各通道小波变换后低频子带采用区域清晰度的方法;高频子带采用区域标准差的方法。融合效果评价除使用传统方法的熵、交叉熵外,还使用了通用的主观与客观相结合的方法。通过对实验结果的主客观性能分析,验证了该方法得到的融合图像效果较好,优于离散小波变换融合算法。     

多尺度变换像素级医学图像融合：研究进展、应用和挑战

基于多尺度变换的像素级图像融合是计算机视觉领域的研究热点,广泛应用于医学图像处理等领域。本文对多尺度变换的像素级图像融合进行综述,阐述多尺度变换图像融合的基本原理和框架。在多尺度分解方面,以时间为序梳理了塔式分解、小波变换和多尺度几何分析方法的发展历程。在融合规则方面,围绕Piella框架和Zhang框架,讨论通用的像素级图像融合框架;在低频子带融合规则方面,总结基于像素、区域、模糊理论、稀疏表示和聚焦测度的5种融合规则;在高频子带融合规则方面,综述基于像素、边缘、区域、稀疏表示和神经网络的5种融合规则。总结12种跨模态医学图像融合方式,讨论该领域面临的主要挑战,并对未来的发展方向进行展望。本文系统梳理了多尺度变换像素级图像融合过程中的多尺度分解方法和融合规则,以及多尺度变换在医学图像融合中的应用,对多尺度变换像素级医学图像融合方法的研究具有积极的指导意义。     

基于二维经验模态分解的医学图像融合算法

提出了一种自适应的二维经验模态分解(bidimensional empirical mode decomposition,简称BEMD)医学图像融合算法.待融合的医学图像经过BEMD分解成二维的内蕴模函数(bidimensional intrinsic mode function,简称BIMF)和趋势图像.BIMF图像经过Hilbert-Huang变换提取图像特征,然后,图像分解的各部分数据在区域融合规则下形成综合BEMD表示.最后,综合BEMD表示进行BEMD逆变换得到融合后的医学图像.BEMD分解方法是一种完全自适应的数据分解表达形式,具有比Fourier变化和小波分解更好的特性.该医学图像融合算法不需要预先定义滤波器或小波函数.实验结果表明,该算法与传统融合算法相比性能优越,能够大幅度提高融合图像的质量.     

基于非下采样剪切波变换和特征合成的医学图像融合算法

针对融合后的医学图像时常存在细节纹理不够清晰的问题,本文提出一种新的基于非下采样剪切波变换（Non-Subsampled Shearlet Transform,NSST）的医学图像融合算法,对多模态医学影像进行融合,增强细节结构提取的能力,提高图像融合质量,为医疗诊断提供依据.首先,将已配准的源图像进行NSST分解,得到低频子带和一系列高频子带;其次,对于低频子带系数,提出利用局域平均能量与局域标准差的合成值进行子带之间选择的融合策略,有利于完整保存基础信息,对于高频子带系数,利用改进的拉普拉斯能量和（New Sum of Modified Laplacian,NSML）的方法进行融合;接着,将融合过后的低、高频子带进行NSST的逆过程变换,从而得到融合之后的图像;最后,在灰度和彩色医学多模态图像上进行大量的实验,并选择信息熵（IE）,空间频率（SF）,标准差（SD）和平均梯度（AG）对融合后的图像进行质量评价.仿真结果表明,本文算法在主观视觉效果以及客观评价指标上均取得较大改善.与其他算法相比,信息熵,标准差,空间频率和平均梯度的平均值分别提高了2.99%,4.06%,1.78%和1.37%,融合后的图像包含更丰富的细节纹理信息,视觉效果更好.     

一种基于小波变换边缘保护的图像融合算法

提出一种基于小波变换的像素级图像融合算法。采用小波系数局部模极大和加权局部能量分析相结合的方法融合高频成分;用加权局部能量分析融合尺度系数。算法获得的融合图像具有很强的视觉表现能力。此算法不需要设置阈值,具有较强的泛化能力。对多聚焦图像进行的融合实验结果表明,基于小波系数局部模极大和局部能量分析相结合的高频融合策略较好地再现了图像中各种边缘信息;基于加权局部能量估计的低频融合策略有效地去除了原图像的模糊。融合后的图像在客观评价和主观视觉效果上均有显著提高。     

红外与可见光图像渐进融合深度网络

目的 红外与可见光图像融合的目标是获得具有完整场景表达能力的高质量融合图像。由于深度特征具有良好的泛化性、鲁棒性和发展潜力,很多基于深度学习的融合方法被提出,在深度特征空间进行图像融合,并取得了良好的效果。此外,受传统基于多尺度分解的融合方法的启发,不同尺度的特征有利于保留源图像的更多信息。基于此,提出了一种新颖的渐进式红外与可见光图像融合框架(progressive fusion, ProFuse)。方法 该框架以U-Net为骨干提取多尺度特征,然后逐渐融合多尺度特征,既对包含全局信息的高层特征和包含更多细节的低层特征进行融合,也在原始尺寸特征(保持更多细节)和其他更小尺寸特征(保持语义信息)上进行融合,最终逐层重建融合图像。结果 实验在TNO(Toegepast Natuurwetenschappelijk Onderzoek)和INO(Institut National D’optique)数据集上与其他6种方法进行比较,在选择的6项客观指标上,本文方法在互信息(mutual Information, MI)上相比FusionGAN(generative adversarial ...     

A general framework for image fusion based on multi-scale transform and sparse representation

In image fusion literature, multi-scale transform (MST) and sparse representation (SR) are two most widely used signal/image representation theories. This paper presents a general image fusion framework by combining MST and SR to simultaneously overcome the inherent defects of both the MST- and SR-based fusion methods. In our fusion framework, the MST is firstly performed on each of the pre-registered source images to obtain their low-pass and high-pass coefficients. Then, the low-pass bands are merged with a SR-based fusion approach while the high-pass bands are fused using the absolute values of coefficients as activity level measurement. The fused image is finally obtained by performing the inverse MST on the merged coefficients. The advantages of the proposed fusion framework over individual MST- or SR-based method are first exhibited in detail from a theoretical point of view, and then experimentally verified with multi-focus, visible-infrared and medical image fusion. In particular, six popular multi-scale transforms, which are Laplacian pyramid (LP), ratio of low-pass pyramid (RP), discrete wavelet transform (DWT), dual-tree complex wavelet transform (DTCWT), curvelet transform (CVT) and nonsubsampled contourlet transform (NSCT), with different decomposition levels ranging from one to four are tested in our experiments. By comparing the fused results subjectively and objectively, we give the best-performed fusion method under the proposed framework for each category of image fusion. The effect of the sliding window’s step length is also investigated. Furthermore, experimental results demonstrate that the proposed fusion framework can obtain state-of-the-art performance, especially for the fusion of multimodal images.     

快速离散Curvelet变换域的图像融合

目的单一图像往往难以捕获一个场景下所有的细节信息,针对这一问题,可以通过多传感器或同一传感器的不同方式来获取多幅图像,然后通过图像融合技术将获得的多幅图像进行融合。为了提高图像融合的质量,提出一种基于快速离散Curvelet变换(FDCT)的图像融合新方法。方法不同于以往的方法,提出一组新的融合规则。分别采用基于局部能量和改进拉普拉斯能量和的方法,通过对FDCT分解得到的低频和高频系数进行系数选择,然后对得到的融合系数进行FDCT逆变换重构得到融合图像。结果通过对大量的多模态医学图像、红外可见光图像以及多聚焦图像进行图像融合实验,无论是运用视觉的主观评价,还是均值、标准差、信息熵以及边缘信息保持度等客观评价标准,本文方法都优于传统的基于像素平均、小波变换、FDCT以及双边梯度等融合方法。结论对比现有的方法,本文方法对多模态和多聚焦等形式的图像融合都表现出优越的融合性能。     

预训练模型特征提取的双对抗磁共振图像融合网络研究

随着多模态医学图像在临床诊疗工作中的普及,建立在时空相关性特性基础上的融合技术得到快速发展,融合后的医学图像不仅可以保留各模态源图像的独有特征,而且能够强化互补信息、便于医生阅片.目前大多数方法采用人工定义约束的策略来实现特征提取和特征融合,这容易导致融合图像中部分有用信息丢失和细节不清晰等问题.为此,提出一种基于预训练模型特征提取的双对抗融合网络实现MR-T1/MR-T2图像的融合.该网络由一个特征提取模块、一个特征融合模块和两个鉴别网络模块组成.由于已配准的多模态医学图像数据集规模较小,无法对特征提取网络进行充分的训练,又因预训练模型具有强大的数据表征能力,故将预先训练的卷积神经网络模型嵌入到特征提取模块以生成特征图.然后,特征融合网络负责融合深度特征并输出融合图像.两个鉴别网络通过对源图像与融合图像进行准确分类,分别与特征融合网络建立对抗关系,最终激励其学习出最优的融合参数.实验结果证明了预训练技术在所提方法中的有效性,同时与现有的6种典型融合方法相比,所提方法融合结果在视觉效果和量化指标方面均取得最优表现.     

基于局部学习的遥感图像融合

本文提出了一种基于局部学习的遥感图像融合方法。兵基本思想是在局部区域划融合图像与全色图像建立对应的局部线性关系。由于图像数据在局部区域相对简单,因此局部模型相比全局模型更为合理。在局部学习的基础上,将全色图像与融合图像的全局回归误差表示为图拉普拉斯的形式,其本质是利用局部学习使得融合图像保持全色图像的流形结构。同时为了保持多光谱图像的性质,通过图像的尺度空间表示,建立融合图像与多光谱例像之间的尺度关系。最后通过集成融合图像的二次拉普拉斯形式和足度空间表示,构建图像融合的全局目标函数。为了优化目标函数,本文提出了闭合求解法和快速迭代求解法。实验结果表明：本文所提出的融合方法比传统融合方法具有更好的效果。     

A non-reference image fusion metric based on mutual information of image features

The widespread usage of image fusion causes an increase in the importance of assessing the performance of different fusion algorithms. The problem of introducing a suitable quality measure for image fusion lies in the difficulty of defining an ideal fused image. In this paper, we propose a non-reference objective image fusion metric based on mutual information which calculates the amount of information conducted from the source images to the fused image. The considered information is represented by image features like gradients or edges, which are often in the form of two-dimensional signals. In this paper, a method of estimating the joint probability distribution from marginal distributions is also presented which is employed in calculation of mutual information. The proposed method is compared with the most popular existing algorithms. Various experiments, performed on several databases, certify the efficiency of our proposed method which is more consistent with the subjective criteria.     

A human perception inspired quality metric for image fusion based on regional information

Comparative evaluation of fused images is a critical step to evaluate the relative performance of different image fusion algorithms. Human visual inspection is often used to assess the quality of fused images. In this paper, we propose some variants of a new image quality metric based on the human vision system (HVS). The proposed measures evaluate the quality of a fused image by comparing its visual differences with the source images and require no knowledge of the ground truth. First, the images are divided into different local regions. These regional images are then transformed to the frequency domain. Second, the difference between the local regional images in frequency domain is weighted with a human contrast sensitivity function (CSF). The quality of a local regional image is obtained by computing the MSE of the weighted difference images obtained from the fused regional image and source regional images. Finally, the quality of a fused image is the weighted summation of the local regional images quality measures. Our experimental results show that these metrics are consistent with perceptually obtained results.     

提升静态小波特征对比度多聚焦图像融合算法*

针对多聚焦图像融合问题,提出了一种新的基于提升静态小波变换(lifting stationary wavelet transform,LSWT)的特征对比度图像融合方法。该方法对图像经LSWT分解得到的不同子带系数采用不同的融合方案。在选择低频子带系数时提出了一种基于改进拉普拉斯能量和的视觉特性对比度系数选择方案;而在选择融合图像的高频子带系数时,根据人眼视觉对图像局部对比度变换非常敏感的特性,提出了局部特征对比度的概念,设计了一种基于局部特征对比度的系数选择方案。实验证明,该算法相对于传统图像融合方法,能得到视觉效果更好、量化指标更优的融合图像。     

Pixel-level image fusion with simultaneous orthogonal matching pursuit

Pixel-level image fusion integrates the information from multiple images of one scene to get an informative image which is more suitable for human visual perception or further image-processing. Sparse representation is a new signal representation theory which explores the sparseness of natural signals. Comparing to the traditional multiscale transform coefficients, the sparse representation coefficients can more accurately represent the image information. Thus, this paper proposes a novel image fusion scheme using the signal sparse representation theory. Because image fusion depends on local information of source images, we conduct the sparse representation on overlapping patches instead of the whole image, where a small size of dictionary is needed. In addition, the simultaneous orthogonal matching pursuit technique is introduced to guarantee that different source images are sparsely decomposed into the same subset of dictionary bases, which is the key to image fusion. The proposed method is tested on several categories of images and compared with some popular image fusion methods. The experimental results show that the proposed method can provide superior fused image in terms of several quantitative fusion evaluation indexes.     

图像分解与色彩先验下的多曝光图像融合

目的 多曝光图像融合（multi-exposure fusion，MEF）是利用一组不同曝光度的低动态范围（low dynamic range，LDR）图像进行合成，得到类似高动态范围（high dynamic range，HDR）图像视觉效果图像的过程。传统多曝光图像融合在一定程度上存在图像细节信息受损、边界不清晰以及部分色彩失真等问题。为了充分综合待融合图像的有效信息，提出了一种基于图像分解和色彩先验的双尺度多曝光图像融合方法。方法 使用快速导向滤波进行图像分解，分离出细节层对其进行增强处理，保留更多的细节信息，同时减少融合图像的光晕伪影；根据色彩先验，利用亮度和饱和度之差判断图像曝光程度，并联合亮度与饱和度之差以及图像对比度计算多曝光图像融合权重，同时保障融合图像的亮度和对比度；利用导向滤波对权重图进行优化，抑制噪声，增加像素之间的相关性，提升融合图像的视觉效果。结果 在24组多曝光图像序列上进行实验，从主观评价角度来看，该融合方法能够提升图像整体对比度及色彩饱和度，并兼顾过曝光区域和欠曝光区域的细节提升。从客观评价标准分析，采用两种不同的多曝光图像序列融合结果的质量评估算法，评价结果显示融合性能均有所提高，对应的指标均值分别为0.982和0.970。与其他对比算法的数据结果比较，在两种不同的结构相似性指标上均有所提升，平均提升分别为1.2%和1.1%。结论 通过主观和客观评价，证实了所提方法在图像对比度、色彩饱和度以及细节信息保留的处理效果十分显著，具有良好的融合性能。