Contourlet变换系数加权的医学图像融合

目的 由于获取医学图像的原理和设备不同,不同模式所成图像的质量、空间与时间特性都有较大差别,并且不同模式成像提供了不互相覆盖的互补信息,临床上通常需要对几幅图像进行综合分析来获取信息。方法 为了提高对多源图像融合信息的理解能力,结合Contourlet变换在多尺度和多方向分析方法的优势,将Contourlet变换应用于医学图像融合中。首先将源图像经过Contourlet变换分解获得不同尺度多个方向下的分解系数。其次通过对Contourlet变换后的系数进行分析来确定融合规则。融合规则主要体现在Contourlet变换后图像中的低频子带系数与高频子带系数的优化处理中。针对低频子带主要反映图像细节的特点,对低频子带系数采用区域方差加权融合规则;针对高频子带系数包含图像中有用边缘细节信息的特点,对高频子带系数采用基于主图像的条件加权融合规则。最后经过Contourlet变换重构获得最终融合图像。结果 分别进行了基于Contourlet变换的不同融合规则实验对比分析和不同融合方法实验对比分析。通过主观视觉效果及客观评价指标进行评价,并与传统融合算法进行比较,该算法能够克服融合图像在边缘及轮廓部分变得相对模糊的问题,并能有效地融合多源医学图像信息。结论 提出了一种基于Contourlet变换的区域方差加权和条件加权融合算法。通过对CT与MRI脑部医学图像的仿真实验表明,该算法可以增加多模态医学图像互补信息,并能较好地提高医学图像融合的清晰度。     

Fusion of multimodal medical images using Daubechies complex wavelet transform – A multiresolution approach

Multimodal medical image fusion is an important task for the retrieval of complementary information from medical images. Shift sensitivity, lack of phase information and poor directionality of real valued wavelet transforms motivated us to use complex wavelet transform for fusion. We have used Daubechies complex wavelet transform (DCxWT) for image fusion which is approximately shift invariant and provides phase information. In the present work, we have proposed a new multimodal medical image fusion using DCxWT at multiple levels which is based on multiresolution principle. The proposed method fuses the complex wavelet coefficients of source images using maximum selection rule. Experiments have been performed over three different sets of multimodal medical images. The proposed fusion method is visually and quantitatively compared with wavelet domain (Dual tree complex wavelet transform (DTCWT), Lifting wavelet transform (LWT), Multiwavelet transform (MWT), Stationary wavelet transform (SWT)) and spatial domain (Principal component analysis (PCA), linear and sharp) image fusion methods. The proposed method is further compared with Contourlet transform (CT) and Nonsubsampled contourlet transform (NSCT) based image fusion methods. For comparison of the proposed method, we have used five fusion metrics, namely entropy, edge strength, standard deviation, fusion factor and fusion symmetry. Comparison results prove that performance of the proposed fusion method is better than any of the above existing fusion methods. Robustness of the proposed method is tested against Gaussian, salt & pepper and speckle noise and the plots of fusion metrics for different noise cases established the superiority of the proposed fusion method.     

基于提升小波变换的医学图像融合

目的 将不同模态的医学图像(如CT/MRI图像)进行科学融合,可以有效地丰富图像的信息,提高信息的利用效能,这对于医学临床诊断具有重要的理论研究意义和应用价值。方法 基于提升小波变换的特性,对多模态医学图像的融合算法进行研究。首先,对已配准的源图像进行多尺度分解,得到低频子带和多层高频子带;进而,根据低频子带的特点和各层高频子带的噪声含量不同,提出了低频子带系数采用基于区域平均能量的加权融合规则;对噪声含量较低的低层高频子带采用基于计盒分维法获取分维数,而对噪声含量较高的高层高频子带提出了基于区域梯度能量加权融合规则。结果 分别对灰度图像和彩色图像进行了大量融合实验,并分别在主观视觉特性及客观评价指标下对不同融合算法产生的融合图像的质量进行了分析对比,表明本文算法具有较好的边缘保持度。结论 实验结果表明,较现有算法产生的融合图像,应用本文融合算法得到的图像具有更丰富的信息,更能使图像灰度级分散,具有更良好的视觉特性和评价指标。     

基于NSST的CS与区域特性相结合的图像融合方法

针对多聚焦图像和多模态医学图像的成像特性,结合剪切波变换可以捕捉图像更多的方向和其他几何信息的特点,提出一种利用非下采样剪切波变换的压缩感知与区域特性相结合的图像融合方法。利用非下采样剪切波变换将源图像进行多方向、多尺度的分解,将得到的低频子带系数采取区域能量与区域方差加权的自适应融合方式处理。由于分解后的高频子带系数具有高稀疏性,可将高频子带系数通过高斯随机测量矩阵进行压缩处理之后,采用基于压缩感知的绝对值取大的融合方式处理;然后利用正交匹配追踪算法重构,经过非下采样剪切波变换逆变换得到融合图像。仿真实验结果表明,该方法的图像融合效果无论是在主观感觉还是客观指标评价方面较传统的融合方法都具有较大优势。     

基于非下采样Shearlet变换耦合能量关联度的医学图像融合算法

为了克服当前较多医学图像融合方法在采用图像的能量信息融合图像时,忽略了不同图像能量的关联度,使得融合结果存在细节丢失现象和模糊现象等问题,提出了一种非下采样Shearlet变换(NSST,non-subsampled shearlet transform)耦合能量关联度的医学图像融合算法;借助NSST变换,在多尺度下对输入医学图像进行解析,获取其低频及高频子带系数;以图像的能量信息为依据,构造能量关联度函数,测量不同图像的关联程度;根据不同图像的关联度,设计不同的低频子带融合规则,获取信息含量丰富且连贯性较好的融合低频子带;在空间频率函数的基础上,注入图像的对角信息,使之成为多元空间频率函数,以计算图像的清晰度;引入标准差函数,计算图像的对比度;联合图像的清晰度和对比度信息,获取纹理及对比度等特征都较优良的融合高频子带;基于逆NSST变换,重构融合结果;主观和客观实验结果表明,较当前较为流行的医学图像融合技术而言,所提方法具备更高的融合质量,呈现出更多的纹理细节和更高的清晰度。     

快速离散Curvelet变换域的图像融合

目的单一图像往往难以捕获一个场景下所有的细节信息,针对这一问题,可以通过多传感器或同一传感器的不同方式来获取多幅图像,然后通过图像融合技术将获得的多幅图像进行融合。为了提高图像融合的质量,提出一种基于快速离散Curvelet变换(FDCT)的图像融合新方法。方法不同于以往的方法,提出一组新的融合规则。分别采用基于局部能量和改进拉普拉斯能量和的方法,通过对FDCT分解得到的低频和高频系数进行系数选择,然后对得到的融合系数进行FDCT逆变换重构得到融合图像。结果通过对大量的多模态医学图像、红外可见光图像以及多聚焦图像进行图像融合实验,无论是运用视觉的主观评价,还是均值、标准差、信息熵以及边缘信息保持度等客观评价标准,本文方法都优于传统的基于像素平均、小波变换、FDCT以及双边梯度等融合方法。结论对比现有的方法,本文方法对多模态和多聚焦等形式的图像融合都表现出优越的融合性能。     

基于复数小波变换的边缘保护融合算法

如何保护局部对比度信息是图像融合的关键问题,而图像边缘是基于人类视觉系统(HVS)最敏感的局部对比度信息.基于对偶树复数小波变换(DT-CWT),提出一种保护图像边缘信息的加权系数融合算法.对于低频部分,使用邻域熵极大值准则将系数添加到融合图像中;而对于高频部分,首先分别对各小波子图像进行边缘提取并对其特征增强,接下来使用边缘信息优先的加权系数融合策略进行特征信息融合.实验结果表明,同传统多分辨率图像融合方法相比,能得到更好的融合效果.     

A general framework for image fusion based on multi-scale transform and sparse representation

In image fusion literature, multi-scale transform (MST) and sparse representation (SR) are two most widely used signal/image representation theories. This paper presents a general image fusion framework by combining MST and SR to simultaneously overcome the inherent defects of both the MST- and SR-based fusion methods. In our fusion framework, the MST is firstly performed on each of the pre-registered source images to obtain their low-pass and high-pass coefficients. Then, the low-pass bands are merged with a SR-based fusion approach while the high-pass bands are fused using the absolute values of coefficients as activity level measurement. The fused image is finally obtained by performing the inverse MST on the merged coefficients. The advantages of the proposed fusion framework over individual MST- or SR-based method are first exhibited in detail from a theoretical point of view, and then experimentally verified with multi-focus, visible-infrared and medical image fusion. In particular, six popular multi-scale transforms, which are Laplacian pyramid (LP), ratio of low-pass pyramid (RP), discrete wavelet transform (DWT), dual-tree complex wavelet transform (DTCWT), curvelet transform (CVT) and nonsubsampled contourlet transform (NSCT), with different decomposition levels ranging from one to four are tested in our experiments. By comparing the fused results subjectively and objectively, we give the best-performed fusion method under the proposed framework for each category of image fusion. The effect of the sliding window’s step length is also investigated. Furthermore, experimental results demonstrate that the proposed fusion framework can obtain state-of-the-art performance, especially for the fusion of multimodal images.     

多尺度变换像素级医学图像融合：研究进展、应用和挑战

基于多尺度变换的像素级图像融合是计算机视觉领域的研究热点,广泛应用于医学图像处理等领域。本文对多尺度变换的像素级图像融合进行综述,阐述多尺度变换图像融合的基本原理和框架。在多尺度分解方面,以时间为序梳理了塔式分解、小波变换和多尺度几何分析方法的发展历程。在融合规则方面,围绕Piella框架和Zhang框架,讨论通用的像素级图像融合框架;在低频子带融合规则方面,总结基于像素、区域、模糊理论、稀疏表示和聚焦测度的5种融合规则;在高频子带融合规则方面,综述基于像素、边缘、区域、稀疏表示和神经网络的5种融合规则。总结12种跨模态医学图像融合方式,讨论该领域面临的主要挑战,并对未来的发展方向进行展望。本文系统梳理了多尺度变换像素级图像融合过程中的多尺度分解方法和融合规则,以及多尺度变换在医学图像融合中的应用,对多尺度变换像素级医学图像融合方法的研究具有积极的指导意义。     

Combining Entropy Optimization and Sobel Operator for Medical Image Fusion

Fusing medical images is a topic of interest in processing medical images. This is achieved to through fusing information from multimodality images for the purpose of increasing the clinical diagnosis accuracy. This fusion aims to improve the image quality and preserve the specific features. The methods of medical image fusion generally use knowledge in many different fields such as clinical medicine, computer vision, digital imaging, machine learning, pattern recognition to fuse different medical images. There are two main approaches in fusing image, including spatial domain approach and transform domain approachs. This paper proposes a new algorithm to fusion multimodal images. This algorithm is based on Entropy optimization and the Sobel operator. Wavelet transform is used to split the input images into components over the low and high frequency domains. Then, two fusion rules are used for obtaining the fusing images. The first rule, based on the Sobel operator, is used for high frequency components. The second rule, based on Entropy optimization by using Particle Swarm Optimization (PSO) algorithm, is used for low frequency components. Proposed algorithm is implemented on the images related to central nervous system diseases. The experimental results of the paper show that the proposed algorithm is better than some recent methods in term of brightness level, the contrast, the entropy, the gradient and visual information fidelity for fusion (VIFF), Feature Mutual Information (FMI) indices.     

基于边缘保留分解和改进稀疏表示的医学图像融合

针对多模态医学图像融合中容易产生伪影且存在细节缺失的问题,提出一种利用多尺度边缘保留分解和稀疏表示的二尺度多模态医学图像融合方法框架。首先利用边缘保留滤波器对源图像进行多尺度分解,得到源图像的平滑层和细节层。然后,将改进的稀疏表示算法用于融合平滑层,并在此基础上提出一种基于图像块筛选的策略来构建过完备字典的数据集,再利用字典学习算法训练出一种联合字典,同时引入一种多范数的活跃度度量方法选择稀疏系数;细节层的融合则采用自适应加权局部区域能量的融合规则。最后将融合后的平滑层和细节层进行多尺度重构得到融合图像。针对三类不同成像模态的医学图像进行对比实验,结果表明,该方法较其他多尺度变换和稀疏表示的方法能够保留更多显著的边缘特征,对比度也有明显提升,在视觉效果和客观评价上都具有一定优势。     

基于人类视觉特性的医学图象压缩模型

结合人类视觉生理结构，以对比度感知特性作为人类视觉系统(HVS)中的主要研究议题，讨论了HVS模型中的设计要点，并在小波变换的多分辨率分析的基础上将包含CSF特点的HVS应用在图象的内部去相关变换和量化过程中，得到一个新的基于人类视觉特点的医学图象压缩模型．通过对CT、MRI图象进行实验表明，在相同的客观条件控制下，该方法能够取得较好的主观视觉质量．在视觉无损即保留几乎所有医学相关信息的条件下，压缩率可以达到16：1，一些应用场合可以达到80：1。     

基于非下采样Contourlet变换多聚焦图像融合

针对同一场景多聚焦图像的融合问题,本文提出了一种基于非下采样Contourlet变换(NSCT)多聚焦图像融合算法。首先,采用NSCT对源图像进行多尺度、多方向分解,得到低频子带系数和各带通方向子带系数;其后,针对低频子带系数的选择,提出了一种基于方向向量模和加权平均相结合的融合规则;然后,针对带通方向子带系数的选择,提出了一种基于改进的方向对比度和局部区域能量相结合的融合规则;最后,经NSCT逆变换得到融合图像。实验结果表明,该算法能够有效地保留源图像的有用信息,避免噪声、虚影等效应,是一种有效可行的图像融合算法。     

一种基于区域分割的多尺度遥感图像融合方法

光谱保持和高分辨率保留是图像融合的重要问题,提出了一种区域分割和小波变换相结合的多尺度遥感图像融合方法。首先对经过配准的待融合图像进行小波变换,然后对变换后的低频系数进行基于区域标准差的分割,将低频系数分为目标信息和背景信息,接着对目标信息采取基于绝对值的融合,对背景信息采用基于灰度误差的融合。对小波变换后的高频系数采用基于清晰度的融合规则,最后进行小波逆变换得到融合图像。将该方法和几种常用融合方法进行对比分析,结果表明:该方法在有效地保持多光谱影像光谱信息的同时,可以有效地提高融合影像的空间细节信息,有利于后续进行信息提取和图像分类。     

A novel approach for multimodal medical image fusion

Fusion of multimodal medical images increases robustness and enhances accuracy in biomedical research and clinical diagnosis. It attracts much attention over the past decade. In this paper, an efficient multimodal medical image fusion approach based on compressive sensing is presented to fuse computed tomography (CT) and magnetic resonance imaging (MRI) images. The significant sparse coefficients of CT and MRI images are acquired via multi-scale discrete wavelet transform. A proposed weighted fusion rule is utilized to fuse the high frequency coefficients of the source medical images; while the pulse coupled neural networks (PCNN) fusion rule is exploited to fuse the low frequency coefficients. Random Gaussian matrix is used to encode and measure. The fused image is reconstructed via Compressive Sampling Matched Pursuit algorithm (CoSaMP). To show the efficiency of the proposed approach, several comparative experiments are conducted. The results reveal that the proposed approach achieves better fused image quality than the existing state-of-the-art methods. Furthermore, the novel fusion approach has the superiority of high stability, good flexibility and low time consumption.     

自适应对偶树复小波－Curvelet变换的遥感图像融合

Curvelet变换克服了小波变换在处理高维信号时的不足,比小波变换具有更好的方向性、较高的逼近精度和更好的稀疏表达性能。因此将Curvelet变换应用于图像融合领域,能更好地提取图像边缘特征,为融合提取更多的特征信息。利用对偶树复小波-Curvelett变换的多尺度和多方向性特征以及自适应融合规则在选取融合系数上的优势,提出了一种基于对偶树复小波-Curvelet变换的自适应遥感图像融合新算法。算法是将全色图像和多光谱图像进行对偶树复小波-Curvelet变换分解后,针对不同的频率域特点选择不同的融合规则,对低频系数选取区域能量的加权系数自适应融合规则,对高频系数特性选用了区域特征自适应的融合规则,最后通过重构得到融合图像。将其他的融合算法和所提算法进行主观和客观的对比,结果表明,基于对偶树复小波-Curvelet变换区域特征自适应的图像融合算法是一种有效可行的图像融合算法。     

基于小波变换的自适应脉冲耦合神经网络图像融合

针对同一场景多聚焦图像的融合问题,提出了一种基于小波变换的自适应脉冲耦合神经网络（PCNN）图像融合方法。首先,对源图像进行小波分解,得到不同尺度下的子带图像;然后,在小波域中利用PCNN的同步脉冲激发特性,制定基于PCNN的融合规则;使用不同尺度下的小波系数的拉普拉斯能量（EOL）作为对应神经元的链接强度,经过PCNN点火得到源图像在小波域中的点火映射图;通过判决选择算子,选择点火次数多的小波系数作为对应的融合系数,然后进行区域一致性检验,获到最终的融合系数;最后,对融合后的系数进行小波逆变换得到融合图像。实验结果表明,该方法更有效地提取原始图像的特征信息,提高融合图像的视觉效果,在主观视觉效果与客观性能指标上均优于传统的图像融合方法。     

非下采样剪切波变换的医学图像融合

目的 由于单模态医学图像所提供的信息有限,不能反映相关组织所有细节信息,可能会造成临床医学误诊。针对这一问题,提出一种基于非下采样剪切波变换（NSST）的医学图像融合算法,对多模态医学图像进行融合,丰富融合图像信息,提高图像质量,为临床诊断提供依据。方法 首先,将源图像进行NSST变换得到低频子带和若干高频方向子带;其次,根据低频子带图像的特点,提出低频系数与脉冲耦合神经网络PCNN （pulse coupled neural network）相结合的方法;根据高频子带间结构相似度SSIM （structure similarity）不同,分为低相似和高相似子带图像;对低相似子带系数采用视觉敏感度系数VSC （visual sensitivity coefficient）与改进梯度能量相结合的策略;高相似子带系数采用VSC与区域能量相结合的方法;进而,选取结构相似度与边缘信息评价因子Q^ABF（edge based similarity measure）之和作为目标函数,自适应地优化可调参数;最后,经逆NSST变换重构图像。结果 对灰度图像和彩色图像进行实验仿真,并与其他4种融合方法进行比较,在主观视觉效果和客观评价标准,本文方法取得良好的融合效果,其中边缘评价因子和标准差都是最好的,其他指标相对较好;与靳珍怡提出的基于非下采样轮廓波变换的多模态医学图像融合相比,5组实验空间频率分别提高了11.8%、24.7%、83.4%、11.9%、30.3%;边缘评价因子分别提高了6.7%、15%、40%、50%、12%;结构相似度分别提高了0.7%、7.3%、2.4%、-3.6%、2.1%;交叉熵分别降低了16.9%、1.6%、-27.4%、6.1%、0.4%。结论 本文算法有效提高多模态医学图像融合质量,增加不同模态间的互补信息;与现有医学图像融合算法相比,本文算法更加优越。融合图像细节信息更为突出,整体信息更丰富,更符合人眼视觉特性。     

小波变换和稀疏表示相结合的遥感图像融合

针对多光谱图像与全色图像的融合,提出一种结合小波变换和稀疏表示的融合算法.该算法充分利用小波变换具有保持光谱信息这一优势,首先对多光谱图像进行IHS (intensity-hue-satuation)变换,然后对亮度分量和全色图像进行单层小波变换,得到对应的高低频系数.分析高低频系数的特征,对于不能认为是“稀疏”的低频系数采用稀疏表示进行融合;对于可以认为是“稀疏”的高频系数采用图像信息融合规则进行融合.最后进行小波逆变换和IHS逆变换得到融合结果.实验结果表明,该算法最大限度地保留了光谱信息,并提高了空间分辨率.     

基于Contourlet变换的多波段SAR图像融合

针对不同波段SAR图像的融合,该文提出了一种在Contourlet变换域融合的方法,利用Contourlet变换的充分表示图像边缘信息的能力,将图像分解为低通系数和不同方向的高频系数,对方向高频系数定义一个边缘信息量测指标,选择量测指标大的系数作为融合系数,解决了小波变换融合中图像边缘信息容易丢失的问题。通过对两波段SAR图像进行融合实验并与小波变换融合结果比较,在视觉特性与统计因子客观评价上均取得了更好的效果。