基于NSST 域隐马尔可夫树模型的SAR 和灰度可见光图像融合

针对合成孔径雷达(SAR) 图像和可见光图像融合问题, 提出一种基于非下采样剪切波变换域的隐马尔可夫树模型的图像融合方法(NHMM), 图像经过非下采样剪切波变换(NSST) 分解形成一个低频子带和多个高频子带.在NSST 域中, 对低频系数采用基于标准差的融合策略; 针对高频子带, 建立NSST 域隐马尔可夫树(HMT) 模型对高频系数进行训练, 并根据梯度能量对训练后的高频系数进行选择, 最后通过NSST 逆变换得到融合图像. 实验结果表明, 所提出的方法可提高图像的融合质量, 并能降低图像噪声, 具有一定的有效性和实用性.

     

基于稀疏理论与快速有限剪切波变换的医学图像融合算法

在临床医学领域, 图像辅助诊断对医学视图的处理效果要求很高. 针对医学图像融合过程中图像视觉效果较差的问题, 提出了一种基于稀疏理论与快速有限剪切变换的医学图像融合算法, 提高了医学图像处理效率. 首先, 采用快速有限剪切波变换(FFST)分解源图像, 将其分解为高频系数和低频系数; 其次, 根据高频系数和低频系数的不同性质, 提供不同的融合策略, 通过相对标准差比较法对高频系数进行处理, 对于稀疏性较差的低频系数利用K-SVD方法训练, 得到字典并采用稀疏原理进行处理; 最后, 将融合后的高频和低频系数通过FFST逆变换融合到医学图像中. 实验结果表明, 算法的图像融合效果好, 尤其是在提高图像清晰度等方面, 具有良好的实用价值和应用前景.     

基于改进型NSCT 变换的灰度可见光与红外图像融合方法

针对灰度可见光与红外图像融合,提出一种基于改进型非下采样轮廓波变换(NSCT)的图像融合方法.不同于经典NSCT模型,改进型NSCT变换摈弃了细节捕捉能力不强的非下采样金字塔分解机制,采用冗余提升不可分离小波变换实现对源图像的多尺度分解;然后,分别采用基于区域平均能量匹配度、邻域系数差和信息熵的融合规则,得到融合图像的低频系数和高频系数;最后,通过改进型NSCT逆变换得到了融合图像.实验结果验证了该方法的有效性.     

基于NSST与自适应PCNN的多聚焦图像融合方法

为弥补传统图像融合方法融合质量不高的缺点,提出了基于非下采样剪切波变换(Nonsubsampled Shearlet Transform,NSST)与自适应脉冲耦合神经网络(Pulse Coupled Neural Network,PCNN)的图像融合方法。首先,利用非下采样剪切波变换对源图像进行剪切波分解;然后,采用基于图像引导滤波器的融合规则对得到的低频分量进行低频融合;其次,对于高频分量,采用改进的空间频率作为PCNN的输入,利用改进的拉普拉斯能量和作为PCNN的链接强度;最后,通过NSST逆变换得到融合后的图像。实验结果表明,相比于传统的融合规则,文中提出的算法在主观效果上能很好地保留细节信息,并抑制伪影和失真的产生;在客观评价上,其在标准差、边缘信息传递量、信息熵和互信息等常用指标上的表现更为优越。     

基于改进引导滤波与DCPCNN的图像融合方法

针对红外图像与可见光图像融合易产生边缘信息缺失,目标不够突出等问题,将引导滤波的保持边缘特性与双通道脉冲耦合神经网络（DCPCNN）的非线性耦合调制特性相结合,提出一种基于改进引导滤波与DCPCNN的红外与可见光图像融合算法。该方法首先选取非下采样剪切波变换将图像进行分解,获得高低频分量;对低频分量的融合是利用改进空间频率作用DCPCNN输入激励,且其链接强度由表征图像信息的平均梯度自适应调整来确定;高频分量融合是利用局部平均梯度与区域方差自适应加权,而后采用改进的引导滤波进行平滑处理实现空间一致性;最后,对分别处理后的各分量经过非下采样剪切波变换可逆变换获取融合图像。针对典型背景目标和复杂背景目标两类实验结果表明,与经典的曲波变换、双树复小波变换、非下采样轮廓波变换和非下采样剪切波变换等方法相比,该算法可以有效综合图像的优势信息,且在平均梯度、标准差、空间频率、相关系数等方面具有更高的优势。     

结合区域特性的有限离散剪切波图像融合

为了提高多聚焦图像和红外与可见光图像的融合精度,结合有限离散剪切波变换具有良好的局部化特性及平移不变性,提出了一种基于有限离散剪切波变换(FDST)的图像梯度信息相关性因子加权与对比度相结合的融合算法。首先对严格配准后的图像进行FDST分解,得到低频子带系数和不同尺度不同方向的高频子带系数;然后对低频子带系数采用图像梯度信息相关性因子加权融合算法,高频则利用对比度将低频系数与高频系数联系起来并以对比度作为度量系数取舍的准则进行融合;最后应用有限离散剪切波逆变换重构得到融合图像,并对融合结果进行主观视觉和客观评价。实验结果表明,该算法在主观视觉效果和客观评价指标上优于其它融合算法。     

混合多尺度分析和改进PCNN相结合的图像融合方法

为了更好地融合全色图像中的空间细节信息和多光谱图像中的光谱信息,提出一种基于混合多尺度分析和改进脉冲耦合神经网络(PCNN)的多光谱与全色图像融合方法.首先对全色图像和多光谱图像进行非下采样剪切波变换(NSST),并结合不同多尺度分析方法的互补特性,利用平稳小波变换(SWT)对低频分量部分进行二次分解,在混合多尺度域进行系数融合及SWT逆变换;然后采用基于PCNN的融合规则对高频分量部分进行融合;最后对融合后的高低频系数进行NSST逆变换,得到融合图像.在2组卫星拍摄的多光谱和全色图像上的实验结果表明,在主观视觉与客观评价指标的总体效果上,该方法优于其他8种经典以及流行方法.     

采用改进平均梯度与自适应PCNN的图像融合

为了改善对多聚焦图像融合的视觉效果和时效性.借助非下抽样剪切波(NSST)变换的平移不变性和较强的方向选择性,提出改进的融合策略.通过NSST变换对源图像进行分解,获得与源图像大小相同但尺度不同的低频子带和高频子带,再采用改进平均梯度的策略对低频子带进行融合,对高频子带则利用改进的自适应PCNN策略进行融合.对融合后的高低频子带进行NSST逆变换,重构出整体更自然明亮和细节纹理更清晰的融合图像.仿真结果表明:改进融合策略较好地提取出了源图像的细节信息,在主观视觉和五种客观评价指标上均优于其他几种比较算法,且由于NSST引入了快速傅里叶变换,明显提高了运算的时效性.     

采用改进平均梯度与自适应PCNN的图像融合

为了改善对多聚焦图像融合的视觉效果和时效性.借助非下抽样剪切波(NSST)变换的平移不变性和较强的方向选择性,提出改进的融合策略.通过NSST变换对源图像进行分解,获得与源图像大小相同但尺度不同的低频子带和高频子带,再采用改进平均梯度的策略对低频子带进行融合,对高频子带则利用改进的自适应PCNN策略进行融合.对融合后的高低频子带进行NSST逆变换,重构出整体更自然明亮和细节纹理更清晰的融合图像.仿真结果表明:改进融合策略较好地提取出了源图像的细节信息,在主观视觉和五种客观评价指标上均优于其他几种比较算法,且由于NSST引入了快速傅里叶变换,明显提高了运算的时效性.     

基于插值与剪切波融合的图像超分辨率重建

针对单幅图像超分辨率重建问题,提出一种基于软判决自适应( SAI)-双三次( Bicubic)插值与平移不变剪切波融合的超分辨率重建算法。对源图像分别进行SAI插值和Bicubic插值,采用平移不变剪切波变换对2幅插值图像进行多尺度、多方向分解,得到低频及高频子带,对于低频子带,根据区域系数方差确定模糊相似度,结合改进的S函数确定自适应加权融合规则,对于高频子带,采用新改进拉普拉斯能量和与加权平均相结合的融合规则进行处理,将得到的融合系数进行剪切波逆变换,从而得到高分辨率重建图像。实验结果表明,与原有的SAI插值算法相比,该算法能提升重建图像的清晰度及峰值信噪比。     

基于引导滤波和shearlet稀疏的遥感图像融合算法

针对遥感图像空间分辨率和光谱分辨率不可兼得的情况, 结合多尺度变换与稀疏表示,提出一种shearlet稀疏基与引导滤波共同作用的遥感图像融合算法。以IHS融合模型为基础,利用引导滤波作拟合处理,再用shearlet变换分解亮度图像和全色图像,得到图像的高低频子带系数。 对低频子图进行稀疏化处理并获取最优稀疏系数,稀疏系数以图像块活跃度取大的标准进行替换融合。 基于区域能量和区域方差融合处理对应的高频子图,再利用shearlet反变换获取融合结果。 实验结果表明,本文算法能提高图像清晰度以及光谱保留度,在图像完整度和细节考量上远好于其他算法。     

基于引导滤波和shearlet稀疏的遥感图像融合算法

针对遥感图像空间分辨率和光谱分辨率不可兼得的情况,结合多尺度变换与稀疏表示,提出一种shearlet稀疏基与引导滤波共同作用的遥感图像融合算法。以IHS融合模型为基础,利用引导滤波作拟合处理,再用shearlet变换分解亮度图像和全色图像,得到图像的高低频子带系数。对低频子图进行稀疏化处理并获取最优稀疏系数,稀疏系数以图像块活跃度取大的标准进行替换融合。基于区域能量和区域方差融合处理对应的高频子图,再利用shearlet反变换获取融合结果。实验结果表明,本文算法能提高图像清晰度以及光谱保留度,在图像完整度和细节考量上远好于其他算法。     

基于NSST的CS与区域特性相结合的图像融合方法

针对多聚焦图像和多模态医学图像的成像特性,结合剪切波变换可以捕捉图像更多的方向和其他几何信息的特点,提出一种利用非下采样剪切波变换的压缩感知与区域特性相结合的图像融合方法。利用非下采样剪切波变换将源图像进行多方向、多尺度的分解,将得到的低频子带系数采取区域能量与区域方差加权的自适应融合方式处理。由于分解后的高频子带系数具有高稀疏性,可将高频子带系数通过高斯随机测量矩阵进行压缩处理之后,采用基于压缩感知的绝对值取大的融合方式处理;然后利用正交匹配追踪算法重构,经过非下采样剪切波变换逆变换得到融合图像。仿真实验结果表明,该方法的图像融合效果无论是在主观感觉还是客观指标评价方面较传统的融合方法都具有较大优势。     

结合视觉显著性与Dual PCNN的红外与可见光图像融合

针对现存的红外与可见光图像融合算法亮度不均、目标不突出、对比度不高、细节丢失等问题,结合非下采样剪切波变换(NSST)具有多尺度、最具稀疏表达的特性,显著性检测具有突出红外目标的优势,双通道脉冲耦合神经网络(Dual-PCNN)具有耦合、脉冲同步激发等优点,提出一种基于NSST结合视觉显著性引导Dual-PCNN的图像融合方法。首先,通过NSST分解红外与可见光图像各方向的高频与低频子带系数;然后,低频子带系数采用基于显著性决策图引导Dual-PCNN融合策略,高频子带系数采用改进的空间频率作为优化Dual-PCNN的激励进行融合;最后,经过NSST逆变换得到融合图像。实验结果表明,融合图像红外目标突出且可见光背景细节丰富。该方法相比于其他融合算法在主观评价与客观评价上都有一定程度的改善。     

基于NSST域的自适应区域和SCM相结合的多聚焦图像融合

为了提高多聚焦图像的融合效果,结合多源图像之间的共享相似性,提出了一种基于非下采样Shearlet变换(Nonsubsampled Shearlet Transform,NSST)域的自适应区域与脉冲发放皮层模型(Spiking Cortical Model,SCM)结合的新型图像融合算法。首先用NSST分解源图像,然后计算边缘能量(Energy Of Edge,EOE),在自适应区域用投票加权法融合低频系数,高频系数由边缘能量作为输入的SCM点火图融合,最后通过逆NSST获得该融合图像。该算法既可以很好地保持源图像的信息,又可以抑制在变换域因非线性运算产生的像素失真。实验结果表明,该方法优于最新的变换域和脉冲耦合神经网络(Pulse Coupled Neural Network,PCNN)融合方法。     

各向异性导向滤波的红外与可见光图像融合

目的 针对红外与可见光图像融合时易产生边缘细节信息丢失、融合结果有光晕伪影等问题，同时为充分获取多源图像的重要特征，将各向异性导向滤波和相位一致性结合，提出一种红外与可见光图像融合算法。方法 首先，采用各向异性导向滤波从源图像获得包含大尺度变化的基础图和包含小尺度细节的系列细节图；其次，利用相位一致性和高斯滤波计算显著图，进而通过对比像素显著性得到初始权重二值图，再利用各向异性导向滤波优化权重图，达到去除噪声和抑制光晕伪影；最后，通过图像重构得到融合结果。结果 从主客观两个方面，将所提方法与卷积神经网络（convolutional neural network，CNN）、双树复小波变换（dual-tree complex wavelet transform，DTCWT）、导向滤波（guided filtering，GFF）和各向异性扩散（anisotropic diffusion，ADF）等4种经典红外与可见光融合方法在TNO公开数据集上进行实验对比。主观分析上，所提算法结果在边缘细节、背景保存和目标完整度等方面均优于其他4种方法；客观分析上，选取互信息（mutual information，MI）、边缘信息保持度（degree of edge information，Q^AB/F）、熵（entropy，EN）和基于梯度的特征互信息（gradient based feature mutual information，FMI_gradient）等4种图像质量评价指数进行综合评价。相较于其他4种方法，本文算法的各项指标均有一定幅度的提高，MI平均值较GFF提高了21.67%，Q^AB/F平均值较CNN提高了20.21%，EN平均值较CNN提高了5.69%，FMI_gradient平均值较GFF提高了3.14%。结论 本文基于各向异性导向滤波融合算法可解决原始导向滤波存在的细节"光晕"问题，有效抑制融合结果中伪影的产生，同时具有尺度感知特性，能更好保留源图像的边缘细节信息和背景信息，提高了融合结果的准确性。     

基于双边滤波和NSST的红外与可见光图像融合

针对传统图像融合容易导致目标信息减弱、背景细节不清晰的问题,提出一种基于非下采样剪切波变换（Non-subsampled Shearlet Transform, NSST）和双边滤波的融合算法。首先,利用双边和高斯滤波器处理红外与可见光图像,得到包含红外目标的大尺度边缘图像;然后,采用NSST分解红外与可见光图像,得到相应的高频和低频子带系数,低频部分利用已得的大尺度边缘图像指导加权,高频部分采用绝对值取大的方法;最后将融合后的各频带系数经过NSST逆变换得到融合结果。实验结果显示,该方法既能有效突出红外目标,又充分保留了可见光图像中的背景信息,在信息熵、互信息和峰值信噪比等客观评价指标上也都优于传统的融合算法。     

采用shearlet变换的多聚焦图像融合

相对传统多尺度分析工具,shearlet变换更适于提取图像细节信息。采用shearlet变换进行图像融合,对源图像进行shearlet域分解,对低频子带采用SML算子作为融合依据,高频子带采取区域能量与单个像素相结合的方式选择系数,对融合后的系数进行逆shearlet变换得到融合图像。仿真实验表明,算法在视觉效果和量化结果上均有提高。     

结合NSCT和压缩感知的红外与可见光图像融合

目的 红外成像传感器只敏感于目标场景的辐射,对热目标的探测性能较好,但其对场景的成像清晰度低;可见光图像只敏感于目标场景的反射,场景图像较为清晰,但目标不易被清晰观察.因而将两者图像进行融合,生成具有较好目标指示特性和可见光图像的清晰场景信息,有利于提高目标识别的准确性和降低高分辨图像传感器研究的技术难度.方法 结合非下采样contourlet变换 (NSCT)和压缩感知的优点,研究一种新的红外与可见光图像融合方法.首先对两源图像进行NSCT变换,得到一个低频子带和多个不同方向、尺度的高频子带.然后对两低频子带采用压缩感知理论获得测量向量,利用方差最大的方法对测量向量进行融合,再进行稀疏重建;高频子带采用区域能量最大的方法进行融合.最后利用NSCT逆变换获得融合图像.结果 为了验证本文方法的有效性,与其他几种方法相比较,并利用主观和客观的方法对融合结果进行评价.提出的新方法融合结果的熵、空间频率、方差明显优于其他几种方法,运行时间居中.主观上可以看出,融合结果在较好地显示目标的基础上,能够较为清晰地保留场景图像的信息.结论 实验结果表明,该方法具有较好的目标检测能力,并且方法简单,具有较强的适应性,可应用于航空、遥感图像、目标识别等诸多领域.     

Multifocus image fusion method of Ripplet transform based on cycle spinning

The curvelet transform can represent images at both different scales and different directions. Ripplet transform, as a higher dimensional generalization of the curvelet transform, provides a new tight frame with sparse representation for images with discontinuities along C² curves. However, the ripplet transform is lack of translation invariance, which causes the pseudo-Gibbs phenomenon on the edges of image. In this paper, the cycle spinning method is adopted to suppress the pseudo-Gibbs phenomena in the multifocus image fusion. On the other hand, a modified sum-modified-laplacian rule based on the threshold is proposed to make the decision map to select the ripplet coefficient. Several experiments are executed to compare the presented approach with other methods based on the curvelet, sharp frequency localized contourlet transform and shearlet transform. The experiments demonstrate that the presented fusion algorithm outperforms these image fusion works.