改进NSCT和IHS变换相结合的遥感影像融合

目的 目的为了增强多光谱和全色影像融合质量,提出基于脉冲耦合神经网络（PCNN）的非下采样Contoulet变换（NSCT）和IHS变换相结合的融合方法。方法 先对多光谱图像进行IHS变换提取亮度I分量,采用主成分分析增强I分量得到新的I⁺分量;然后通过NSCT变换分别对I⁺分量和全色图像进行分解,并采用边缘梯度信息激励的PCNN得到融合图像的低频和高频分量;最后进行NSCT逆变换、IHS逆变换得到融合图像。结果 利用资源一号02C卫星数据进行实验,结果表明该算法在保留光谱信息的同时提高了图像空间分辨率,获得了较好的融合效果。结论 结合NSCT和IHS变换的融合方法在视觉效果和客观评价指标上都优于常用的图像融合方法。     

多方向Laplacian能量和与tetrolet变换的图像融合

目的 红外与可见光图像融合算法大部分可以达到认知场景的目的,但是无法对场景中的细节特征进行更加细致的刻画。为进一步提高场景辨识度,提出一种基于tetrolet变换的多尺度几何变换图像融合算法。方法 首先,将红外与可见光图像映射到tetrolet变换域,并将二者分解为低频系数和高频系数。然后,对低频系数,将区域能量理论与传统的加权法相结合,利用区域能量的多变性和区域像素的相关性,自适应地选择加权系数进行融合;对高频系数,利用改进的多方向拉普拉斯算子方法计算拉普拉斯能量和,再引入区域平滑度为阈值设定高频系数融合规则。最后,将融合所得新的低频和高频系数进行图像重建得到融合结果。结果 在kaptein、street和road等3组红外与可见光图像上,与轮廓波变换（contourlet transformation,CL）、离散小波变换（discrete wavelet transformation,DWT）和非下采样轮廓波变换（nonsubsampled contourlet transformation,NSCT）等3种方法的融合结果进行比较,主观评判上,本文算法融合结果在背景、目标物以及细节体现方面均优于其他3种方法;客观指标上,本文算法相较于其他3种方法,运行时间较NSCT方法提升了0.37 s,平均梯度（average gradient,AvG）值和空间频率（spatial frequency,SF）值均有大幅提高,提高幅度最大为5.42和2.75,峰值信噪比（peak signal to noise ratio,PSNR）值、信息熵（information entropy,IE）值和结构相似性（structural similarity index,SSIM）值分别提高0.25、0.12和0.19。结论 本文提出的红外与可见光图像融合算法改善了融合图像的细节刻画,使观察者对场景的理解能力有所提升。     

BEMD分解和W变换相结合的红外与可见光图像融合

目的 针对传统的基于多尺度变换的图像融合算法的不足,提出了一种基于W变换和2维经验模态分解（BEMD）的红外与可见光图像融合算法。方法 首先,为了更有效地提取图像的高频信息,抑制BEMD中存在的模态混叠现象,提出了一种基于W变换和BEMD的新的多尺度分解算法（简称W-BEMD）;然后,利用W-BEMD对源图像进行塔式分解,获得图像的高频分量WIMFs和残差分量WR;接着,对源图像对应的WIMFs分量和WR分量分别采用基于局部区域方差选择与加权和基于局部区域能量选择与加权的融合规则进行融合,得到融合图像的W-BEMD分解;最后,通过W-BEMD逆变换得到最终融合图像。W-BEMD分解算法的主要思想是通过W变换递归地将BEMD分解过程中每层所得低频分量中滞留的高频成分提取出来并叠加到相应的高频分量中,实现更有效的图像多尺度分解。结果 对比实验结果表明,本文方法得到的融合图像视觉效果更佳,既有突出的红外目标,又有清晰的可见光背景细节,而且在平均梯度（AG）、空间频率（SF）、互信息（MI）3个客观评价指标上也有显著优势。结论 本文提出了一种新的红外与可见光图像融合算法,实验结果表明,该算法具有较好的融合效果,在保留可见光图像中的细节信息和突出红外图像中的目标信息方面更加有效。     

结合NSST与GA参数优化PCNN图像融合

针对传统多尺度融合算法不具平移性、融合效果较差以及PCNN参数设置复杂等问题,提出了一种结合非下采样剪切波变换（NSST）与遗传算法（GA）优化脉冲耦合神经网络（PCNN）参数的图像融合方法,将融合指标（互信息[MI]、边缘信息保留度[QAB/F]、熵[EN]、空间频率[SF]、图像标准差[STD]和图像平均梯度[AG]）的最大值设为GA优化算法的目标函数,从而获得最优解对PCNN的链接强度、阈值等参数进行优化。首先利用NSST对图像进行多尺度分解,其次高频采用空间频率引导PCNN进行融合,低频采用改进拉普拉斯能量和（SML）进行融合,最后进行NSST逆变换得到最终的融合图像。根据主观评价与客观评价指标对多聚焦图像、医学图像和红外及可见光图像的融合效果进行评价分析。实验结果表明,该算法在客观评价指标上优于其他算法,有较好的融合效果。     

双重字典学习与自适应PCNN相结合的医学图像融合

目的 针对基于稀疏编码的医学图像融合方法存在的细节保存能力不足的问题,提出了一种基于卷积稀疏表示双重字典学习与自适应脉冲耦合神经网络（PCNN）的多模态医学图像融合方法。方法 首先通过已配准的训练图像去学习卷积稀疏与卷积低秩子字典,在两个字典下使用交替方向乘子法（ADMM）求得其卷积稀疏表示系数与卷积低秩表示系数,通过与对应的字典重构得到卷积稀疏与卷积低秩分量;然后利用改进的的拉普拉斯能量和（NSML）以及空间频率和（NMSF）去激励PCNN分别对卷积稀疏与卷积低秩分量进行融合;最后将融合后的卷积稀疏与卷积低秩分量进行组合得到最终的融合图像。结果 对灰度图像与彩色图像进行实验仿真并与其他融合方法进行比较,实验结果表明,所提出的融合方法在客观评估和视觉质量方面明显优于对比的6种方法,在4种指标上都有最优的表现;与6种多模态图像融合方法相比,3组实验平均标准差分别提高了7%、10%、5.2%;平均互信息分别提高了33.4%、10.9%、11.3%;平均空间频率分别提高了8.2%、9.6%、5.6%;平均边缘评价因子分别提高了16.9%、20.7%、21.6%。结论 与其他稀疏表示方法相比,有效提高了多模态医学图像融合的质量,更好地保留了源图像的细节信息,使融合图像的信息更加丰富,符合人眼的视觉特性,有效地辅助医生进行疾病诊断。     

基于NSST与自适应PCNN的多聚焦图像融合方法

为弥补传统图像融合方法融合质量不高的缺点,提出了基于非下采样剪切波变换(Nonsubsampled Shearlet Transform,NSST)与自适应脉冲耦合神经网络(Pulse Coupled Neural Network,PCNN)的图像融合方法。首先,利用非下采样剪切波变换对源图像进行剪切波分解;然后,采用基于图像引导滤波器的融合规则对得到的低频分量进行低频融合;其次,对于高频分量,采用改进的空间频率作为PCNN的输入,利用改进的拉普拉斯能量和作为PCNN的链接强度;最后,通过NSST逆变换得到融合后的图像。实验结果表明,相比于传统的融合规则,文中提出的算法在主观效果上能很好地保留细节信息,并抑制伪影和失真的产生;在客观评价上,其在标准差、边缘信息传递量、信息熵和互信息等常用指标上的表现更为优越。     

非下采样剪切波变换的医学图像融合

目的 由于单模态医学图像所提供的信息有限,不能反映相关组织所有细节信息,可能会造成临床医学误诊。针对这一问题,提出一种基于非下采样剪切波变换（NSST）的医学图像融合算法,对多模态医学图像进行融合,丰富融合图像信息,提高图像质量,为临床诊断提供依据。方法 首先,将源图像进行NSST变换得到低频子带和若干高频方向子带;其次,根据低频子带图像的特点,提出低频系数与脉冲耦合神经网络PCNN （pulse coupled neural network）相结合的方法;根据高频子带间结构相似度SSIM （structure similarity）不同,分为低相似和高相似子带图像;对低相似子带系数采用视觉敏感度系数VSC （visual sensitivity coefficient）与改进梯度能量相结合的策略;高相似子带系数采用VSC与区域能量相结合的方法;进而,选取结构相似度与边缘信息评价因子Q^ABF（edge based similarity measure）之和作为目标函数,自适应地优化可调参数;最后,经逆NSST变换重构图像。结果 对灰度图像和彩色图像进行实验仿真,并与其他4种融合方法进行比较,在主观视觉效果和客观评价标准,本文方法取得良好的融合效果,其中边缘评价因子和标准差都是最好的,其他指标相对较好;与靳珍怡提出的基于非下采样轮廓波变换的多模态医学图像融合相比,5组实验空间频率分别提高了11.8%、24.7%、83.4%、11.9%、30.3%;边缘评价因子分别提高了6.7%、15%、40%、50%、12%;结构相似度分别提高了0.7%、7.3%、2.4%、-3.6%、2.1%;交叉熵分别降低了16.9%、1.6%、-27.4%、6.1%、0.4%。结论 本文算法有效提高多模态医学图像融合质量,增加不同模态间的互补信息;与现有医学图像融合算法相比,本文算法更加优越。融合图像细节信息更为突出,整体信息更丰富,更符合人眼视觉特性。     

结合聚合通道特征和双树复小波变换的手势识别

目的 针对目前手势识别方法受环境、光线、旋转、缩放、肤色等因素的影响,导致手势识别精度下降的问题,提出一种结合聚合通道特征（ACF）的手势检测和双树复小波变换（DTCWT）的复杂背景下手势识别方法。方法 在手势图像预处理过程中引入聚合通道特征,采用Adaboost分类器和非极大值抑制算法（NMS）进行目标手势的检测;利用DTCWT对目标手势图像进行多尺度多方向分解,对高低频系数的每一块分别提取方向梯度直方图（HOG）和局部二值模式（LBP）特征;最后融合各个方向上的高低频特征并通过支持向量机（SVM）进行分类识别。结果 选取多个场景、多个对象、不同角度和距离的图像作为训练集,并标注区分前背景,对20种手势进行识别实验,并与传统的肤色检测、HOG特征手势识别、类-Hausdorff距离的手势识别算法进行了实验对比。在任意可承受范围内的光照、距离等情况下,该方法能够更准确实时地实现手势识别,平均精度达到95.1%。结论 在图像预处理的情况下,聚合通道特征的引入能够准确检测手势,同时基于DTCWT的手势图像频域特征提取和再融合的方法有效地解决了传统普通图像的单特征识别方法在光线和复杂背景下识别精度不高的问题。     

基于提升小波变换的医学图像融合

目的 将不同模态的医学图像(如CT/MRI图像)进行科学融合,可以有效地丰富图像的信息,提高信息的利用效能,这对于医学临床诊断具有重要的理论研究意义和应用价值。方法 基于提升小波变换的特性,对多模态医学图像的融合算法进行研究。首先,对已配准的源图像进行多尺度分解,得到低频子带和多层高频子带;进而,根据低频子带的特点和各层高频子带的噪声含量不同,提出了低频子带系数采用基于区域平均能量的加权融合规则;对噪声含量较低的低层高频子带采用基于计盒分维法获取分维数,而对噪声含量较高的高层高频子带提出了基于区域梯度能量加权融合规则。结果 分别对灰度图像和彩色图像进行了大量融合实验,并分别在主观视觉特性及客观评价指标下对不同融合算法产生的融合图像的质量进行了分析对比,表明本文算法具有较好的边缘保持度。结论 实验结果表明,较现有算法产生的融合图像,应用本文融合算法得到的图像具有更丰富的信息,更能使图像灰度级分散,具有更良好的视觉特性和评价指标。     

形态学滤波和改进PCNN的NSST域多光谱与全色图像融合

目的 全色图像的空间细节信息增强和多光谱图像的光谱信息保持通常是相互矛盾的,如何能够在这对矛盾中实现最佳融合效果一直以来都是遥感图像融合领域的研究热点与难点。为了有效结合光谱信息与空间细节信息,进一步改善多光谱与全色图像的融合质量,提出一种形态学滤波和改进脉冲耦合神经网络（PCNN）的非下采样剪切波变换（NSST）域多光谱与全色图像融合方法。方法 该方法首先分别对多光谱和全色图像进行非下采样剪切波变换;对二者的低频分量采用形态学滤波和高通调制框架（HPM）进行融合,将全色图像低频子带的细节信息注入到多光谱图像低频子带中得到融合后的低频子带;对二者的高频分量则采用改进脉冲耦合神经网络的方法进行融合,进一步增强融合图像中的空间细节信息;最后通过NSST逆变换得到融合图像。结果 仿真实验表明,本文方法得到的融合图像细节信息清晰且光谱保真度高,视觉效果上优势明显,且各项评价指标与其他方法相比整体上较优。相比于5种方法中3组融合结果各指标平均值中的最优值,清晰度和空间频率分别比NSCT-PCNN方法提高0.5%和1.0%,光谱扭曲度比NSST-PCNN方法降低4.2%,相关系数比NSST-PCNN方法提高1.4%,信息熵仅比NSST-PCNN方法低0.08%。相关系数和光谱扭曲度两项指标的评价结果表明本文方法相比于其他5种方法能够更好地保持光谱信息,清晰度和空间频率两项指标的评价结果则展示了本文方法具有优于其他对比方法的空间细节注入能力,信息熵指标虽不是最优值,但与最优值非常接近。结论 分析视觉效果及各项客观评价指标可以看出,本文方法在提高融合图像空间分辨率的同时,很好地保持了光谱信息。综合来看,本文方法在主观与客观方面均具有优于亮度色调饱和度（IHS）法、主成分分析（PCA）法、基于非负矩阵分解（CNMF）、基于非下采样轮廓波变换和脉冲耦合神经网络（NSCT-PCNN）以及基于非下采样剪切波变换和脉冲耦合神经网络（NSST-PCNN）5种经典及现有流行方法的融合效果。     

基于SML和PCNN的NSCT域多聚焦图像融合

针对融合规则带来的虚假边缘、伪影等问题,提出了改进拉普拉斯能量和(Sum-modified Laplacian,SML)和脉冲耦合神经网络(Pulse Coupled Neural Network,PCNN)相结合的非下采样Contourlet变换(Non-Sampled Con-tourlet Transform,NSCT)域融合方法。首先,采用NSCT将每幅源图像分解成包含基本信息的低频子带图像和多幅包含细节信息的带通子带图像。然后,计算各尺度分解图像的SML值,根据值的大小对低频子带图像各像素点进行像素选择。对于带通子带部分,将计算的SML作为PCNN的输入激励,PCNN输出的点火映射图用来选择各子带图像的像素值。最后,将处理后的各子带系数进行NSCT重构得到融合图像。实验结果表明,此算法能很好地改善融合图像的聚焦清晰度,并且与现有的SIDWT,DTCWT,NSCT以及基于PCNN的融合方法相比,所提算法在互信息量、结构相似度以及边缘信息保留量等客观指标方面得到了提高。     

一种基于QPSO的脉冲耦合神经网络参数的自适应确定方法

针对目前脉冲耦合神经网络(PCNN)神经元模型中的参数主要通过人工定义的问题,提出一种基于量子微粒群优化(QPSO)算法的PCNN参数自动确定方法,并分析该算法的时间复杂度。该方法利用PCNN分割后的图像熵作为QPSO算法的适应度函数,在解空间中自动搜索PCNN中待确定参数的最优值,提供一种PCNN神经元模型中的参数自动确定方法。将该方法应用于图像分割时,以互信息量作为图像分割评价标准。仿真结果表明文中方法实现正确的图像分割,其性能优于Otsu方法、人工调整PCNN参数方法、遗传算法优化方法和微粒群优化方法,表现出较好的鲁棒性。     

脉冲耦合神经网络自适应图像融合算法研究

作为一种新型的神经网络模型,脉冲耦合神经网络（PCNN）已经在众多领域得到了应用。针对现有脉冲耦合神经网络图像融合算法存在的不足,提出了一种新的自适应PCNN图像融合算法。提取原始待融合图像的互补特征作为PCNN的外部输入,并通过提取待融合图像的对比度特征自适应确定PCNN的链接强度参数;分析了传统PCNN获取最优图像融合结果的方法,探索性地将结构相似度引入到PCNN融合结果的评价中,为PCNN最优融合结果的获取提供了很好的借鉴作用。通过红外和可见光等图像的仿真实验结果表明,提出的融合算法是有效的。     

基于增补小波变换和PCNN的NSCT域图像融合算法

针对传统NSCT图像融合算法存在的不足,提出一种基于增补小波变换和PCNN的NSCT域图像融合算法。首先对源图像进行NSCT分解,生成一系列低频和高频分量。对低频分量利用二维小波分解,生成一个低频和三个方向分量,对低频分量利用局部区域能量加权方法融合,三个方向分量利用改进的高斯加权SML方法融合;对NSCT分解的高频分量,分为对最高层和其它层的融合,最高层利用改进的高斯加权SML方法融合,其余层利用边缘梯度信息激励PCNN方法融合。最后对NSCT进行逆变换得到融合图像。实验结果证实了所提算法的有效性。     

基于PCNN与区域特征的红外与可见光图像融合

针对红外图像与可见光图像融合中容易产生红外目标不明显、对比度不高的问题,提出了一种新的融合算法。该算法创新地将PCNN与区域特征应用到NSCT域内低频和带通子带系数的选择上。通过NSCT分解得到待融合图像的子带系数。运用PCNN对分解后的子带系数进行处理,得到子带系数的点火映射图。低频子带点火映射图采取基于区域标准差的方法选取融合系数。带通子带点火映射图采取基于区域能量的方法选取融合系数。融合图像通过NSCT逆变换可以得到。仿真实验表明与其他算法相比,该算法能够得到红外目标突出、质量更好的融合图像,图像客观评价指标提升明显。     

NSCT域内结合相位一致性激励PCNN的多聚焦图像融合

针对传统脉冲耦合神经网络（PCNN）无法准确提取多聚焦图像聚焦区域的问题,提出一种利用相位一致性（PC）来检测图像清晰区域,并结合PCNN的多聚焦图像融合算法。首先,利用非下采样轮廓波变换（NSCT）对源图像进行多尺度分解,分别得到图像的高频子带和低频子带;其次,通过计算高频系数的空间频率值（SF）与低频系数的相位一致性值来提取图像高低频子带中的聚焦区域;然后,将SF与PC作为PCNN外部激励来刺激PCNN神经元点火,分别对图像高低频系数进行融合;最后,利用逆NSCT得到最终融合图像。实验采取多聚焦图像Clock、Pepsi和Lab作为三组实验数据集,与传统融合算法及新近提出的几种算法进行对比,所提算法的客观评价参数：互信息、边缘信息度、信息熵、标准差和平均梯度的数值均大于或十分接近于对比算法的最大值;同时从实验结果图与源图像的差值图中可以发现所提算法的差值图包含源图像清晰区域的痕迹明显更少。实验结果表明所提算法能更加准确地提取出图像的清晰区域,更好地保留图像的边缘与纹理等细节信息,得到更好的融合效果。     

DTCWT域的红外与可见光图像融合算法

针对红外与可见光图像融合存在融合图像对比度和清晰度降低、噪声干扰等问题,提出一种DTCWT域的红外与可见光图像融合算法。首先对源图像进行预增强处理;然后通过DTCWT正变换得到低频子带图像和高频子带图像;再分别利用基于直觉模糊集的融合规则融合低频子带图像,基于信息反差对比度的融合规则融合高频子带图像;最后对融合后的低频子带图像和高频子带图像进行DTCWT逆变换得到融合图像。实验结果表明,本文算法能有效提高融合图像对比度和清晰度,降低噪声干扰,客观评价指标总体优于现有算法的,运行效率也有所提升。     

基于改进的稀疏表示和PCNN的图像融合算法研究

为提高图像融合的清晰度,本文提出一种基于改进的稀疏表示和脉冲耦合神经网络（pulse coupled neural network,PCNN）的图像融合。利用非下采样剪切波变换（non-subsampled shearlet transform,NSST）对源图像进行分解变换,得到相应的低频子带和高频子带具有不同的信息。对于低频子带,采用改进的稀疏表示进行融合,利用K奇异值分解（K-singular value decomposition,K-SVD）算法,并对源图像进行自适应学习的多个子字典构造成联合词典。对于高频子带,则改进PCNN融合系数的选择方法,利用改进的空间频率作为神经元反馈输入来激励PCNN模型,并根据点火输出的总幅度最大的融合规则选择高频系数。最后,将融合后的低频子带和高频子带系数进行NSST逆变换,重构出融合图像。实验结果表明:该算法很好地保留了图像的边缘信息,并且得到的图像在相关的客观评价标准上也取得了良好的效果,表明了本算法的有效性。