基于FCM与引导滤波的红外与可见光图像融合

针对传统红外与可见光图像融合算法中存在的目标模糊、细节丢失、算法不稳定等问题,提出了一种基于模糊C均值聚类（Fuzzy C-means, FCM）与引导滤波的红外与可见光图像融合方法。原图像经过非下采样剪切波变换（Nonsubsampled Shearlet Transform, NSST）后对低频子带进行引导滤波增强,再利用FCM与双通道脉冲发放皮层模型（Dual Channel Spiking Cortical Model, DCSCM）结合对高低频子带进行融合,最后经NSST逆变换得到融合图像。实验结果表明,本文算法稳定,主观评价上所得融合图像目标明确,细节保留较为完整,客观评价上在标准差、互信息、平均梯度、信息熵和边缘保留因子等评价标准中表现优良。     

NSST域模糊逻辑的红外与可见光图像融合

为了在红外与可见光图像融合时保留各自更多的细节信息,同时降低算法复杂度,采用了非下采样剪切波变换（NSST）和改进模糊逻辑的红外与可见光图像融合方法,利用NSST算法对红外图像和可见光图像分别进行多尺度、多方向稀疏分解,分别得到低频子带系数和高频子带系数。然后对低频子带系数采用基于改进的模糊柯西隶属函数的权值平均融合规则;对高频子带系数采用能量匹配度和视觉敏感度系数相结合的融合规则。最后对低频子带融合系数和高频子带融合系数执行NSST逆变换得到最终的融合图像,并进行了理论分析和实验验证。结果表明,此融合方法不仅可以保证融合清晰度,对缩短算法的运行时间也是有帮助的。     

基于NSST的红外与可见光图像融合算法

针对红外与可见光图像具有不同的特点,提出一种新的基于非下采样剪切波变换（NSST）的红外与可见光图像融合算法.算法首先采用NSST将已配准的红外与可见光图像进行分解,得到低频子带图像和各尺度各方向的高频子带图像;然后对低频子带图像采用一种基于显著图的低频融合规则进行融合,而对高频子带图像的融合,结合人眼视觉特性,采用一种基于改进的区域对比度的融合规则;最后,对融合的低频子带图像和高频子带图像进行NSST逆变换得到融合图像.实验结果表明,该算法能够有效地综合红外与可见光图像中的重要信息,融合效果要优于一般的基于NSCT、NSST的图像融合方法.     

基于NSST-DWT-ICSAPCNN的多模态图像融合算法

为了增加融合图像的信息量,结合非下采样剪切波变换（Non-Subsampled Shearlet Transform, NSST）和离散小波变换（Discrete Wavelet Transform, DWT）的互补优势,提出了改进的多模态图像融合方法。采用NSST对两幅源图像进行多尺度、多方向的分解,得到相应的高频子带和低频子带;利用DWT将低频子带进一步分解为低频能量子带和低频细节子带,并利用最大值选择规则融合能量子带;采用改进连接强度的自适应脉冲耦合神经网络（Improved Connection Strength Adaptive Pulse Coupled Neural Network, ICSAPCNN）分别融合细节子带和高频子带,并对能量子带和细节子带进行DWT逆变换,得到融合的低频子带;采用NSST逆变换重构出细节信息丰富的融合图像。实验证明,提出的算法在主观视觉和客观评价方面均优于其他几种算法,且能同时适用于红外与可见光源图像、医学源图像的融合。     

基于N-RGAN模型的红外与可见光图像融合

目前，红外与可见光图像融合算法依然存在着对复杂场景适用性低、融合图像细节纹理信息大量丢失、对比度与清晰度不高等问题，针对上述存在的问题，本文结合非下采样剪切波变换（Non-Subsampled Shearlet Transform,NSST）、残差网络（Residual Network,ResNet）与生成对抗网络（Generative Adversarial Network, GAN）提出一种N-RGAN模型。通过NSST变换将红外与可见光图像分解为高频子带和低频子带；对高频子带进行拼接并输入由残差模块改进过的生成器，并将源红外图像作为判决标准，以此提升网络融合性能与融合图像细节刻画以及目标凸显能力；对红外图像与可见光图像进行显著性特征提取，通过自适应加权对低频子带进行融合，提升图像对比度与清晰度；对高频子带的融合结果与低频子带的融合结果进行NSST逆变换，从而得到红外与可见光图像的融合结果。通过与各类算法的融合结果进行对比，本文所提方法在峰值信噪比（Peak Signal to Noise Ratio,PSNR）、平均梯度（Average Gradient, AVG）、图像熵（Im...     

基于NSST与IFCNN的红外可见光图像融合算法

针对在图像融合中存在边缘细节保留不够理想的问题,提出一种基于非下采样剪切波变换(NSST)与卷积神经网络图像融合框架(IFCNN)的红外可见光图像融合算法.首先将红外和可见光图像进行NSST分解.然后为了使低频子带图像更好地突出轮廓信息,使用相似性匹配的融合规则对图像进行融合;对高频子带图像使用IFCNN提取特征层,特征层通过L2正则化、卷积运算和最大选择策略处理可以得到最大权重图,根据最大权重图来确定高频融合规则.最后使用NSST逆变换得到最终的融合图像.实验结果表明,所提算法很好地保留图像的边缘及纹理等细节信息,减少伪影和噪声,具有良好的视觉效果.     

卷积神经网络结合NSST的红外与可见光图像融合

传统的多尺度红外与可见光图像融合方法,所提取的图像特征固定,并不能很好的应用于各类复杂的图像环境,而深度学习可以自主选择合适图像特征,改良特征提取单一性问题,因此提出一种基于卷积神经网络与非下采样剪切波变换（NSST）相结合的红外与可见光图像融合方法。首先,用卷积神经网络提取红外目标与背景的二分类图,利用调频（FT）显著性检测算法对分类图进行精准分割,同时,利用NSST将源图像多尺度、多方向进行分解;其次,利用目标显著性结合自适应模糊逻辑算法进行低频子带融合,利用高频系数局部方差对比度方法进行高频子带融合;最后,通过NSST逆变换得到融合后图像。实验结果表明:相比于传统图像融合算法,该方法在信息熵、平均梯度、空间频率、互信息和交叉熵等多个客观评价指标上至少分别提高了0.01%、0.30%、1.43%、2.32%、1.14%。一定程度提高了融合图像对比度,丰富了背景细节信息,更有利于人眼识别,可以广泛的应用于光电侦察、光电告警、多传感器信息融合等光电信息领域。     

基于NSST和CS的红外与可见光图像融合

针对红外与可见光图像需要实时融合的特点,提出一种降低算法复杂度的基于非降采样剪切波变换(Non-subsampled Shearlet Transform)和压缩感知域的红外与可见光图像融合算法。利用NSST算法对红外图像和可见光图像分别进行多尺度、多方向稀疏分解,分别得到低频系数和各带通方向子带系数。对低频子带系数采用基于目标特征的加权平均融合规则;压缩感知理论的测量矩阵采用哈达马阶快速沃尔什矩阵,对细节信息保留较多的各带通子带系数进行观测测量,得到更稀疏的各带通子带系数测量值,对此测量值采用基于区域方差选大的融合规则得到融合测量值,运用基于增广的拉格朗日乘子和交叠方向恢复算法对融合测量值进行重构得到近似精确的各带通子带融合系数,最后对低频子带融合系数和各带通方向子带融合系数执行NSST逆变换得到最终的融合图像。实验结果表明,该融合方法不仅可以保证融合清晰度,同时还可以缩短算法的运行时间。     

基于热辐射信息保留的图像融合算法

针对现有的红外与可见光图像融合算法无法很好地保留红外图像热辐射信息这一问题,提出了一种基于热辐射信息保留的图像融合算法。通过NSCT（non-subsampled contourlet transform）变换对红外与可见光图像进行多尺度分解,得到各自的高频子带和低频子带,可见光低频子带部分经拉普拉斯算子提取特征后与红外低频子带部分叠加得到融合图像的低频系数,高频部分使用基于点锐度和细节增强的融合规则进行融合以得到高频系数,最后通过逆NSCT变换重构得到融合图像。实验表明,相较于其它图像融合算法,所提算法能在保留红外图像热辐射信息的同时,保有较好的清晰细节表现能力,并在多项客观评价指标上优于其它算法,具有更好的视觉效果,且在伪彩色变换后有良好的视觉体验,验证了所提算法的有效性和可行性。     

基于卷积神经网络结合NSCT的红外与可见光图像融合

传统红外与可见光融合图像在复杂环境下存在细节缺失,特征单一导致目标模糊等问题,本文提出一种基于卷积神经网络结合非下采样轮廓波变换（non-subsampled contourlet transform,NSCT）的红外与可见光图像进行融合的方法。首先,通过卷积神经网络提取红外与可见光目标特征信息,同时利用NSCT对源图像进行多尺度分解,得到源图像的高频系数与低频系数;其次,结合目标特征图利用自适应模糊逻辑与局部方差对比度分别对源图像高频子带与低频子带进行融合;最后,通过逆NSCT变换得到融合图像并与其他5种传统算法进行对比;实验结果表明,本文方法在多个客观评价指标上均有所提高。     

NSST框架下结合局部自适应亮度与DCAPCNN的双波段图像融合

针对现有红外与可见光图像融合后,易出现边缘平滑严重、纹理细节恢复不足、对比度低、显著目标不突出、部分信息缺失等问题,提出一种基于非下采样剪切波变换(non-subsampled shearlet transform,NSST)的红外与可见光双波段图像融合算法。首先,采用基于自适应引导滤波(adaptive guided filter,AGF)的方法对源红外、可见光图像增强。其次,利用NSST正变换分别对源红外与可见光图像分解,得到红外、可见光图像的低、高频子带分量。然后,分别通过基于局部自适应亮度(local adaptive intensity,LAI)与双通道自适应脉冲耦合神经网络(dual channel adaptive pulse coupled neural network,DCAPCNN)规则融合低、高频子带分量。最后,通过NSST逆变换得到最终融合图像。实验结果表明,本文算法整体对比度更适宜,对红外热目标及可见光背景的边缘与纹理的细节恢复性更好,融合图像信噪比高,有效结合了红外及可见光图像的各自优势,与现有传统图像融合与深度学习融合算法相比,本文算法达到了更好的实验效果,在主观视觉感知和客观指标评价中均具有更好的融合性能。     

结合改进显著性检测与NSST的红外与可见光图像融合方法

针对当前基于显著性检测的红外与可见光图像融合方法存在目标不够突出、对比度低等问题,本文提出了一种结合改进显著性检测与非下采样剪切波变换（non-subsampled shearlet transform, NSST）的融合方法。首先,使用改进最大对称环绕（maximum symmetric surround, MSS）算法提取出红外图像的显著性图,并进一步通过改进伽马校正进行增强,同时应用同态滤波增强可见光图像。然后,对红外图像与增强的可见光图像进行NSST分解,利用显著性图指导低频部分进行融合;同时设定区域能量取大规则指导高频部分融合。最后,通过NSST逆变换重构融合图像。实验结果表明,本文方法在平均梯度、信息熵、空间频率和标准差上远优于其他7种融合方法,可以有效突出红外目标,提高融合图像的对比度和清晰度,并保留可见光图像的丰富背景信息。     

一种基于蚁狮最大熵算法与引导滤波的图像融合算法

传统红外与可见光图像融合算法中易出现目标提取不够充分、细节丢失等问题,导致融合效果不理想,从而无法应用于目标检测、跟踪或识别等领域。因此,该文提出一种基于蚁狮优化算法(ALO)改进的最大香农(Shannon)熵分割法结合引导滤波的红外与可见光图像融合方法。首先,使用蚁狮最大熵分割法(ALO-MES)对红外图像进行目标提取,然后,对红外和可见光图像使用非下采样剪切波变换(NSST),并对获得的低频和高频分量进行引导滤波。由提取的目标图像与增强后的红外和可见光低频分量通过低频融合规则得到低频融合系数,增强后的高频分量通过双通道脉冲发放皮层模型(DCSCM)得到高频融合系数,最后经NSST逆变换得到融合图像。实验结果表明,所提算法能够得到目标明确、背景信息清晰的融合图像。     

基于双分解的双通道PCNN红外与可见光图像融合

为解决红外与可见光图像融合过程中存在的对比与清晰度较低和小目标易丢失等问题,提出了基于在双分解模型下的双通道PCNN(dPCNN)图像融合算法。首先对两幅源图像进行预增强处理,通过鲁棒的主成分分析(RPCA)将处理后图像分解为稀疏层与低秩层,接着,再利用非下采用剪切波变换(NSST)对的稀疏层进行多尺度分解得到低频子带与高频子带,然后对低秩层和低频子带采用局部加权能量与拉普拉斯能量两者取大的规则进行融合,对高频子带则利用dPCNN的点火图进行融合,最后将得到的融合成分进行逆变换或合成来得到最终融合图像。实验表明,该算法的融合图像目标信息对比突出、小目标信息明显,对源图像信息保留较好,客观评价指标也明显也优于其他算法,其中互信息有了大幅度的提升,有效地提升了红外与可见光图像的融合效果。     

基于高斯模糊逻辑和ADCSCM的红外与可见光图像融合算法

为了克服当前的红外与可见光图像融合算法存在着目标不够突出、纹理细节丢失等现象,本文提出了一种基于高斯模糊逻辑和自适应双通道脉冲发放皮层模型（Adaptive Dual-Channel Spiking Cortical Model, ADCSCM）的红外与可见光图像融合算法。首先,使用非下采样剪切波变换（Non-Subsampled Sheartlet Transform, NSST）将源图像分解为低频和高频部分。其次,结合新拉普拉斯能量和（New Sum of Laplacian, NSL）与高斯模糊逻辑,设定双阈值来指导低频部分进行融合;同时,采用基于ADCSCM的融合规则来指导高频部分进行融合。最后,使用NSST逆变换进行重构来获取融合图像。实验结果表明,本文算法主观视觉效果最佳,并在互信息、信息熵和标准差3项指标上高于其他7种融合算法,能够有效突出红外目标、保留较多纹理细节,提高融合图像的质量。     

基于NSST与改进PCNN的红外与可见光图像融合方法

针对目标红外图像与可见光图像信息优势互补的需 求,引入改进的脉冲耦合神经网络,提出一种新颖的基于非下采样 剪切波变换的红外与可见光图像融合算法。首先选取非下采样剪切波变换将图像进行分解, 获得高低频分量;其次低频分量的 融合是利用改进空间频率作用脉冲耦合神经网络输入激励,且其链接强度由表征图像信息的 平均梯度自适应调整;而高频分量 处理方法是利用局部平均梯度与区域方差自适应加权融合;最后,对分别处理后的低高频分 量经过非下采样剪切波变换可逆变 换获取融合图像。实验结果表明,该算法可以有效综合图像的优势信息,融合结果在主观与 客观评价上比经典算法更好。     

基于优化PCNN与区域特征引导法则的图像融合

针对传统红外与可见光图像融合算法存在着边缘信息缺失、目标特征不够突出等问题,本文提出一种基于优化脉冲耦合神经网络(PCNN)与区域特征引导法则的红外与可见光图像融合算法。首先,对红外与可见光图像分别进行非下采样剪切波变换(NSST),获取相应的低频分量和高频分量。其次,低频分量采用基于优化PCNN模型的融合规则进行融合;对于高频分量,利用图像的区域能量、改进空间频率和区域方差匹配度等特征,提出自适应的区域方差匹配度阈值和调节因子,构造区域特征引导法则完成融合。最后,对融合后的低高频分量进行NSST逆变换,获取融合图像。实验结果表明,本文算法可有效综合图像的优势信息,并在主观视觉和客观指标上均具有明显的优势。