基于RGF改进显著性检测与SCM相结合的图像融合

针对传统显著性检测融合方法中目标对比度低,纹理细节不够丰富的问题,提出了一种基于滚动导向滤波(RGF)改进显著性检测与脉冲发放皮层模型(SCM)相结合的可见光与红外图像融合算法。该算法先将源图像经过非下采样剪切波变换(NSST)分解成低频部分和高频部分,然后利用RGF小尺度消除、大尺度边缘恢复特性对Frequency Tuned算法进行改进并提取出红外图像显著图。再使用显著图投影区域指导法融合低频部分,同时采用SCM结合区域能量与改进的拉普拉斯能量和融合高频部分,最后使用逆变换重建图像。仿真结果表明,该算法能在突出显著目标的同时保留丰富的细节信息,在质量指标如标准差、互信息、边缘保留因子等方面均优于对比方法。     

基于显著性图的红外与可见光图像融合

为使红外图像与可见光图像融合后的图像能获得更多目标信息和细节信息,本文提出了一种基于显著性图的图像融合方法。使用改进的Frequency Tuned(FT)算法提取红外图像的显著性图,并使用对比度受限的自适应直方图均衡化(Contrast Limited Adaptive Histgram Equalization,CLAHE)算法增强可见光图像的对比度。将红外图像与增强后的可见光图像进行非下采样轮廓波变换(Nonsubsampled Contourlet Transform,NSCT)后,根据所设定的融合规则分别对红外与可见光图像的低频部分与高频部分进行融合,最后对融合系数进行NSCT逆变换操作后获到融合图像。实验表明,该融合方法相较于其他方法而言,保留了更多的目标信息和细节信息,可以取得更好的视觉效果。     

卷积神经网络结合NSST的红外与可见光图像融合

传统的多尺度红外与可见光图像融合方法,所提取的图像特征固定,并不能很好的应用于各类复杂的图像环境,而深度学习可以自主选择合适图像特征,改良特征提取单一性问题,因此提出一种基于卷积神经网络与非下采样剪切波变换（NSST）相结合的红外与可见光图像融合方法。首先,用卷积神经网络提取红外目标与背景的二分类图,利用调频（FT）显著性检测算法对分类图进行精准分割,同时,利用NSST将源图像多尺度、多方向进行分解;其次,利用目标显著性结合自适应模糊逻辑算法进行低频子带融合,利用高频系数局部方差对比度方法进行高频子带融合;最后,通过NSST逆变换得到融合后图像。实验结果表明:相比于传统图像融合算法,该方法在信息熵、平均梯度、空间频率、互信息和交叉熵等多个客观评价指标上至少分别提高了0.01%、0.30%、1.43%、2.32%、1.14%。一定程度提高了融合图像对比度,丰富了背景细节信息,更有利于人眼识别,可以广泛的应用于光电侦察、光电告警、多传感器信息融合等光电信息领域。     

基于NSST的红外与可见光图像融合算法

针对红外与可见光图像具有不同的特点,提出一种新的基于非下采样剪切波变换（NSST）的红外与可见光图像融合算法.算法首先采用NSST将已配准的红外与可见光图像进行分解,得到低频子带图像和各尺度各方向的高频子带图像;然后对低频子带图像采用一种基于显著图的低频融合规则进行融合,而对高频子带图像的融合,结合人眼视觉特性,采用一种基于改进的区域对比度的融合规则;最后,对融合的低频子带图像和高频子带图像进行NSST逆变换得到融合图像.实验结果表明,该算法能够有效地综合红外与可见光图像中的重要信息,融合效果要优于一般的基于NSCT、NSST的图像融合方法.     

基于高斯模糊逻辑和ADCSCM的红外与可见光图像融合算法

为了克服当前的红外与可见光图像融合算法存在着目标不够突出、纹理细节丢失等现象,本文提出了一种基于高斯模糊逻辑和自适应双通道脉冲发放皮层模型（Adaptive Dual-Channel Spiking Cortical Model, ADCSCM）的红外与可见光图像融合算法。首先,使用非下采样剪切波变换（Non-Subsampled Sheartlet Transform, NSST）将源图像分解为低频和高频部分。其次,结合新拉普拉斯能量和（New Sum of Laplacian, NSL）与高斯模糊逻辑,设定双阈值来指导低频部分进行融合;同时,采用基于ADCSCM的融合规则来指导高频部分进行融合。最后,使用NSST逆变换进行重构来获取融合图像。实验结果表明,本文算法主观视觉效果最佳,并在互信息、信息熵和标准差3项指标上高于其他7种融合算法,能够有效突出红外目标、保留较多纹理细节,提高融合图像的质量。     

基于N-RGAN模型的红外与可见光图像融合

目前，红外与可见光图像融合算法依然存在着对复杂场景适用性低、融合图像细节纹理信息大量丢失、对比度与清晰度不高等问题，针对上述存在的问题，本文结合非下采样剪切波变换（Non-Subsampled Shearlet Transform,NSST）、残差网络（Residual Network,ResNet）与生成对抗网络（Generative Adversarial Network, GAN）提出一种N-RGAN模型。通过NSST变换将红外与可见光图像分解为高频子带和低频子带；对高频子带进行拼接并输入由残差模块改进过的生成器，并将源红外图像作为判决标准，以此提升网络融合性能与融合图像细节刻画以及目标凸显能力；对红外图像与可见光图像进行显著性特征提取，通过自适应加权对低频子带进行融合，提升图像对比度与清晰度；对高频子带的融合结果与低频子带的融合结果进行NSST逆变换，从而得到红外与可见光图像的融合结果。通过与各类算法的融合结果进行对比，本文所提方法在峰值信噪比（Peak Signal to Noise Ratio,PSNR）、平均梯度（Average Gradient, AVG）、图像熵（Im...     

基于BEMD改进的视觉显著性红外和可见光图像融合

针对视觉显著性融合过程中目标对比度低,图像不够清晰的问题,本文提出一种基于二维经验模态分解（bidimensional empirical mode decomposition,BEMD）改进的Frequency Tuned算法。首先利用BEMD捕获红外图像的强点、轮廓信息用于指导生成红外图像的显著性图,然后将可见光图像和增强后的红外图像进行非下采样轮廓波变换（nonsubsampled contourlet transform,NSCT）,对低频部分采用显著性图指导的融合规则,对高频部分采用区域能量取大并设定阈值的融合规则,最后进行逆NSCT变换生成融合图像并进行主观视觉和客观指标评价,结果表明本文方法实现了对原图像多层次、自适应的分析,相较于对比的方法取得了良好的视觉效果。     

边缘和对比度增强的NSST域红外与可见光图像融合

为了将红外图像的全局信息与可见光图像的细节信息进行有效结合,进一步提高融合后图像的质量,提出了一种同时增强图像边缘细节和对比度的非下采样剪切波变换(NSST)域红外和可见光图像融合方法。首先,通过平移不变剪切波将图像分解成为低频子带与高频子带,通过全局显著性图分析图像的对比度信息;利用改进型局部显著度图分析图像局部边缘信息。针对不同频带系数,结合边缘信息和对比度信息对频带系数进行融合,最后,利用逆变换得到最终的融合图像。大量实验结果表明,本文方法在提高图像整体对比度的同时增强了图像的边缘细节表现能力,优于现有的基于小波变换,非下采样轮廓波变换(NSCT)和显著度图等几种图像融合方法。     

基于改进谱残差显著性图的红外与可见光图像融合

为了将可见光图像与红外图像中的细节信息更多的呈现在融合图像中,突出目标特征并获得更好的图像视觉效果,本文提出一种基于改进谱残差显著性图的红外与可见光图像融合方法。首先用改进的谱残差显著性检测算法提取红外图像的显著性图并获得融合图像的显著性系数,然后对源图像进行双树复小波分解,并根据特定的融合规则分别对图像的低频部分以及高频部分进行融合,最后采用双树复小波逆变换重构获得最终的融合图像。实验表明,本文融合方法相较于传统融合方法融合质量更高并且在视觉效果上有显著提升。     

基于NSCT结合显著图与区域能量的红外与可见光图像融合

针对传统的红外与可见光图像融合出现的清晰度和对比度偏低,目标不够突出的问题,本文提出了一种基于Non-subsampled Contourlet(NSCT)变换结合显著图与区域能量的融合方法。首先,使用改进的频率调谐（Frequency-tuned, FT）方法求出红外图像显著图并归一化得到显著图权重,单尺度Retinex(Single-scale Retinex, SSR)处理可见光图像。其次,使用NSCT分解红外与可见光图像,并基于归一化显著图与区域能量设计新的融和权重来指导低频系数融合,解决了区域能量自适应加权容易引入噪声的问题;采用改进的“加权拉普拉斯能量和”指导高频系数融合。最后,通过逆NSCT变换求出融合图像。本文方法与7种经典方法在6组图像中进行对比实验,在信息熵、互信息、平均梯度和标准差指标中最优,在空间频率中第一组图像为次优,其余图像均为最优结果。融合图像信息量丰富、清晰度高、对比度高并且亮度适中易于人眼观察,验证了本文方法的有效性。     

一种基于蚁狮最大熵算法与引导滤波的图像融合算法

传统红外与可见光图像融合算法中易出现目标提取不够充分、细节丢失等问题,导致融合效果不理想,从而无法应用于目标检测、跟踪或识别等领域。因此,该文提出一种基于蚁狮优化算法(ALO)改进的最大香农(Shannon)熵分割法结合引导滤波的红外与可见光图像融合方法。首先,使用蚁狮最大熵分割法(ALO-MES)对红外图像进行目标提取,然后,对红外和可见光图像使用非下采样剪切波变换(NSST),并对获得的低频和高频分量进行引导滤波。由提取的目标图像与增强后的红外和可见光低频分量通过低频融合规则得到低频融合系数,增强后的高频分量通过双通道脉冲发放皮层模型(DCSCM)得到高频融合系数,最后经NSST逆变换得到融合图像。实验结果表明,所提算法能够得到目标明确、背景信息清晰的融合图像。     

NSST域模糊逻辑的红外与可见光图像融合

为了在红外与可见光图像融合时保留各自更多的细节信息,同时降低算法复杂度,采用了非下采样剪切波变换（NSST）和改进模糊逻辑的红外与可见光图像融合方法,利用NSST算法对红外图像和可见光图像分别进行多尺度、多方向稀疏分解,分别得到低频子带系数和高频子带系数。然后对低频子带系数采用基于改进的模糊柯西隶属函数的权值平均融合规则;对高频子带系数采用能量匹配度和视觉敏感度系数相结合的融合规则。最后对低频子带融合系数和高频子带融合系数执行NSST逆变换得到最终的融合图像,并进行了理论分析和实验验证。结果表明,此融合方法不仅可以保证融合清晰度,对缩短算法的运行时间也是有帮助的。     

基于NSST-DWT-ICSAPCNN的多模态图像融合算法

为了增加融合图像的信息量,结合非下采样剪切波变换（Non-Subsampled Shearlet Transform, NSST）和离散小波变换（Discrete Wavelet Transform, DWT）的互补优势,提出了改进的多模态图像融合方法。采用NSST对两幅源图像进行多尺度、多方向的分解,得到相应的高频子带和低频子带;利用DWT将低频子带进一步分解为低频能量子带和低频细节子带,并利用最大值选择规则融合能量子带;采用改进连接强度的自适应脉冲耦合神经网络（Improved Connection Strength Adaptive Pulse Coupled Neural Network, ICSAPCNN）分别融合细节子带和高频子带,并对能量子带和细节子带进行DWT逆变换,得到融合的低频子带;采用NSST逆变换重构出细节信息丰富的融合图像。实验证明,提出的算法在主观视觉和客观评价方面均优于其他几种算法,且能同时适用于红外与可见光源图像、医学源图像的融合。     

基于优化PCNN与区域特征引导法则的图像融合

针对传统红外与可见光图像融合算法存在着边缘信息缺失、目标特征不够突出等问题,本文提出一种基于优化脉冲耦合神经网络(PCNN)与区域特征引导法则的红外与可见光图像融合算法。首先,对红外与可见光图像分别进行非下采样剪切波变换(NSST),获取相应的低频分量和高频分量。其次,低频分量采用基于优化PCNN模型的融合规则进行融合;对于高频分量,利用图像的区域能量、改进空间频率和区域方差匹配度等特征,提出自适应的区域方差匹配度阈值和调节因子,构造区域特征引导法则完成融合。最后,对融合后的低高频分量进行NSST逆变换,获取融合图像。实验结果表明,本文算法可有效综合图像的优势信息,并在主观视觉和客观指标上均具有明显的优势。     

基于LatLRR和PCNN的红外与可见光融合算法

针对光谱差异较大的红外与可见光图像，本文提出一种基于潜在低秩表示（LatLRR）和脉冲式耦合神经网络（PCNN）的多尺度融合模型。首先，该算法利用非下采样剪切波变换（NSST）获取图像的低频与高频分量。鉴于图像的低频分量决定最终的融合效果，采用LatLRR算法挖掘源图像内在的显著特征对低频分量自适应加权融合。除此外，针对决定融合图像细节的高频分量，则利用双通道PCNN模型作为它的融合规则。其中平均梯度算子（AVG）和方向梯度和算子（SDG）分别作为PCNN的外界刺激与链接强度，它们能更好地表征图像的纹理特性。通过上述全新的融合规则，可将包含在红外图像内部的显著性特征与可见光图像的梯度特征完美结合，从而获取具有优良视觉效果的融合图像。本文采用3种不同的场景来测试所提方法的融合性能，与其他典型融合方法相比，本文提出的算法具有更佳的视觉效果，同时客观评价参数值增加约2%~5%。     

基于NSST域结合SCM与引导滤波的图像融合

为了保留红外与可见光图像更多的边缘及纹理信息,在常用的非下采样剪切波 变换(nonsubsampled shearlet transform,NSST)结合脉冲发放皮层(spiking corticalmodel,SCM)的图像融合算法基础上,引入引导滤波来处理高频系数,并将其作为SCM的外部 激励,融合高频部分。结合区域均值和区域能量,作为SCM的外部激励,融合低频部分。仿 真实验证明,所提算法的融合效果显然优于传统算法。在主观视觉上红外目标突出,背 景信息丰富,保留了良好的边缘及纹理信息,在客观评价上边缘保留因子、信息熵,以及对 比度等指标有明显的提高。