基于N-RGAN模型的红外与可见光图像融合

目前，红外与可见光图像融合算法依然存在着对复杂场景适用性低、融合图像细节纹理信息大量丢失、对比度与清晰度不高等问题，针对上述存在的问题，本文结合非下采样剪切波变换（Non-Subsampled Shearlet Transform,NSST）、残差网络（Residual Network,ResNet）与生成对抗网络（Generative Adversarial Network, GAN）提出一种N-RGAN模型。通过NSST变换将红外与可见光图像分解为高频子带和低频子带；对高频子带进行拼接并输入由残差模块改进过的生成器，并将源红外图像作为判决标准，以此提升网络融合性能与融合图像细节刻画以及目标凸显能力；对红外图像与可见光图像进行显著性特征提取，通过自适应加权对低频子带进行融合，提升图像对比度与清晰度；对高频子带的融合结果与低频子带的融合结果进行NSST逆变换，从而得到红外与可见光图像的融合结果。通过与各类算法的融合结果进行对比，本文所提方法在峰值信噪比（Peak Signal to Noise Ratio,PSNR）、平均梯度（Average Gradient, AVG）、图像熵（Im...     

基于ST与量子理论模型的红外与可见光图像融合

针对传统的红外与可见光图像融合方法计算复杂度高、运行机制过于机械的问题,提出一种基于剪切波变换(ST)与量子理论(QT)模型的红外与可见光图像融合方法。该方法利用ST优越的图像信息捕捉性能对源图像进行多尺度多方向分解;其次,采用QT理论针对低频子带图像和一系列高频子带图像进行融合;最后,采取ST反变换获得最终融合结果图像。     

基于NSST与IFCNN的红外可见光图像融合算法

针对在图像融合中存在边缘细节保留不够理想的问题,提出一种基于非下采样剪切波变换(NSST)与卷积神经网络图像融合框架(IFCNN)的红外可见光图像融合算法.首先将红外和可见光图像进行NSST分解.然后为了使低频子带图像更好地突出轮廓信息,使用相似性匹配的融合规则对图像进行融合;对高频子带图像使用IFCNN提取特征层,特征层通过L2正则化、卷积运算和最大选择策略处理可以得到最大权重图,根据最大权重图来确定高频融合规则.最后使用NSST逆变换得到最终的融合图像.实验结果表明,所提算法很好地保留图像的边缘及纹理等细节信息,减少伪影和噪声,具有良好的视觉效果.     

基于热辐射信息保留的图像融合算法

针对现有的红外与可见光图像融合算法无法很好地保留红外图像热辐射信息这一问题,提出了一种基于热辐射信息保留的图像融合算法。通过NSCT（non-subsampled contourlet transform）变换对红外与可见光图像进行多尺度分解,得到各自的高频子带和低频子带,可见光低频子带部分经拉普拉斯算子提取特征后与红外低频子带部分叠加得到融合图像的低频系数,高频部分使用基于点锐度和细节增强的融合规则进行融合以得到高频系数,最后通过逆NSCT变换重构得到融合图像。实验表明,相较于其它图像融合算法,所提算法能在保留红外图像热辐射信息的同时,保有较好的清晰细节表现能力,并在多项客观评价指标上优于其它算法,具有更好的视觉效果,且在伪彩色变换后有良好的视觉体验,验证了所提算法的有效性和可行性。     

基于NSST的红外与可见光图像融合算法

针对红外与可见光图像具有不同的特点,提出一种新的基于非下采样剪切波变换（NSST）的红外与可见光图像融合算法.算法首先采用NSST将已配准的红外与可见光图像进行分解,得到低频子带图像和各尺度各方向的高频子带图像;然后对低频子带图像采用一种基于显著图的低频融合规则进行融合,而对高频子带图像的融合,结合人眼视觉特性,采用一种基于改进的区域对比度的融合规则;最后,对融合的低频子带图像和高频子带图像进行NSST逆变换得到融合图像.实验结果表明,该算法能够有效地综合红外与可见光图像中的重要信息,融合效果要优于一般的基于NSCT、NSST的图像融合方法.     

结合NSCT和邻域特性的红外与可见光图像融合

针对传统的融合方法对比度低、纹理信息保留不充分等问题,结合模糊增强特性,提出一种结合NSCT和邻域特性的红外与可见光图像融合算法。首先,对待处理的红外图像和可见光图像进行NSCT变换分解得到各自的高低频子带系数,接着对模糊增强后的低频子带系数采用改进的区域能量加权平均融合方案,同时对高频子带系数采用灰度变化和梯度差异加权融合方案,最后将高低频融合系数经NSCT逆变换得到融合图像。实验结果表明,融合后的图像目标细节清晰突出,与其他融合算法相比更具有先进性与有效性。     

基于引导滤波与双树复小波变换的红外与可见光图像融合

针对传统图像融合算法目标不突出、边缘及纹理细节不清晰或缺失、对比度降低等问题，提出一种基于引导滤波（GF）和双树复小波变换（DTCWT）的红外与可见光图像融合算法。首先，根据红外与可见光图像的特点，在DTCWT分解前对可见光图像进行GF增强，同时对经DTCWT分解后的红外高频分量进行GF增强；然后，根据不同频带系数特点，提出一种基于显著性的自适应加权规则对红外与可见光低频子带分量进行融合，采用一种基于拉普拉斯能量和（SML）与梯度值向量的规则对不同尺度、方向下高频子带进行融合；最后，对融合后的高、低频系数进行DTCWT逆变换以得到最终重构图像。将所提算法与6种高效融合算法进行对比评价，实验结果表明，所提融合算法在不同场景下具有显著的目标特征，同时背景纹理和边缘细节清晰，整体对比度适宜，并且在4类客观评价指标上也取得了较好的效果。     

基于对比度金字塔与双边滤波的非对称红外与可见光图像融合

为了同时保留红外图像的特征信息和可见光图像的细节信息,提出了一种基于对比度金字塔的非对称红外与可见光图像融合方法。首先,使用对比度金字塔对红外与可见光图像进行高频与低频信息分解,然后对高频部分采用绝对值取大方法进行融合,对于低频部分采用基于双边滤波的方法对红外与可见光图像进行非对称的处理;其次,使用对比度金字塔的逆变换得到融合后图像。对融合图像进行主观视觉和客观指标评价,结果表明该算法在突出目标特征信息和保留细节特征方面表现优异。     

基于卷积神经网络结合NSCT的红外与可见光图像融合

传统红外与可见光融合图像在复杂环境下存在细节缺失,特征单一导致目标模糊等问题,本文提出一种基于卷积神经网络结合非下采样轮廓波变换（non-subsampled contourlet transform,NSCT）的红外与可见光图像进行融合的方法。首先,通过卷积神经网络提取红外与可见光目标特征信息,同时利用NSCT对源图像进行多尺度分解,得到源图像的高频系数与低频系数;其次,结合目标特征图利用自适应模糊逻辑与局部方差对比度分别对源图像高频子带与低频子带进行融合;最后,通过逆NSCT变换得到融合图像并与其他5种传统算法进行对比;实验结果表明,本文方法在多个客观评价指标上均有所提高。     

改进PCNN与平均能量对比度的图像融合算法

为了改善红外光和可见光图像融合的视觉效果和运算时效性，借助有限离散剪切波变换（Finite discrete shearlet transform, FDST）将源图像分解一系列大小相同尺度不同的高低频子带；然后，在低频子带的融合过程中采用改进的空间频率作为脉冲耦合人工神经网络(Pulse Coupled Neural Network，PCNN)的输入激励，动态调节链接强度的大小，以便根据图像的特征自适应变化，充分保留了图像轮廓和边缘等特征信息。在高频子带的融合中，采用区域平均能量对比度的策略进行融合，尽可能突出了纹理和细节等信息；最后，对处理得到的高低频子带采取FDST逆变换，重构得到背景清晰和目标突出的图像。实验结果表明:提出的改进融合方法能够更加清晰和全面地呈现出图像中的背景和目标，与其他几种算法相比，主观视觉与客观指标均表现的最优，且具有更高的运算效率。     

基于NSST-DWT-ICSAPCNN的多模态图像融合算法

为了增加融合图像的信息量,结合非下采样剪切波变换（Non-Subsampled Shearlet Transform, NSST）和离散小波变换（Discrete Wavelet Transform, DWT）的互补优势,提出了改进的多模态图像融合方法。采用NSST对两幅源图像进行多尺度、多方向的分解,得到相应的高频子带和低频子带;利用DWT将低频子带进一步分解为低频能量子带和低频细节子带,并利用最大值选择规则融合能量子带;采用改进连接强度的自适应脉冲耦合神经网络（Improved Connection Strength Adaptive Pulse Coupled Neural Network, ICSAPCNN）分别融合细节子带和高频子带,并对能量子带和细节子带进行DWT逆变换,得到融合的低频子带;采用NSST逆变换重构出细节信息丰富的融合图像。实验证明,提出的算法在主观视觉和客观评价方面均优于其他几种算法,且能同时适用于红外与可见光源图像、医学源图像的融合。     

基于QPSO和统计特征的红外与可见光图像融合

为解决红外图像与可见光图像融合中融合图像质量不高问题,提出了一种结合量子粒子群优化和邻域统计的图像融合方法。红外和可见光源图像经过多尺度分解成为低频和高频子带。对低频子带,采用系数加权平均的融合策略,并通过量子粒子群优化方法搜索最优的融合权值;对于高频子带,采用受邻域统计信息调制的系数比较取大融合策略,通过逆变换重构图像得到融合结果。实验结果表明该算法能够很好地将红外图像与可见光图像进行融合,且融合效果优于其它一些算法。     

基于NSCT的红外与可见光图像融合

针对红外与可见光图像特点,提出一种基于非下采样Contourlet变换(NSCT)的红外与可见光图像融合算法。该算法对源图像进行NSCT分解,得到低频分量和各带通方向子带分量;引入图像区域相关系数决策度,对低频分量和带通方向子带分量采用不同的融合规则进行融合;最后经过NSCT逆变换得到融合图像。实验证明,该方法可以更好地保留目标信息和图像细节信息。     

NSST域模糊逻辑的红外与可见光图像融合

为了在红外与可见光图像融合时保留各自更多的细节信息,同时降低算法复杂度,采用了非下采样剪切波变换（NSST）和改进模糊逻辑的红外与可见光图像融合方法,利用NSST算法对红外图像和可见光图像分别进行多尺度、多方向稀疏分解,分别得到低频子带系数和高频子带系数。然后对低频子带系数采用基于改进的模糊柯西隶属函数的权值平均融合规则;对高频子带系数采用能量匹配度和视觉敏感度系数相结合的融合规则。最后对低频子带融合系数和高频子带融合系数执行NSST逆变换得到最终的融合图像,并进行了理论分析和实验验证。结果表明,此融合方法不仅可以保证融合清晰度,对缩短算法的运行时间也是有帮助的。     

NSST域红外和可见光图像感知融合

为了提高融合图像的视觉感知效果,提出一种非下采样剪切波变换(Non-Subsampled Shear Transform,NSST)域红外和可见光图像感知融合方法.首先采用NSST将源图像分解为高频和低频分量;接着采用参数自适应脉冲耦合神经网络(Parameter Adaptive Pulse Coupled Neural Network,PA-PCNN)融合高频分量图像,提高成像细节;然后联合使用高斯滤波器和双边滤波器进行多尺度变换以融合低频分量图像,将低频分量分解为多尺度纹理细节和边缘特征以捕获更多的多尺度红外光谱特征;最后利用NSST逆变换获取融合图像.实验结果表明,该方法不仅可以有效提高融合图像的细节信息,而且还能增强红外特征的提取能力以契合人体的视觉感知.     

基于局部能量匹配的红外偏振图像融合

针对红外偏振融合后图像边缘模糊不清和细节信息不明显等问题,本文提出了一种基于局部能量匹配的红外偏振图像融合方法。首先,融合偏振角图像和偏振度图像得到偏振特征图像;然后运用非下采样剪切波变换(NSST)把偏振特征图像和光强图像分解为低频子带和高频子带,运用顶帽(Top-hat)变换处理偏振图像的低频信息,提取目标;最后采用基于局部能量匹配和局部方差相结合的融合规则融合低频子带和高频子带。实验结果表明,本文算法与NSCT算法相比较,融合后图像的整体互信息值提高了8.7%,方差提高了3.9%,很好的保留了图像的细节信息。     

基于二代Curvelet变换的红外与可见光图像融合

针对红外与可见光成像传感器的物理特性,提出了一种基于二代Curvelet变换的图像融合算法.首先对原始图像分别进行快速离散Curvelet变换,得到不同尺度与方向下的子带系数.对低频子带系数,根据红外图像的目标特性与可见光图像的细节信息确定其融合权值;对不同尺度与方向下的高频子带系数,采用基于局部区域能量匹配的融合规则.最后经Curvelet逆变换得到融合结果.实验结果表明,该算法可以有效地综合可见光与红外图像中的重要信息,其融合结果较典型的基于塔式分解与基于小波变换的图像融合算法,在主观视觉效果与客观评价指标上均有所改善.     

基于稀疏表示和NSCT-PCNN的红外与可见光图像融合

针对小波变换容易造成细节信息丢失、非下采样轮廓波变换(NSCT)分解的低频子带系数不稀疏以及红外与可见光图像融合结果综合性能不佳的问题,提出了一种基于稀疏表示和NSCT-PCNN的红外与可见光图像融合算法。首先将源图像进行NSCT分解,获得低、高频子带;其次,利用K奇异值分解(K-SVD)算法对低频子带进行字典训练,实现低频子带的稀疏表示和低频稀疏系数的融合;然后,利用高频子带的空间频率激励脉冲耦合神经网络(PCNN),选择较大点火次数的系数作为高频子带的融合系数;最后对低、高频子带融合系数进行NSCT逆变换,得到融合的图像。实验结果表明,该算法在视觉效果和客观指标方面均具有较大优势,且融合结果综合性能优于现有算法。     

基于ResNet的红外与低照度可见光图像融合方法

针对传统红外与低照度可见光图像融合后,容易造成目标模糊不清、细节信息缺失等问题,本文提出一种低照度可见光图像预增强与残差网络(Residual Network, ResNet)相结合的图像融合方法。该方法首先利用单尺度Retinex(Single Scale Retinex, SSR)算法对低照度可见光图像进行增强预处理,得到增强的可见光图像。其次,利用ResNet-50分别从增强后的可见光图像和红外图像中提取深度特征。然后,采用L1范数对生成的深度特征进行正则化处理,并通过上采样操作将其分辨率恢复至输入图像大小,得到权重图。最后,使用加权平均策略获取融合图像。实验结果表明,本文算法能更好地保留输入图像的纹理细节和结构信息;使用TNO数据集与现有的三种典型算法对比,该算法融合结果的离散余弦特征互信息(FMI_dct)、小波特征互信息(FMI_w)、基于噪声评估的融合性能(Nabf)、结构相似度测量(SSIM)四种客观指标总体优于对比算法。     

基于CSR和能量特征的红外与可见光图像融合

传统稀疏表示(SR)分块处理策略降低了图像连续性,使得特征信息损失严重。因此,提出了基于卷积稀疏表示(CSR)和能量特征的红外与可见光图像融合算法。该算法将非下采样轮廓波变换(NSCT)域低频子带分解成低频基础分量和细节特征分量,使用局部拉普拉斯能量法(LLE)和卷积稀疏表示分别进行融合,获得低频子带融合图像。同时,根据底层视觉特征构建新活性度量方法来融合高频子带,最后对高、低频部分进行NSCT反变换重建。实验结果表明:该算法有效结合了源图像的边缘纹理信息,在主观和客观评价上皆优于现有的大部分算法。