基于目标增强的红外与可见光图像融合算法研究

针对传统多尺度变换融合方法不能有效保留红外图像中热辐射信息及高对比度特征,本文提出了一种基于目标增强多尺度变换的红外和可见光图像融合算法。首先,对可见光图像进行预处理,自适应地提高其对比度。其次,对红外和可见光图像分别使用拉普拉斯金字塔(LP)分解为高频以及低频分量。然后,使用分解后的红外低频信息确定低频段融合权重,并引入参数λ控制融合图像中红外信息比例。最后,使用拉普拉斯金字塔逆变换重构融合图像。实验结果表明,所提出的方法可以生成具有明显突出目标和丰富细节的融合图像,并在主观视觉和客观指标上具有更好的表现。     

NSST框架下结合局部自适应亮度与DCAPCNN的双波段图像融合

针对现有红外与可见光图像融合后,易出现边缘平滑严重、纹理细节恢复不足、对比度低、显著目标不突出、部分信息缺失等问题,提出一种基于非下采样剪切波变换(non-subsampled shearlet transform,NSST)的红外与可见光双波段图像融合算法。首先,采用基于自适应引导滤波(adaptive guided filter,AGF)的方法对源红外、可见光图像增强。其次,利用NSST正变换分别对源红外与可见光图像分解,得到红外、可见光图像的低、高频子带分量。然后,分别通过基于局部自适应亮度(local adaptive intensity,LAI)与双通道自适应脉冲耦合神经网络(dual channel adaptive pulse coupled neural network,DCAPCNN)规则融合低、高频子带分量。最后,通过NSST逆变换得到最终融合图像。实验结果表明,本文算法整体对比度更适宜,对红外热目标及可见光背景的边缘与纹理的细节恢复性更好,融合图像信噪比高,有效结合了红外及可见光图像的各自优势,与现有传统图像融合与深度学习融合算法相比,本文算法达到了更好的实验效果,在主观视觉感知和客观指标评价中均具有更好的融合性能。     

基于对比度金字塔与双边滤波的非对称红外与可见光图像融合

为了同时保留红外图像的特征信息和可见光图像的细节信息,提出了一种基于对比度金字塔的非对称红外与可见光图像融合方法。首先,使用对比度金字塔对红外与可见光图像进行高频与低频信息分解,然后对高频部分采用绝对值取大方法进行融合,对于低频部分采用基于双边滤波的方法对红外与可见光图像进行非对称的处理;其次,使用对比度金字塔的逆变换得到融合后图像。对融合图像进行主观视觉和客观指标评价,结果表明该算法在突出目标特征信息和保留细节特征方面表现优异。     

基于卷积神经网络结合NSCT的红外与可见光图像融合

传统红外与可见光融合图像在复杂环境下存在细节缺失,特征单一导致目标模糊等问题,本文提出一种基于卷积神经网络结合非下采样轮廓波变换（non-subsampled contourlet transform,NSCT）的红外与可见光图像进行融合的方法。首先,通过卷积神经网络提取红外与可见光目标特征信息,同时利用NSCT对源图像进行多尺度分解,得到源图像的高频系数与低频系数;其次,结合目标特征图利用自适应模糊逻辑与局部方差对比度分别对源图像高频子带与低频子带进行融合;最后,通过逆NSCT变换得到融合图像并与其他5种传统算法进行对比;实验结果表明,本文方法在多个客观评价指标上均有所提高。     

基于红外目标特征提取的图像融合方法

为有效突出红外目标,同时尽可能多地保留可见光图像中的纹理细节信息,使得最终的融合图像更符合人类视觉感知效果,本文提出一种新的基于红外目标特征提取的红外与可见光图像融合方法。首先,利用高斯滤波器将源图像分解为粗略尺度信息和边缘纹理细节信息;对红外图像的边缘纹理细节信息进行去“光晕”分解,在此基础上进一步利用OTSU多阈值分割算法将红外图像分割为目标区域、过渡区域和背景区域;最后,依据分割结果确定各分解子信息的融合权重,以有效地将红外目标信息注入到可见光图像中,同时尽可能多地保留可见光图像中重要的场景细节信息。实验结果表明,本文方法无论从主观视觉还是客观评价指标上,都要优于目前常用的有代表性的图像融合方法。      

联合信息增强与生成对抗网络的红外与可见光图像融合

为克服红外与可见光图像的融合结果图边缘模糊、细节信息表征不足及亮度较低的问题,提出了联合信息增强与生成对抗网络(Generative Adversarial Network, GAN)的红外与可见光图像融合方法。基于自适应直方图划分和亮度校正算法被用来增强红外图像的显著对比度。多尺度Retinex算法(MSR)被用来增强可见光图像的纹理细节,同时调整可见光图像的亮度。增强后的红外与可见光图像被输入GAN进行训练,训练好的模型可以完成端到端图像融合任务。仿真实验结果表明所提算法在EN (信息熵)和SD(标准差)指标上具有明显优势。     

基于显著性图的红外与可见光图像融合

为使红外图像与可见光图像融合后的图像能获得更多目标信息和细节信息,本文提出了一种基于显著性图的图像融合方法。使用改进的Frequency Tuned(FT)算法提取红外图像的显著性图,并使用对比度受限的自适应直方图均衡化(Contrast Limited Adaptive Histgram Equalization,CLAHE)算法增强可见光图像的对比度。将红外图像与增强后的可见光图像进行非下采样轮廓波变换(Nonsubsampled Contourlet Transform,NSCT)后,根据所设定的融合规则分别对红外与可见光图像的低频部分与高频部分进行融合,最后对融合系数进行NSCT逆变换操作后获到融合图像。实验表明,该融合方法相较于其他方法而言,保留了更多的目标信息和细节信息,可以取得更好的视觉效果。     

基于图像特征激励的自适应PCNN红外与可见光图像融合方法

针对红外与可见光图像融合对比度不高,易丢失细节信息等问题,提出了一种非下采样Contourlet变换域内基于图像特征激励的自适应PCNN红外与可见光图像融合方法。针对PCNN参数设置复杂,自动化程度不高等问题,采用平均梯度和赋时矩阵来自适应调节PCNN链接强度和迭代次数等参数。对于NSCT多尺度多方向分解得到的高低频子带系数,分别采用特征激励的PCNN获得点火时间图,根据点火时间图的区域能量来选择融合系数。实验结果表明,该方法能够有效地融合红外和可见光图像信息,对比度高,而且能很好地保留图像的细节信息,无论在视觉效果上还是客观评价指标上,都优于常用的图像融合方法。     

基于BMA滤波器和边缘的红外与可见光图像融合

目前基于多尺度分解的图像融合算法存在以下问题:1)多尺度分解时,图像边缘被平滑;2)融合结果中红外显著区域的对比度降低;3)小尺度细节受到抑制,在融合图像中显示不清晰。为解决上述问题,本文提出了一种基于BMA(Bayesian model averaging)滤波器和边缘的图像融合算法。首先,利用BMA滤波器分别对红外与可见光图像进行多尺度分解;其次,分别利用显著性提取和边缘权值映射算法,计算各基层和细节层的融合权值矩阵;最后通过图像重构获得融合图像。实验证明,该融合算法优于传统的图像融合算法。     

基于多尺度局部极值分解与ResNet152的红外与可见光图像融合

为了进一步提升红外与可见光图像融合方法的性能 ,本文提出了一种基于多尺度局部极值分解与深度学习网络ResNet152的红外与可见光图像融合方法。首先,利用多尺度局部极值分解 (multiscale local extrema decomposition,MLED)方法将源图像分解为近似图像和细节图 像,分离 出源图像中重叠的重要特征信息。然后采用残差网络ResNet152深度提取源图像的多维显著 特征, 以l₁-范数作为活性测度生成显著特征图,对近似图像进行加权平均融合,以保持能量和残 留细节 信息不丢失。在细节图像中,利用“系数绝对值取大”规则获得初始决策图,源图像作为引 导图像, 初始决策图作为输入图像进行引导滤波处理,得到优化决策图,计算加权局部能量得到能量 显著 图,对细节图像进行加权平均融合,使融合图像具有丰富的纹理细节和良好的视觉边缘感知 。最 后,对近似融合图像和细节融合图像进行重构,得到融合图像。实验结果表明,与现有的典 型融 合方法相比,本文所提出的融合方法在客观评价和视觉感受方面都取得了最好的效果。     

基于NSCT的自适应多判决图像融合方法

针对传统的融合方法对于红外图像目标信息和可见光图像丰富的背景信息无法有效地保留到融合图像的问题,提出一种基于NSCT变换的自适应多判决红外与可见光图像融合方法。首先,将来自同一场景配准后的红外与可见光图像进行NSCT多尺度、多方向分解;然后,分别对高低频系数采取不同的融合规则：低频系数采用基于区域能量调节因子自适应加权的方法,对高频系数采用混合的融合方法,即对于高层,采用像素点绝对值选大的融合方法,对于低层采用基于对比度的多判决融合方法;最后,将得到的高低频融合系数进行逆NSCT变换得到融合图像。实验结果表明,经主客观评价,本文提出的融合方法优于文中其他基于多尺度分析的图像融合方法,可得到更理想的融合图像。     

一种改进的基于多尺度变换的红外和可见光图像融合算法

提出了一种改进的基于多尺度变换的红外和可见光图像融合算法.首先,用形态学帽变换对两幅已经配准的红外图像和可见光图像进行处理,然后将处理后的图像分别进行轮廓波分解得到一系列的高频图像和低频图像.由于高频图像和低频图像特点的不同,对高频图像采用平均梯度进行融合,对低频图像采用PCA的方法进行融合.实验表明,该方法很好地结合了形态学帽变换、主成分PCA算法和轮廓波变换的优点.与传统的融合方法相比,提出的融合方法可以提供丰富的图像信息和清晰纹理细节,且很好地保证了主要目标的亮度基本不变.     

马氏距离与引导滤波加权的红外与可见光图像融合

为使红外与可见光融合图像获得更好的分辨率和清晰度,提出基于非下采样轮廓波变换（non-subsampled contourlet transform, NSCT）的马氏距离加权拉普拉斯能量和与引导滤波改进（frequency tuned, FT）结合的红外与可见光图像融合算法。首先,对可见光图像进行对比度受限的自适应直方图均衡（contrast limited adaptive histogram equalization, CLAHE）,并将红外图像与CLAHE处理后可见光图像进行NSCT变换,分解为低频和高频; 其次,对FT算法使用引导滤波进行改进,利用改进的FT算法提取红外图像显著性图自适应加权融合低频图像,对高频图像使用基于马氏距离加权的拉普拉斯能量和取大融合; 最后,对融合的低频和高频图像进行NSCT逆变换获得融合图像。实验结果表明,该融合方法相较其他传统融合方法,在主观视觉上和客观指标上都有较好的表现。     

基于NSST与改进PCNN的红外与可见光图像融合方法

针对目标红外图像与可见光图像信息优势互补的需 求,引入改进的脉冲耦合神经网络,提出一种新颖的基于非下采样 剪切波变换的红外与可见光图像融合算法。首先选取非下采样剪切波变换将图像进行分解, 获得高低频分量;其次低频分量的 融合是利用改进空间频率作用脉冲耦合神经网络输入激励,且其链接强度由表征图像信息的 平均梯度自适应调整;而高频分量 处理方法是利用局部平均梯度与区域方差自适应加权融合;最后,对分别处理后的低高频分 量经过非下采样剪切波变换可逆变 换获取融合图像。实验结果表明,该算法可以有效综合图像的优势信息,融合结果在主观与 客观评价上比经典算法更好。     

基于变分多尺度的红外与可见光图像融合

为解决变换域融合法对强噪声抑制能力差的问题,提出一种基于变分多尺度分解的红外与可见光图像融合方法.首先对待融合图像分别进行变分多尺度分解,获得纹理分量和结构分量.采用引导滤波的方法进行待融合图像的纹理分量融合,在结构分量融合上提出一种以相位一致性、清晰度、亮度综合信息来权衡融合权重的方法,最后将两幅图像融合后的纹理分量和结构分量相加获取最终融合图像.实验结果从主观观察和客观指标看,本文方法在清晰度和细节信息上比离散小波变换（discrete wavelet transform）法、非下采样轮廓波变换（non-subsampled contourlet transform）法、稀疏表示（sparse representation）法、剪切波变换（shearlet transform）法都要高.     

一种基于EASSF的红外与可见光图像视觉保真度融合

最近,多尺度特征提取被广泛应用于红外与可见光图像融合领域,但是大多数提取过程过于复杂,并且视觉效果不佳。为了提高融合结果的视觉保真度,本文提出一种基于边缘感知平滑锐化滤波器（Edge-Aware Smoothing-Sharpening Filter,EASSF）的多尺度图像融合模型。首先,提出一种基于EASSF的多尺度水平图像分解方法对源图像进行分解,得到水平方向上的多尺度纹理成分和基础成分;其次,采用最大值融合规则（Max-Fusion, MF）融合纹理成分,避免图像细节信息的丢失;然后,通过一种感知融合规则（Perceptual-Fusion, PF）融合基础成分,捕获显著性目标信息;最后,通过整合融合后的多尺度纹理成分和基础成分得到融合图像。实验通过分析感知融合系数,对比融合结果的客观数据得出红外与可见光图像融合在多尺度EASSF下较为合适的取值范围;在该取值范围内,本文提出的融合模型同一些较为经典和流行的融合方法相比,不仅解决了特征信息提取的复杂性,而且通过整合基础成分的显著性光谱信息,有效地保证了融合结果的视觉保真度。     

基于BEMD改进的视觉显著性红外和可见光图像融合

针对视觉显著性融合过程中目标对比度低,图像不够清晰的问题,本文提出一种基于二维经验模态分解（bidimensional empirical mode decomposition,BEMD）改进的Frequency Tuned算法。首先利用BEMD捕获红外图像的强点、轮廓信息用于指导生成红外图像的显著性图,然后将可见光图像和增强后的红外图像进行非下采样轮廓波变换（nonsubsampled contourlet transform,NSCT）,对低频部分采用显著性图指导的融合规则,对高频部分采用区域能量取大并设定阈值的融合规则,最后进行逆NSCT变换生成融合图像并进行主观视觉和客观指标评价,结果表明本文方法实现了对原图像多层次、自适应的分析,相较于对比的方法取得了良好的视觉效果。     

红外与可见光图像多特征自适应融合方法

由于成像机理不同,红外图像以像素分布表征典型目标,而可见光图像以边缘和梯度描述纹理细节,现有的融合方法不能依据源图像特征自适应变化,造成融合结果不能同时保留红外目标特征与可见光纹理细节。为此,本文提出红外与可见光图像多特征自适应融合方法。首先,构建了多尺度密集连接网络,可以有效聚合所有不同尺度不同层级的中间特征,利于增强特征提取和特征重构能力。其次,设计了多特征自适应损失函数,采用VGG-16网络提取源图像的多尺度特征,以像素强度和梯度为测量准则,以特征保留度计算特征权重系数。多特征自适应损失函数监督网络训练,可以均衡提取源图像各自的特征信息,从而获得更优的融合效果。公开数据集的实验结果表明,该方法在主、客观评价方面均优于其他典型方法。     

基于LatLRR和PCNN的红外与可见光融合算法

针对光谱差异较大的红外与可见光图像，本文提出一种基于潜在低秩表示（LatLRR）和脉冲式耦合神经网络（PCNN）的多尺度融合模型。首先，该算法利用非下采样剪切波变换（NSST）获取图像的低频与高频分量。鉴于图像的低频分量决定最终的融合效果，采用LatLRR算法挖掘源图像内在的显著特征对低频分量自适应加权融合。除此外，针对决定融合图像细节的高频分量，则利用双通道PCNN模型作为它的融合规则。其中平均梯度算子（AVG）和方向梯度和算子（SDG）分别作为PCNN的外界刺激与链接强度，它们能更好地表征图像的纹理特性。通过上述全新的融合规则，可将包含在红外图像内部的显著性特征与可见光图像的梯度特征完美结合，从而获取具有优良视觉效果的融合图像。本文采用3种不同的场景来测试所提方法的融合性能，与其他典型融合方法相比，本文提出的算法具有更佳的视觉效果，同时客观评价参数值增加约2%~5%。