基于显著性图的红外与可见光图像融合

为使红外图像与可见光图像融合后的图像能获得更多目标信息和细节信息,本文提出了一种基于显著性图的图像融合方法.使用改进的Frequency Tuned(FT)算法提取红外图像的显著性图,并使用对比度受限的自适应直方图均衡化(Contrast Limited Adaptive Histgram Equalization,CLAHE)算法增强可见光图像的对比度.将红外图像与增强后的可见光图像进行非下采样轮廓波变换(Nonsubsampled Contourlet Transform,NSCT)后,根据所设定的融合规则分别对红外与可见光图像的低频部分与高频部分进行融合,最后对融合系数进行NSCT逆变换操作后获到融合图像.实验表明,该融合方法相较于其他方法而言,保留了更多的目标信息和细节信息,可以取得更好的视觉效果.     

联合信息增强与生成对抗网络的红外与可见光图像融合

为克服红外与可见光图像的融合结果图边缘模糊、细节信息表征不足及亮度较低的问题,提出了联合信息增强与生成对抗网络(Generative Adversarial Network, GAN)的红外与可见光图像融合方法。基于自适应直方图划分和亮度校正算法被用来增强红外图像的显著对比度。多尺度Retinex算法(MSR)被用来增强可见光图像的纹理细节,同时调整可见光图像的亮度。增强后的红外与可见光图像被输入GAN进行训练,训练好的模型可以完成端到端图像融合任务。仿真实验结果表明所提算法在EN (信息熵)和SD(标准差)指标上具有明显优势。     

基于PCNN与IFS的可见光与红外图像融合方法

鉴于传统的可见光与红外图像融合方法存在的边缘 模糊与清晰度低等问题,提出了一种基于脉冲耦合神经网络(PCNN)与直觉模糊集(IFS) 的可见光与红外图像融合改进算法。该方法首先利用IHS变换,分离可见光图像的亮度信息 I;其次,利用非下采样轮廓波变化(NSCT)将I分量与红外图像分别进行分解,得到高低频系数;对低频部分采用高斯隶属函数 和直觉模糊集进行融合,对高频部分采用PCNN模型进行融合;再次,通过非下采样轮廓波逆 变化得到融合图像的I分量;最后,进行IHS逆变换得到彩色融合 图像。大量仿真结果表明,这种融合方法能很好地保留可见光与红外光源图像的特征信息和 细节信息,融合后的图像的轮廓更加清晰,具有更良好的视觉效果。与现有的其它红外光和 可见光图像融合方法相比,本文提出的方法,其融合图像的熵值、边缘保持度、互信息、标 准差、结构相似度等指标都有明显的提高,有效地验证了本文算法的有效性。     

基于LatLRR与NSP分解的红外与可见光图像融合北大核心CSCD

针对现有红外与可见光图像融合过程中存在的图像对比度低、红外特征不明显等问题,提出了一种基于非采样金字塔滤波(Nonsubsampled Pyramid,NSP)与潜在低秩表示(Latent Low Rank Representation,LatLRR)分解的红外与可见光图像融合算法。首先,对红外与可见光图像进行分解,采用NSP分解提取源图像的低频信息,LatLRR分解提取源图像的局部结构信息;其次,根据红外低频信息与可见光低频信息的特征及融合结果图像中低频分量占比,利用红外像素强度权重调控策略完成对低频信息的融合,同时,为使红外与可见光的局部结构信息在融合时保持均衡,使用基于像素灰度值求和的策略进行1∶1融合;最后,图像重构中引入非线性变换思想,使局部结构信息与低频信息有更加完美的契合。实验结果表明,融合结果图像在极大保留红外特征的同时又能兼顾可见光图像中的细节信息,该算法能够对红外与可见光图像进行有效融合。     

基于AWNV的红外与可见光图像Tetrolet域融合方法研究

针对红外(IR)和可见光(VL)图像融合中边缘纹理和细节特征融合不理想等问题,提出了一种基于Tetrolet变换的红外和可见光图像的融合方法。将Tetrolet变换后的红外和可见光图像的低通子带采用基于加权平均的融合方法得到低通融合系数,而对高通子带提出了一种基于自适应邻域方差加权(AWNV)的融合规则得到高通融合系数,最后通过Tetrolet逆变换得到融合图像。采用多种图像进行融合实验,实验结果表明,经该方法得到的融合图像信息量更大,特征纹理更为丰富,能够得到比较好的融合效果。     

深度学习框架下的红外与可见光图像融合算法综述

红外与可见光图像融合是图像融合领域的重要分支。将红外与可见光传感器获取的图像进行互补融合,融合后的图像既具有红外图像的整体信息又具有可见光图像的细节信息,并广泛应用于日常生活和军事领域。由于深度学习在计算机视觉和图像处理领域具有显著优势,因此将深度学习框架应用于红外与可见光图像融合领域成为近年来的研究热点。本文首先根据融合算法的特点及原理,对现有基于深度学习框架的融合算法进行分类概述,并详细介绍算法的研究进展;其次,对图像融合领域的评价指标进行介绍;再次,选取不同分类中的典型算法进行融合试验,利用六种评价指标对实验结果进行评价;最后,分析总结融合算法存在的缺陷,对红外与可见光图像融合算法的发展方向进行展望。     

基于NSCT的红外与可见光图像融合

针对红外与可见光图像特点,提出一种基于非下采样Contourlet变换(NSCT)的红外与可见光图像融合算法。该算法对源图像进行NSCT分解,得到低频分量和各带通方向子带分量;引入图像区域相关系数决策度,对低频分量和带通方向子带分量采用不同的融合规则进行融合;最后经过NSCT逆变换得到融合图像。实验证明,该方法可以更好地保留目标信息和图像细节信息。     

基于多尺度分析的红外与可见光图像融合研究

红外与可见光图像融合是异类传感器信息融合的重要分支,在军事、遥感等领域有着重要的研究意义。本文从红外与可见光图像的特点出发,介绍了两种图像融合的现状,归纳了常用的基于多尺度分析的图像融合方法,简要阐述了红外与可见光图像融合规则和评价指标,为多尺度分析技术在图像融合领域的发展提供了清晰的方向。     

基于对比度金字塔与双边滤波的非对称红外与可见光图像融合

为了同时保留红外图像的特征信息和可见光图像的细节信息,提出了一种基于对比度金字塔的非对称红外与可见光图像融合方法.首先,使用对比度金字塔对红外与可见光图像进行高频与低频信息分解,然后对高频部分采用绝对值取大方法进行融合,对于低频部分采用基于双边滤波的方法对红外与可见光图像进行非对称的处理;其次,使用对比度金字塔的逆变换...     

基于SCM和CST的红外与可见光图像融合算法

针对红外与可见光图像的成像特点及目前红外与可见光图像融合中融合图像信息量不足的问题,结合复剪切波变换（Complex Shearlet transform,CST）及脉冲发放皮层模型（Spiking cortical model,SCM）的优点,本文提出了一种新的红外与可见光图像融合算法。首先,利用红外图像目标与背景灰度的显著差异,通过区域生长方法从红外图像提取目标区域;然后用CST对源图像进行分解,对源图像的目标区域和背景区域系数分别采用不同的融合规则进行融合,其中背景区域的高频子带系数利用SCM进行选择;最后,经过CST逆变换重构融合图像。研究结果表明,与其它的红外与可见光图像融合算法相比,本方法在视觉效果和客观评价指标上都得到了提升。     

可见光与红外图像自适应加权平均融合方法

针对传统可见光图像与红外图像融合存在显著性信息保留不完整的问题,本文提出了一种新的自适应加权平均融合算法.首先,该方法通过非下采样轮廓波变换将源图像分解为不同尺度、不同方向的高低频分量.然后,针对低频分量的特点提出了一种基于显著性的自适应加权平均融合规则,用于保留源图像中的重要信息.对于高频分量,本文采用绝对值取大的融合策略.最后,根据融合后的高低频分量重构出最终的融合图像.实验结果表明,本文算法与传统融合算法相比,在主观视觉和客观指标上都具有优势.     

基于灰度能量差异性的红外与可见光图像融合

为了获取红外图像中的突出的目标特征,提取可见光图像中重要的细节信息,以及解决传统算法中目标信息不够突出,细节、纹理缺失严重的问题,本文提出了一种基于灰度能量差异性的红外与可见光图像融合方法.首先通过基于灰度能量差异性的显著目标提取算法检测出红外图像中的目标特征;然后采用非下采样轮廓波变换(non-subsampled contourlet transform,NSCT)对红外图像和可见光图像进行高低频的分解;将灰度能量差异图作为融合权重对红外图像和可见光图像的低频部分进行融合,对于高频部分采用加权方差的规则进行融合;最后对融合后的高频系数和低频系数进行NSCT逆变换得到最终的融合图像.本文选取了3组经典的红外与可见光图像进行融合实验,并且通过主观视觉和客观指标两个方面与其他几种方法作比较.实验结果证明了算法在突出目标信息、提高对比度、清晰度和保留纹理细节方面十分有效.     

基于SGWT和多显著性的红外与可见光图像融合

由于谱图小波变换（Spectral Graph Wavelet Transform, SGWT）可充分利用图像在图域中的光谱特性,本文结合其对不规则小区域表达的优势,提出了一种基于多显著性的红外与可见光融合算法。首先应用SGWT将源图像分解成一个低频子带和若干个高频子带;对于低频系数,将多个互补的低层特征结合起来,提出了一种适合人眼视觉特征的多显著性融合规则,对于高频系数,充分考虑邻域像素的相关性,提出了一种区域绝对值取大规则;最后,应用了一种加权最小二乘优化（weighted least squares, WLS）方法对谱图小波重构的融合图像进行优化,在突出显著目标的同时尽可能多地保留可见光的背景细节。实验结果表明,与DWT（Discrete Wavelet Transform）、NSCT（Non-down Sampled Contourlet Transform）等7种相关算法相比,在突出红外目标的同时还能保留更多的可见光背景细节,具有较好的视觉效果;同时在方差、熵、Q_abf和互信息量4个客观评价上也均占据优势。     

基于热辐射信息保留的图像融合算法

针对现有的红外与可见光图像融合算法无法很好地保留红外图像热辐射信息这一问题,提出了一种基于热辐射信息保留的图像融合算法.通过NSCT(non-subsampled contourlet transform)变换对红外与可见光图像进行多尺度分解,得到各自的高频子带和低频子带,可见光低频子带部分经拉普拉斯算子提取特征后与红...     

一种基于蚁狮最大熵算法与引导滤波的图像融合算法

传统红外与可见光图像融合算法中易出现目标提取不够充分、细节丢失等问题,导致融合效果不理想,从而无法应用于目标检测、跟踪或识别等领域。因此,该文提出一种基于蚁狮优化算法(ALO)改进的最大香农(Shannon)熵分割法结合引导滤波的红外与可见光图像融合方法。首先,使用蚁狮最大熵分割法(ALO-MES)对红外图像进行目标提取,然后,对红外和可见光图像使用非下采样剪切波变换(NSST),并对获得的低频和高频分量进行引导滤波。由提取的目标图像与增强后的红外和可见光低频分量通过低频融合规则得到低频融合系数,增强后的高频分量通过双通道脉冲发放皮层模型(DCSCM)得到高频融合系数,最后经NSST逆变换得到融合图像。实验结果表明,所提算法能够得到目标明确、背景信息清晰的融合图像。

     

基于优化PCNN与区域特征引导法则的图像融合

针对传统红外与可见光图像融合算法存在着边缘信息缺失、目标特征不够突出等问题,本文提出一种基于优化脉冲耦合神经网络(PCNN)与区域特征引导法则的红外与可见光图像融合算法.首先,对红外与可见光图像分别进行非下采样剪切波变换(NSST),获取相应的低频分量和高频分量.其次,低频分量采用基于优化PCNN模型的融合规则进行融合...     

基于NSCT域的动态WNMF图像融合算法的研究

在红外线与可见光图像的融合过程中，经常会出现融合图像细节方面缺失的情况。为了解决这一问题，采用了改进的非下采样轮廓波变换（NSCT）图像融合算法，融入动态的加权非负矩阵分解规则（WNMF），对图像进行融合处理。结果表明，利用非下采样轮廓波变换算法对两幅源图像进行多尺度多方向的分解，可得到低频与高频部分；动态的WNMF融合规则作为低频部分的融合规则；高频部分中最高层的分解尺度采用绝对值取大的方法；高频部分其它各层则设定匹配度阈值；低于阈值时，使用基于区域能量匹配度的区域方差选大的方法；如果高于阈值时，采用加权平均的方法进行；通过对低频部分与高频部分的处理，用NSCT逆变换方式获得了融合图像。该方法有效提高了融合图像清晰度，凸显了其细节信息，缩短了所需的计算时间。     

基于Shearlet变换的红外与可见光图像自适应融合

提出一种基于Shearlet变换的红外与可见光图像自适应融合算法。算法首先对待融合图像进行Shearlet变换;然而采用粒子群优化算法确定出低频成分的最佳融合权值,自适应地对红外与可见光图像的Shearlet低频系数进行整合,利用Shearlet变换对边缘、轮廓等细节特征的准确定位,采用加权局部能量最大准则对Shearlet高频系数进行融合;最后对融合系数进行逆Shearlet变换得到融合图像。与现有的部分算法进行对比实验,结果表明本文算法获得较好地融合效果。     

基于变分多尺度的红外与可见光图像融合

为解决变换域融合法对强噪声抑制能力差的问题,提出一种基于变分多尺度分解的红外与可见光图像融合方法.首先对待融合图像分别进行变分多尺度分解,获得纹理分量和结构分量.采用引导滤波的方法进行待融合图像的纹理分量融合,在结构分量融合上提出一种以相位一致性、清晰度、亮度综合信息来权衡融合权重的方法,最后将两幅图像融合后的纹理分量和结构分量相加获取最终融合图像.实验结果从主观观察和客观指标看,本文方法在清晰度和细节信息上比离散小波变换（discrete wavelet transform）法、非下采样轮廓波变换（non-subsampled contourlet transform）法、稀疏表示（sparse representation）法、剪切波变换（shearlet transform）法都要高.     

基于BEMD改进的视觉显著性红外和可见光图像融合

针对视觉显著性融合过程中目标对比度低,图像不够清晰的问题,本文提出一种基于二维经验模态分解(bidimensional empirical mode decomposition,BEMD)改进的Frequency Tuned算法。首先利用BEMD捕获红外图像的强点、轮廓信息用于指导生成红外图像的显著性图,然后将可见光图像和增强后的红外图像进行非下采样轮廓波变换(nonsubsampled contourlet transform,NSCT),对低频部分采用显著性图指导的融合规则,对高频部分采用区域能量取大并设定阈值的融合规则,最后进行逆NSCT变换生成融合图像并进行主观视觉和客观指标评价,结果表明本文方法实现了对原图像多层次、自适应的分析,相较于对比的方法取得了良好的视觉效果。