基于红外目标特征提取的图像融合方法

为有效突出红外目标,同时尽可能多地保留可见光图像中的纹理细节信息,使得最终的融合图像更符合人类视觉感知效果,本文提出一种新的基于红外目标特征提取的红外与可见光图像融合方法。首先,利用高斯滤波器将源图像分解为粗略尺度信息和边缘纹理细节信息;对红外图像的边缘纹理细节信息进行去“光晕”分解,在此基础上进一步利用OTSU多阈值分割算法将红外图像分割为目标区域、过渡区域和背景区域;最后,依据分割结果确定各分解子信息的融合权重,以有效地将红外目标信息注入到可见光图像中,同时尽可能多地保留可见光图像中重要的场景细节信息。实验结果表明,本文方法无论从主观视觉还是客观评价指标上,都要优于目前常用的有代表性的图像融合方法。      

基于滚动引导滤波的红外与可见光图像融合

为提高融合图像更加适应人类视觉感知,并解决可见光图像受光线、天气等影响而导致融合效果不佳的问题,本文提出了一种基于滚动引导滤波的可见光与红外图像融合方法。首先,利用引导滤波对可见光图像的内容进行增强,然后,利用滚动引导滤波将可见光和红外图像进行多尺度分解为小尺度层、大尺度层和基础层。在大尺度层的信息合成的过程中利用加权最小二乘法融合规则解决融合时可见光与红外图像不同特征带来的困扰,提高融合图像的视觉效果;在基础层的融合过程中采用优化的视觉显著图融合规则,减少对比度损失。最后,将大尺度层、小尺度层与基础层合并为融合后的图像。实验结果表明所给方法在提高视觉感知、细节处理、边缘保护等方面都有良好的效果。     

基于FRGF和改进PCNN的红外可见光图像融合

为解决图像融合中边缘细节保留不理想的问题,本文提出了一种快速滚动引导滤波器和改进脉冲耦合神经网络相结合的红外可见光图像融合方法。提出的快速滚动引导滤波器可以较好地在保留边缘、细节纹理信息的同时有效提高运行效率。首先,利用快速滚动引导滤波和高斯滤波对源图像进行多尺度分解;其次,为了使基础层图像更好地突出轮廓信息,采用相似性匹配的融合规则对图像进行融合;然后,细节层采用改进参数自适应脉冲耦合神经网络规则进行融合;最后,经过多尺度重构得到融合结果图。实验结果表明,与其它5种融合方法相比,该算法不仅在视觉效果上得到了提升,而且能够充分保存图像的边缘和纹理等信息,极大地提高了运行效率。另外,该方法在客观评价指标上均优于对比方法。     

NSST域红外和可见光图像感知融合

为了提高融合图像的视觉感知效果,提出一种非下采样剪切波变换(Non-Subsampled Shear Transform,NSST)域红外和可见光图像感知融合方法.首先采用NSST将源图像分解为高频和低频分量;接着采用参数自适应脉冲耦合神经网络(Parameter Adaptive Pulse Coupled Neural Network,PA-PCNN)融合高频分量图像,提高成像细节;然后联合使用高斯滤波器和双边滤波器进行多尺度变换以融合低频分量图像,将低频分量分解为多尺度纹理细节和边缘特征以捕获更多的多尺度红外光谱特征;最后利用NSST逆变换获取融合图像.实验结果表明,该方法不仅可以有效提高融合图像的细节信息,而且还能增强红外特征的提取能力以契合人体的视觉感知.     

基于双引导滤波的红外和可见光图像融合算法

图像融合是将多幅图像中有用或互补信息整合成一幅图像的过程。本文提出了一种基于引导滤波多尺度分解的红外和可见光图像融合算法。在传统的引导滤波图像融合算法的基础之上,利用双引导滤波器代替均值滤波器将源图像分解为小尺度纹理细节、大尺度边缘和基础图像;直接利用纹理细节及边缘层图像构建显著性映射图,用其代替额外的特征提取操作,可很好地突出源图像显著性信息的同时大大降低算法复杂度;利用显著性映射图、Sigmoid函数构造权重图,将源图像中具有视觉意义的信息注入到融合图像中;利用色彩模型转换融合方式,可更好保留图像的色彩信息。定性和定量实验结果证明,相比于传统的基于引导滤波的图像融合算法,本文算法的融合效果得到进一步提升。     

基于灰度变换与两尺度分解的夜视图像融合

为了获得更适合人感知的夜视融合图像,该文提出一种基于灰度变换与两尺度分解的夜视图像融合算法。首先,利用红外像素值作为指数因子对可见光图像进行灰度转换,在达到可见光图像增强的同时还使可见光与红外图像融合任务转换为同类图像融合。其次,通过均值滤波对增强结果与原始可见光图像进行两尺度分解。再次,运用基于视觉权重图的方法融合细节层。最后,综合这些结果重构出融合图像。由于该文方法在可见光波段显示结果,因此融合图像更适合视觉感知。实验结果表明,所提方法在视觉质量和客观评价方面优于其它5种对比方法,融合时间小于0.2 s,满足实时性要求。融合后图像背景细节信息清晰,热目标突出,同时降低处理时间。     

基于对比度增强与多尺度边缘保持分解的红外与可见光图像融合

在低照度环境下拍摄的可见光图像可视性较差,若将其与红外图像直接融合会导致融合结果清晰度不理想。针对这一问题,该文提出一种基于对比度增强与多尺度边缘保持分解的图像融合方法。首先,在融合之前采用基于导向滤波的自适应增强算法提高可见光图像中暗区内容的可视性。其次,通过一种尺度感知边缘保持滤波器对输入图像进行多尺度分解。再次,应用频率调谐滤波构造显著图。最后,利用由导向滤波生成的权重图重构融合图像。实验结果表明,所提方法不仅可以使细节信息更突出,而且还能够有效地抑制伪影。     

基于引导滤波二尺度分解的红外与可见光图像融合

为了降低多尺度分解融合算法的复杂性，并提高融合图像适应人类视觉特点，本文提出一种基于引导滤波二尺度分解的红外与可见光图像融合的方法。首先利用引导滤波对可见光图像实施增强的图像预处理，然后利用引导滤波将源图像分解为基础层和细节层。在细节层的融合规则中我们采用能量保护和细节提取的方法，最后将融合后的细节层与基础层合成融合结果。实验结果表明所给方法在提高视觉感知、细节处理、边缘保护等方面都有良好的效果。本文最后还讨论了可见光图像增强对融合方法的影响：从实验数据可知，增强可以提升融合效果，但在图像融合中融合方法才是关键。     

基于引导滤波二尺度分解的红外与可见光图像融合

为了降低多尺度分解融合算法的复杂性，并提高融合图像适应人类视觉特点，本文提出一种基于引导滤波二尺度分解的红外与可见光图像融合的方法。首先利用引导滤波对可见光图像实施增强的图像预处理，然后利用引导滤波将源图像分解为基础层和细节层。在细节层的融合规则中我们采用能量保护和细节提取的方法，最后将融合后的细节层与基础层合成融合结果。实验结果表明所给方法在提高视觉感知、细节处理、边缘保护等方面都有良好的效果。本文最后还讨论了可见光图像增强对融合方法的影响：从实验数据可知，增强可以提升融合效果，但在图像融合中融合方法才是关键。     

改进快速NSST的热烟羽红外与可见光图像融合

针对非下采样剪切波变换逐步划分子带过程中迭代滤波运算效率不高的问题,提出一种非下采样剪切波变换的快速分解重构方法。改进的分解方法根据分解的尺度卷积非下采样金字塔滤波器组中相应的滤波器,用卷积结果对源图像进行滤波,直接生成子带图像,在提高图像分解速度的同时,也相应减少分解迭代滤波的运算量。本文采用一种基于标准差的区域特性量测方法用于低频系数融合,突出低频系数中的轮廓信息;最高频系数融合采用能量取大的融合规则,其余高频系数通过结合改进的拉普拉斯能量和与梯度特性进行融合,使目标烟羽的边缘信息更加清晰。实验结果表明,融合后热烟羽图像目标细节清晰突出;综合客观评价指标来看,本文方法优于一些常用的红外与可见光图像融合方法。     

NSST框架下结合局部自适应亮度与DCAPCNN的双波段图像融合

针对现有红外与可见光图像融合后,易出现边缘平滑严重、纹理细节恢复不足、对比度低、显著目标不突出、部分信息缺失等问题,提出一种基于非下采样剪切波变换(non-subsampled shearlet transform,NSST)的红外与可见光双波段图像融合算法。首先,采用基于自适应引导滤波(adaptive guided filter,AGF)的方法对源红外、可见光图像增强。其次,利用NSST正变换分别对源红外与可见光图像分解,得到红外、可见光图像的低、高频子带分量。然后,分别通过基于局部自适应亮度(local adaptive intensity,LAI)与双通道自适应脉冲耦合神经网络(dual channel adaptive pulse coupled neural network,DCAPCNN)规则融合低、高频子带分量。最后,通过NSST逆变换得到最终融合图像。实验结果表明,本文算法整体对比度更适宜,对红外热目标及可见光背景的边缘与纹理的细节恢复性更好,融合图像信噪比高,有效结合了红外及可见光图像的各自优势,与现有传统图像融合与深度学习融合算法相比,本文算法达到了更好的实验效果,在主观视觉感知和客观指标评价中均具有更好的融合性能。     

基于双分支卷积神经网络的红外与可见光图像局部融合算法

红外图像和可见光图像均存在一定的局限性,依靠单个种类图像无法满足工程实际需求,可通过引入图像融合技术,获取高质量的融合图像。为更好保障输出信息特征的多样性,本文引入一种双分支卷积神经网络实现红外与可见光图像局部融合;在双分支卷积神经网络基础上,同时从红外图像、可见光图像得到跨渠道信息、渠道内信息种特征,增加了融合图像的信息量。采用整数小波变换方法进行图像压缩。建立颜色空间模型时,合理调节t因子的数值,获得理想的融合图像。实验结果表明,与现有方法相比,本方法融合后图像边缘信息得到充分保留,图像细节得到增强,红外与可见光图像融合效果更好。     

基于优化PCNN与区域特征引导法则的图像融合

针对传统红外与可见光图像融合算法存在着边缘信息缺失、目标特征不够突出等问题,本文提出一种基于优化脉冲耦合神经网络(PCNN)与区域特征引导法则的红外与可见光图像融合算法。首先,对红外与可见光图像分别进行非下采样剪切波变换(NSST),获取相应的低频分量和高频分量。其次,低频分量采用基于优化PCNN模型的融合规则进行融合;对于高频分量,利用图像的区域能量、改进空间频率和区域方差匹配度等特征,提出自适应的区域方差匹配度阈值和调节因子,构造区域特征引导法则完成融合。最后,对融合后的低高频分量进行NSST逆变换,获取融合图像。实验结果表明,本文算法可有效综合图像的优势信息,并在主观视觉和客观指标上均具有明显的优势。     

基于多尺度和注意力模型的红外与可见光图像融合

针对红外与可见光图像在融合后容易出现伪影,小目标轮廓不清晰等问题,提出一种基于多尺度特征与注意力模型相结合的红外与可见光图像融合算法。通过5次下采样提取源图像不同尺度的特征图,再将同一尺度的红外与可见光特征图输入到基于注意力模型的融合层,获得增强的融合特征图。最后把小尺度的融合特征图进行5次上采样,再与上采样后同一尺度的特征图相加,直到与源图像尺度一致,实现对特征图的多尺度融合。实验对比不同融合框架下融合图像的熵、标准差、互信息量、边缘保持度、小波特征互信息、视觉信息保真度以及融合效率,本文方法在多数指标上优于对比算法,且融合图像目标细节明显轮廓清晰。     

卷积神经网络结合NSST的红外与可见光图像融合

传统的多尺度红外与可见光图像融合方法,所提取的图像特征固定,并不能很好的应用于各类复杂的图像环境,而深度学习可以自主选择合适图像特征,改良特征提取单一性问题,因此提出一种基于卷积神经网络与非下采样剪切波变换（NSST）相结合的红外与可见光图像融合方法。首先,用卷积神经网络提取红外目标与背景的二分类图,利用调频（FT）显著性检测算法对分类图进行精准分割,同时,利用NSST将源图像多尺度、多方向进行分解;其次,利用目标显著性结合自适应模糊逻辑算法进行低频子带融合,利用高频系数局部方差对比度方法进行高频子带融合;最后,通过NSST逆变换得到融合后图像。实验结果表明:相比于传统图像融合算法,该方法在信息熵、平均梯度、空间频率、互信息和交叉熵等多个客观评价指标上至少分别提高了0.01%、0.30%、1.43%、2.32%、1.14%。一定程度提高了融合图像对比度,丰富了背景细节信息,更有利于人眼识别,可以广泛的应用于光电侦察、光电告警、多传感器信息融合等光电信息领域。     

基于NSCT和改进型PCNN的红外与可见光图像融合算法

针对现有红外与可见光图像融合算法中易出现目标信息丢失或减弱的情况,提出了一种基于非下采样Contourlet变换和改进型脉冲耦合神经网络的融合算法.该算法首先对经过预处理和图像配准后的红外和可见光图像进行非下采样Contourlet变换,分别得到两幅图像的高频系数和低频系数;其次,采用改进型脉冲耦合神经网络对源图像高频系数进行融合,用区域能量最大处理低频系数;最后,对融合后的系数进行非下采样Contourlet反变换,得到融合后的图像.实验结果表明,本文算法在主观视觉上显示了更多的图像细节信息,同时客观数据指标也有不同程度的提升.