基于红外目标特征提取的图像融合方法

为有效突出红外目标,同时尽可能多地保留可见光图像中的纹理细节信息,使得最终的融合图像更符合人类视觉感知效果,本文提出一种新的基于红外目标特征提取的红外与可见光图像融合方法。首先,利用高斯滤波器将源图像分解为粗略尺度信息和边缘纹理细节信息;对红外图像的边缘纹理细节信息进行去“光晕”分解,在此基础上进一步利用OTSU多阈值分割算法将红外图像分割为目标区域、过渡区域和背景区域;最后,依据分割结果确定各分解子信息的融合权重,以有效地将红外目标信息注入到可见光图像中,同时尽可能多地保留可见光图像中重要的场景细节信息。实验结果表明,本文方法无论从主观视觉还是客观评价指标上,都要优于目前常用的有代表性的图像融合方法。      

联合信息增强与生成对抗网络的红外与可见光图像融合

为克服红外与可见光图像的融合结果图边缘模糊、细节信息表征不足及亮度较低的问题,提出了联合信息增强与生成对抗网络(Generative Adversarial Network, GAN)的红外与可见光图像融合方法。基于自适应直方图划分和亮度校正算法被用来增强红外图像的显著对比度。多尺度Retinex算法(MSR)被用来增强可见光图像的纹理细节,同时调整可见光图像的亮度。增强后的红外与可见光图像被输入GAN进行训练,训练好的模型可以完成端到端图像融合任务。仿真实验结果表明所提算法在EN (信息熵)和SD(标准差)指标上具有明显优势。     

基于BMA滤波器和边缘的红外与可见光图像融合

目前基于多尺度分解的图像融合算法存在以下问题:1)多尺度分解时,图像边缘被平滑;2)融合结果中红外显著区域的对比度降低;3)小尺度细节受到抑制,在融合图像中显示不清晰。为解决上述问题,本文提出了一种基于BMA(Bayesian model averaging)滤波器和边缘的图像融合算法。首先,利用BMA滤波器分别对红外与可见光图像进行多尺度分解;其次,分别利用显著性提取和边缘权值映射算法,计算各基层和细节层的融合权值矩阵;最后通过图像重构获得融合图像。实验证明,该融合算法优于传统的图像融合算法。     

基于二维经验模态分解和高斯模糊逻辑的红外与可见光图像融合

针对传统多尺度图像融合方法容易损失可见光图 像细节、弱化红外目标信息和降低图像对比度的 问题,基于二维经验模态分解(BEMD)和高斯模糊逻辑(GFL)的特性,提出了一种红 外与可见光 图像融合的算法。首先,使用BEMD对源图像进行分解,得到图像的本征模(高频成分)和 趋势项(低频 成分);其次,用GFL对趋势项进行恰当的融合,使用基于邻域特征的区域对比度法融合图 像的本征模; 最后,通过BEMD逆变换得到融合图像。实验结果表明,与传统的多尺度融合方法相比,在 主观上视觉上, 本文融合算法能够更有效地保留源可见光图像中的细节信息,并突出红外图像中的目标信息 ,提高融合图 像的质量;在客观评价指标上,本文融合算法的结果在信息熵(IE)、标准差(SD)、平均梯度(AG)、互 信息(MI)和空间频率(SF)5个客观指标上明显优于传统的多尺度融合方法。     

利用结构化和一致性约束的稀疏表示模型进行红外和可见光图像融合

红外和可见光图像融合作为图像融合技术中一个重要组成部分,被广泛应用于军事、工业和生活领域。它能够集成两种模态图像的互补信息,融合成一幅信息丰富、质量较好的图像,不仅能够突出目标信息,还能够保持源有图像的纹理信息和一些显著性的细节。本文提出一种新的红外和可见光图像融合方法,在鲁棒稀疏表示模型的基础上增加了结构化稀疏约束,同时结合了图像区域特征相似的一致性约束项,克服现有一些方法所存在的局部模糊和纹理细节丢失等问题,提高了图像融合的精度。本文主要构建了结构化稀疏表示与一致性约束模型,将其应用到红外和可见光图像融合中并进行了求解,将源图像分解为背景信息和显著性信息,再对背景和显著性信息分别设计融合规则,最后利用字典进行重构,获得红外和可见光融合后的图像。实验结果表明,本文提出的融合算法优于现有的一些多聚焦图像融合算法。      

基于显著性检测与MDLatLRR分解的红外与可见光图像融合

针对红外与可见光图像融合过程中细节信息的缺失、融合结果对比度较低等问题,提出一种基于显著性检测与多层潜在低秩表示的红外与可见光图像融合方法。首先,使用基于显著性检测的方法对红外与可见光图像进行预融合;然后,使用多层潜在低秩表示方法依次将红外图像、可见光图像和预融合图像分解为低秩层和细节层;其中细节层采用结构相似性和L2范数相结合的方法进行融合,低秩层使用基于能量属性的方法进行融合;最后,将低秩层和细节层的融合结果重构便得到最终的融合图像。文中将该方法与11种具有代表性的图像融合方法进行了评估比较,通过对比多组融合图像的主客观评价,其结果表明,相较于对比方法,本方法能够保留红外与可见光图像融合过程中源图像的有效细节,且融合结果具有较高的对比度,更符合人们的视觉理解。     

基于PIE和CGAN的无人农机红外与可见光图像融合

为了使无人农机在复杂环境的生产过程中及时感知环境信息，避免安全事故发生，本文提出了一种PIE(Poisson Image Editing)和CGAN(Conditional Generative Adversarial Networks)相结合的红外与可见光图像融合算法。首先，利用红外图像及其对应的红外图像显著区域对CGAN网络进行训练；然后，将红外图像输入训练好的网络，即可得到显著区域掩膜；在对其进行形态学优化后进行基于PIE的图像融合；最后，对融合结果进行增强对比度处理。该算法可以实现快速图像融合，满足无人农机实时感知环境的需求，并且该算法保留了可见光图像的细节信息，又能突出红外图像中行人和动物等重要信息，在标准差、信息熵等客观指标上表现良好。     

基于PIE和CGAN的无人农机红外与可见光图像融合

为了使无人农机在复杂环境的生产过程中及时感知环境信息，避免安全事故发生，本文提出了一种PIE(Poisson Image Editing)和CGAN(Conditional Generative Adversarial Networks)相结合的红外与可见光图像融合算法。首先，利用红外图像及其对应的红外图像显著区域对CGAN网络进行训练；然后，将红外图像输入训练好的网络，即可得到显著区域掩膜；在对其进行形态学优化后进行基于PIE的图像融合；最后，对融合结果进行增强对比度处理。该算法可以实现快速图像融合，满足无人农机实时感知环境的需求，并且该算法保留了可见光图像的细节信息，又能突出红外图像中行人和动物等重要信息，在标准差、信息熵等客观指标上表现良好。     

基于对比度金字塔与双边滤波的非对称红外与可见光图像融合

为了同时保留红外图像的特征信息和可见光图像的细节信息,提出了一种基于对比度金字塔的非对称红外与可见光图像融合方法。首先,使用对比度金字塔对红外与可见光图像进行高频与低频信息分解,然后对高频部分采用绝对值取大方法进行融合,对于低频部分采用基于双边滤波的方法对红外与可见光图像进行非对称的处理;其次,使用对比度金字塔的逆变换得到融合后图像。对融合图像进行主观视觉和客观指标评价,结果表明该算法在突出目标特征信息和保留细节特征方面表现优异。     

双波段红外图像的对比度增强融合

为了抑制在处理双波段红外图像融合时低对比度图像细节信息丢失导致漏警的问题,在基于WLS边缘保持平滑的基础上,提出了一种多尺度对比度增强的融合算法。通过边缘保持平滑,提取不同尺度的细节分量,从而实现对比度在不同空间频率上的增强;为了进一步消除图像光晕现象,采用非下采样方向滤波,使多分辨率变换同时具有方向性。实验结果表明,本算法能够使融合图像包含输入图像更多的互补信息,图像细节更加清晰,较大地提高了红外弱小目标的对比度。Abstract：关键词：Key words：     

基于显著性映射与兴趣点凸壳的图像融合算法

提出了一种基于显著性特征的可见光与红外图像融合算法来改善目标的融合质量.引入显著检测器对红外图像进行处理,生成显著映射;进一步分析红外图像并检测兴趣点,提取图像中的显著兴趣点;通过计算显著兴趣点的凸壳确定显著区域;利用显著兴趣点凸壳对初始显著映射进行优化,使目标定位更加精确.根据区域映射获取可见光图像的背景区域;根据不同的融合准则对目标、背景区域进行融合,获得最终的融合图像.结果表明与当前可见光图像融合技术相比,所提算法在标准差、联合熵与边缘信息因子等指标方面具有优势,其融合图像的细节纹理更清晰.     

自注意力引导的红外与可见光图像融合算法

为确保源图像中的显著区域在融合图像保持显著,提出了一种自注意力引导的红外与可见光图像融合方法。在特征学习层引入自注意力学习机制获取源图像的特征图和自注意力图,利用自注意力图可以捕获到图像中长距离依赖的特性,设计平均加权融合策略对源图像的特征图进行融合,最后将融合后的特征图进行重构获得融合图像。通过生成对抗网络实现了图像特征编码、自注意力学习、融合规则和融合特征解码的学习。TNO真实数据上的实验表明,学习到注意力单元体现了图像中显著的区域,能够较好地引导融合规则的生成,提出的算法在客观和主观评价上优于当前主流红外与可见光图像融合算法,较好地保留了可见光图像的细节信息和红外图像的红外目标信息。     

一种基于EASSF的红外与可见光图像视觉保真度融合

最近,多尺度特征提取被广泛应用于红外与可见光图像融合领域,但是大多数提取过程过于复杂,并且视觉效果不佳。为了提高融合结果的视觉保真度,本文提出一种基于边缘感知平滑锐化滤波器（Edge-Aware Smoothing-Sharpening Filter,EASSF）的多尺度图像融合模型。首先,提出一种基于EASSF的多尺度水平图像分解方法对源图像进行分解,得到水平方向上的多尺度纹理成分和基础成分;其次,采用最大值融合规则（Max-Fusion, MF）融合纹理成分,避免图像细节信息的丢失;然后,通过一种感知融合规则（Perceptual-Fusion, PF）融合基础成分,捕获显著性目标信息;最后,通过整合融合后的多尺度纹理成分和基础成分得到融合图像。实验通过分析感知融合系数,对比融合结果的客观数据得出红外与可见光图像融合在多尺度EASSF下较为合适的取值范围;在该取值范围内,本文提出的融合模型同一些较为经典和流行的融合方法相比,不仅解决了特征信息提取的复杂性,而且通过整合基础成分的显著性光谱信息,有效地保证了融合结果的视觉保真度。     

一种改进的基于多尺度变换的红外和可见光图像融合算法

提出了一种改进的基于多尺度变换的红外和可见光图像融合算法.首先,用形态学帽变换对两幅已经配准的红外图像和可见光图像进行处理,然后将处理后的图像分别进行轮廓波分解得到一系列的高频图像和低频图像.由于高频图像和低频图像特点的不同,对高频图像采用平均梯度进行融合,对低频图像采用PCA的方法进行融合.实验表明,该方法很好地结合了形态学帽变换、主成分PCA算法和轮廓波变换的优点.与传统的融合方法相比,提出的融合方法可以提供丰富的图像信息和清晰纹理细节,且很好地保证了主要目标的亮度基本不变.     

可见光与红外图像增强融合算法研究

提出了自适应图像增强算法，用于可见光和红外图像的融合。首先对输入的可见光图像和红外图像进行自适应增强，然后采用基于图像空间能量窗及归一化互相关测度构造融合图像，利用图像的信息熵评估算法的融合效果，最后给出了一组可见光和红外图像融合的试验结果，表明该算法十分有效，融合图像有丰富的互补信息，有利于人眼观察和目标识别。     

卷积神经网络结合NSST的红外与可见光图像融合

传统的多尺度红外与可见光图像融合方法,所提取的图像特征固定,并不能很好的应用于各类复杂的图像环境,而深度学习可以自主选择合适图像特征,改良特征提取单一性问题,因此提出一种基于卷积神经网络与非下采样剪切波变换（NSST）相结合的红外与可见光图像融合方法。首先,用卷积神经网络提取红外目标与背景的二分类图,利用调频（FT）显著性检测算法对分类图进行精准分割,同时,利用NSST将源图像多尺度、多方向进行分解;其次,利用目标显著性结合自适应模糊逻辑算法进行低频子带融合,利用高频系数局部方差对比度方法进行高频子带融合;最后,通过NSST逆变换得到融合后图像。实验结果表明:相比于传统图像融合算法,该方法在信息熵、平均梯度、空间频率、互信息和交叉熵等多个客观评价指标上至少分别提高了0.01%、0.30%、1.43%、2.32%、1.14%。一定程度提高了融合图像对比度,丰富了背景细节信息,更有利于人眼识别,可以广泛的应用于光电侦察、光电告警、多传感器信息融合等光电信息领域。     

基于潜在低秩表示的红外和可见光图像融合

红外和可见光图像融合广泛应用于目标跟踪、检测和识别等领域。为了保留细节的同时增强对比度,本文提出一种基于潜在低秩表示的红外和可见光图像融合方法。潜在低秩分解将源图像分解为基层和显著层,其中基层包含主要内容和结构信息,显著层包含能量相对集中的局部区域。进一步利用比例金字塔分解得到低频和高频的基层子带,并针对不同层的特点设计对应的融合规则。利用稀疏表示表达低频基层较分散的能量,设计L1范数最大和稀疏系数最大规则,加权平均融合策略保留不同的显著特征;绝对值最大增强高频基层的对比度信息;而显著层则利用局部方差度量局部显著性,加权平均方式突出对比度较强的目标区域。在TNO数据集上的定性和定量实验分析表明方法具有良好的融合性能。基于低秩分解的方法能够增强红外和可见光融合图像中目标对比度的同时保留了丰富的细节信息。     

红外光强与偏振图像多类拟态变元组合融合

现有红外光强与偏振图像融合算法不能根据图像差异特征变化动态调整融合算法,造成图像部分差异特征融合效果不理想甚至失效。根据拟态仿生学思想,借鉴拟态章鱼的多拟态过程,提出一种红外光强与偏振图像多类拟态变元组合融合方法。首先,分析拟态章鱼的多拟态过程,剖析其多拟态原因;其次,寻找多拟态过程与图像融合过程之间的对应关系,并确定图像融合过程的多类变元类型;最后,建立面向图像融合的多类变元组合关系并利用该关系进行图像融合。实验结果表明:所得融合图像的信息熵、标准差、边缘强度、平均梯度、清晰度方面平均提升1.16%、7.25%、3.00%、0.31%、10.18%。该方法的建立可以使融合算法内变元组内变元选择和组合根据原始图像差异特征变化而进行动态调整,从而得到具有针对性的融合算法。     

一种新的红外与可见光图像像素级融合方法

提出了一种使用指导性滤波进行像素级图像融合的方法。首先对红外图像进行最大值滤波处理以获取其中的高亮信息;然后使用原始红外图像作为指导图像对高亮部分做滤波,处理结果直接叠加在可见光图像上;最后将叠加图像进行伽玛校正以调整对比度,得到最终融合输出。实验结果表明:该算法能够充分利用红外与可见光图像各自的优势,融合效果较好,且计算复杂度低,易于实时处理。     

基于区域间相似度的红外与可见光图像融合算法研究

针对传统的红外图像与可见光图像融合算法存在局部模糊、背景信息不完整的问题,文章提出了一种新的融合算法。使用边缘检测算子实现图像轮廓的提取,同时还进行基于能量的加权融合处理;使用区域间相似度的方法实现信号域的提取,最后根据过信号强度进行图像的融合。为了验证算法的正确性,文章进行了对比测试,同时还使用标准差、信息熵和平均梯度3个参数进行了定量分析,本文方法和传统的加权平均算法相比标准差最大提高106.3%,测试结果表明,本文提出的融合方法融合效果更好,具有一定的实用价值。