基于改进生成对抗网络模型的红外与可见光图像融合

为增强融合图像的视觉效果,减少计算的复杂度,解决传统红外与可见光图像融合算法存在的背景细节丢失问题,提出了一种生成对抗网络框架下基于深度可分离卷积的红外与可见光图像融合方法。首先,在生成器中对源图像进行深度卷积与逐点卷积运算,得到源图像的特征映射信息;其次,通过前向传播的方式更新网络参数,得到初步的单通道融合图像;再次,在红外及可见光判别器中,使用深度可分离卷积分别对源图像与初步融合图像进行像素判别;最后,在损失函数的约束下,双判别器不断将更多的细节信息添加到融合图像中。实验结果表明,相比于传统的融合算法,该方法在信息熵、平均梯度、空间频率、标准差、结构相似性损失和峰值信噪比等评价指标上分别平均提高了1.63%、1.02%、3.54%、5.49%、1.05%、0.23%,在一定程度上提升了融合图像的质量,丰富了背景的细节信息。     

自注意力引导的红外与可见光图像融合算法

为确保源图像中的显著区域在融合图像保持显著,提出了一种自注意力引导的红外与可见光图像融合方法。在特征学习层引入自注意力学习机制获取源图像的特征图和自注意力图,利用自注意力图可以捕获到图像中长距离依赖的特性,设计平均加权融合策略对源图像的特征图进行融合,最后将融合后的特征图进行重构获得融合图像。通过生成对抗网络实现了图像特征编码、自注意力学习、融合规则和融合特征解码的学习。TNO真实数据上的实验表明,学习到注意力单元体现了图像中显著的区域,能够较好地引导融合规则的生成,提出的算法在客观和主观评价上优于当前主流红外与可见光图像融合算法,较好地保留了可见光图像的细节信息和红外图像的红外目标信息。     

基于边缘保持和注意力生成对抗网络的红外与可见光图像融合

由于红外与可见光图像特征差异大,并且不存在理想的融合图像监督网络学习源图像与融合图像之间的映射关系,深度学习在图像融合领域的应用受到了限制。针对此问题,提出了一个基于注意力机制和边缘损失函数的生成对抗网络框架,应用于红外与可见光图像融合。通过引入对抗训练和注意力机制的思想,将融合问题视为源图像和融合图像对抗的关系,并结合了通道注意力和空间注意力机制学习特征通道域和空间域的非线性关系,增强了显著性目标特征表达。同时提出了一种边缘损失函数,将源图像与融合图像像素之间的映射关系转化为边缘之间的映射关系。多个数据集的测试结果表明,该方法能有效融合红外目标和可见光纹理信息,锐化图像边缘,显著提高图像清晰度和对比度。     

基于空间多尺度残差网络的红外与可见光图像融合

针对如何充分提取和融合红外与可见光图像典型特征的问题,提出一种基于空间多尺度残差网络的图像融合算法。首先,将源图像输入基于空间多尺度残差模块组成的编码器网络,通过源图像重建任务,训练编码器自动获取重要特征信息的能力;然后,引入特征金字塔结构,设计了特征通道自注意力机制,编码器输出的基础层和细节层进行融合,减小尺度噪声,并由解码器重构出融合图像;最后,利用公开数据集进行定性和定量实验,证明了改进算法在突出红外图像目标和保留可见光图像纹理细节两方面的优势,相比于DDcGAN算法,新算法的标准差和平均梯度分别提升了12.91%和47.41%。     

一种基于生成对抗网络与注意力机制的可见光和红外图像融合方法

针对低照度可见光图像中目标难以识别的问题,提出了一种新的基于生成对抗网络的可见光和红外图像的融合方法,该方法可直接用于RGB三通道的可见光图像和单通道红外图像的融合.在生成对抗网络中,生成器采用具有编码层和解码层的U-Net结构,判别器采用马尔科夫判别器,并引入注意力机制模块,使得融合图像可以更关注红外图像上的高强度信...     

联合信息增强与生成对抗网络的红外与可见光图像融合

为克服红外与可见光图像的融合结果图边缘模糊、细节信息表征不足及亮度较低的问题,提出了联合信息增强与生成对抗网络(Generative Adversarial Network, GAN)的红外与可见光图像融合方法。基于自适应直方图划分和亮度校正算法被用来增强红外图像的显著对比度。多尺度Retinex算法(MSR)被用来增强可见光图像的纹理细节,同时调整可见光图像的亮度。增强后的红外与可见光图像被输入GAN进行训练,训练好的模型可以完成端到端图像融合任务。仿真实验结果表明所提算法在EN (信息熵)和SD(标准差)指标上具有明显优势。     

基于互信息特征分离表达的红外与可见光图像融合

针对红外与可见光图像融合方法存在的对源图像特征分离不充分、可解释性低且融合规则难以准确设计等问题，提出基于互信息特征分离表达的红外与可见光图像融合方法，有效分离特征的同时保留源图像的典型信息。首先，采用互信息约束的编码网络提取特征，最大化源图像与特征间互信息来保留源图像的特征表示，同时通过最小化私有和公有特征的互信息来达到分离表达的目的；其次，特征融合阶段设计了层级特征自适应融合模块来有效融合不同层级的特征信息，减小语义差距并调整感受野，增强网络对特征的学习能力；此外，损失函数采用软加权强度损失来平衡红外与可见光特征分布；最后，对比实验的主客观评价结果表明，所提方法能有效融合红外与可见光图像的重要信息，具有良好的视觉感知。     

基于注意力机制的残差密集网络红外/可见光图像融合

针对弹载武器可见光图像与红外融合高层特征融合不足,目标细节表现不突出导致打击目标检测失败的问题,提出了一种基于注意力机制的残差密集网络的红外与可见光图像融合模型。受残差网络和密集网络的启发,设计了一种基于残差密集网络的图像融合算法解决融合图像细节纹理信息不足的问题。采用注意力机制有效提取目标特征区域的关键信息,通过局部残差融合和全局残差融合算法保留目标的纹理细节。此外,为了更好地保留可见光图像中的细节纹理,对目标细节特征发现时增强特征抑制。实验证明,该算法能够增强目标细节特征,同时有效保存了其轮廓信息,与不采用注意机制提高相比,融合精度提高了5%,运算量下降2%左右。     

基于三分支对抗学习和补偿注意力的红外和可见光图像融合

针对现有深度学习图像融合方法依赖卷积提取特征,并未考虑源图像全局特征,融合结果容易产生纹理模糊、对比度低等问题,本文提出一种基于三分支对抗学习和补偿注意力的红外和可见光图像融合方法。首先,生成器网络采用密集块和补偿注意力机制构建局部-全局三分支提取特征信息。然后,利用通道特征和空间特征变化构建补偿注意力机制提取全局信息,更进一步提取红外目标和可见光细节表征。其次,设计聚焦双对抗鉴别器,以确定融合结果和源图像之间的相似分布。最后,选用公开数据集TNO和RoadScene进行实验并与其他9种具有代表性的图像融合方法进行对比,本文提出的方法不仅获得纹理细节更清晰、对比度更好的融合结果,而且客观度量指标优于其他先进方法。     

基于多尺度局部极值分解与ResNet152的红外与可见光图像融合

为了进一步提升红外与可见光图像融合方法的性能 ,本文提出了一种基于多尺度局部极值分解与深度学习网络ResNet152的红外与可见光图像融合方法。首先,利用多尺度局部极值分解 (multiscale local extrema decomposition,MLED)方法将源图像分解为近似图像和细节图 像,分离 出源图像中重叠的重要特征信息。然后采用残差网络ResNet152深度提取源图像的多维显著 特征, 以l₁-范数作为活性测度生成显著特征图,对近似图像进行加权平均融合,以保持能量和残 留细节 信息不丢失。在细节图像中,利用“系数绝对值取大”规则获得初始决策图,源图像作为引 导图像, 初始决策图作为输入图像进行引导滤波处理,得到优化决策图,计算加权局部能量得到能量 显著 图,对细节图像进行加权平均融合,使融合图像具有丰富的纹理细节和良好的视觉边缘感知 。最 后,对近似融合图像和细节融合图像进行重构,得到融合图像。实验结果表明,与现有的典 型融 合方法相比,本文所提出的融合方法在客观评价和视觉感受方面都取得了最好的效果。     

红外与可见光图像多特征自适应融合方法

由于成像机理不同,红外图像以像素分布表征典型目标,而可见光图像以边缘和梯度描述纹理细节,现有的融合方法不能依据源图像特征自适应变化,造成融合结果不能同时保留红外目标特征与可见光纹理细节。为此,本文提出红外与可见光图像多特征自适应融合方法。首先,构建了多尺度密集连接网络,可以有效聚合所有不同尺度不同层级的中间特征,利于增强特征提取和特征重构能力。其次,设计了多特征自适应损失函数,采用VGG-16网络提取源图像的多尺度特征,以像素强度和梯度为测量准则,以特征保留度计算特征权重系数。多特征自适应损失函数监督网络训练,可以均衡提取源图像各自的特征信息,从而获得更优的融合效果。公开数据集的实验结果表明,该方法在主、客观评价方面均优于其他典型方法。     

基于FRGF和改进PCNN的红外可见光图像融合

为解决图像融合中边缘细节保留不理想的问题,本文提出了一种快速滚动引导滤波器和改进脉冲耦合神经网络相结合的红外可见光图像融合方法。提出的快速滚动引导滤波器可以较好地在保留边缘、细节纹理信息的同时有效提高运行效率。首先,利用快速滚动引导滤波和高斯滤波对源图像进行多尺度分解;其次,为了使基础层图像更好地突出轮廓信息,采用相似性匹配的融合规则对图像进行融合;然后,细节层采用改进参数自适应脉冲耦合神经网络规则进行融合;最后,经过多尺度重构得到融合结果图。实验结果表明,与其它5种融合方法相比,该算法不仅在视觉效果上得到了提升,而且能够充分保存图像的边缘和纹理等信息,极大地提高了运行效率。另外,该方法在客观评价指标上均优于对比方法。     

NSST框架下结合局部自适应亮度与DCAPCNN的双波段图像融合

针对现有红外与可见光图像融合后,易出现边缘平滑严重、纹理细节恢复不足、对比度低、显著目标不突出、部分信息缺失等问题,提出一种基于非下采样剪切波变换(non-subsampled shearlet transform,NSST)的红外与可见光双波段图像融合算法。首先,采用基于自适应引导滤波(adaptive guided filter,AGF)的方法对源红外、可见光图像增强。其次,利用NSST正变换分别对源红外与可见光图像分解,得到红外、可见光图像的低、高频子带分量。然后,分别通过基于局部自适应亮度(local adaptive intensity,LAI)与双通道自适应脉冲耦合神经网络(dual channel adaptive pulse coupled neural network,DCAPCNN)规则融合低、高频子带分量。最后,通过NSST逆变换得到最终融合图像。实验结果表明,本文算法整体对比度更适宜,对红外热目标及可见光背景的边缘与纹理的细节恢复性更好,融合图像信噪比高,有效结合了红外及可见光图像的各自优势,与现有传统图像融合与深度学习融合算法相比,本文算法达到了更好的实验效果,在主观视觉感知和客观指标评价中均具有更好的融合性能。     

红外与可见光图像注意力生成对抗融合方法研究

目前,基于深度学习的融合方法依赖卷积核提取局部特征,而单尺度网络、卷积核大小以及网络深度的限制无法满足图像的多尺度与全局特性.为此,本文提出了红外与可见光图像注意力生成对抗融合方法.该方法采用编码器和解码器构成的生成器以及两个判别器.在编码器中设计了多尺度模块与通道自注意力机制,可以有效提取多尺度特征,并建立特征通道长...     

基于LatLRR与NSP分解的红外与可见光图像融合北大核心CSCD

针对现有红外与可见光图像融合过程中存在的图像对比度低、红外特征不明显等问题,提出了一种基于非采样金字塔滤波(Nonsubsampled Pyramid,NSP)与潜在低秩表示(Latent Low Rank Representation,LatLRR)分解的红外与可见光图像融合算法。首先,对红外与可见光图像进行分解,采用NSP分解提取源图像的低频信息,LatLRR分解提取源图像的局部结构信息;其次,根据红外低频信息与可见光低频信息的特征及融合结果图像中低频分量占比,利用红外像素强度权重调控策略完成对低频信息的融合,同时,为使红外与可见光的局部结构信息在融合时保持均衡,使用基于像素灰度值求和的策略进行1∶1融合;最后,图像重构中引入非线性变换思想,使局部结构信息与低频信息有更加完美的契合。实验结果表明,融合结果图像在极大保留红外特征的同时又能兼顾可见光图像中的细节信息,该算法能够对红外与可见光图像进行有效融合。     

基于方向导波增强的红外与可见光图像融合

为提高融合图像的视觉效果,并解决可见光图像受光线、天气等影响而成像不清导致的夜视背景弱的问题,本文基于方向导波提出了一种可见光与红外线图像的融合方法。首先,利用方向导波对可见光图像的内容进行增强,然后,利用方向导波的多尺度分解将可见光和红外线图像进行分解后再分别合成为小尺度层、大尺度层和基础层。在大尺度层的信息合成的过程中利用视觉基础上的正则参数将红外线图像的信息加入到可见光图像中去;在基础层的融合过程中采用基于能量保护与细节提取的融合规则。最后,将大尺度层、小尺度层与基础层合并为融合后的图像。实验结果表明所给方法在提高夜视背景、细节处理、能量保护等方面都有良好的效果。     

基于显著性检测的不同视角下红外与可见光图像融合

融合红外图像的热源目标和可见光图像的清晰背景可以实现低照度条件下与场景关联的异常行为识别。现有以特征匹配为主的融合方法,受监控场景下可见光与红外成像的尺度、视角、目标特性等差异影响,配准及融合效率及准确性受限。针对该问题,本文提出了基于显著性检测的不同视角下红外与可见光图像融合方法。通过预设热敏感目标,计算可见光与红外的视场转换模型,预先配准红外与可见光视场。使用Mask R-CNN网络提取红外图像中的行人目标显著性区域,根据视场转换模型点将每个目标区域与可见光图像局部融合。最后,通过违规入侵行为辨识为目标进行实验验证。实验表明,论文提出的融合方法能够有效地将红外图像的热敏目标信息与可见光的场景进行融合,可以准确地判断是否发生违规入侵行为。     

基于二维经验模态分解和高斯模糊逻辑的红外与可见光图像融合

针对传统多尺度图像融合方法容易损失可见光图 像细节、弱化红外目标信息和降低图像对比度的 问题,基于二维经验模态分解(BEMD)和高斯模糊逻辑(GFL)的特性,提出了一种红 外与可见光 图像融合的算法。首先,使用BEMD对源图像进行分解,得到图像的本征模(高频成分)和 趋势项(低频 成分);其次,用GFL对趋势项进行恰当的融合,使用基于邻域特征的区域对比度法融合图 像的本征模; 最后,通过BEMD逆变换得到融合图像。实验结果表明,与传统的多尺度融合方法相比,在 主观上视觉上, 本文融合算法能够更有效地保留源可见光图像中的细节信息,并突出红外图像中的目标信息 ,提高融合图 像的质量;在客观评价指标上,本文融合算法的结果在信息熵(IE)、标准差(SD)、平均梯度(AG)、互 信息(MI)和空间频率(SF)5个客观指标上明显优于传统的多尺度融合方法。