基于注意力机制的残差密集网络红外/可见光图像融合

针对弹载武器可见光图像与红外融合高层特征融合不足,目标细节表现不突出导致打击目标检测失败的问题,提出了一种基于注意力机制的残差密集网络的红外与可见光图像融合模型。受残差网络和密集网络的启发,设计了一种基于残差密集网络的图像融合算法解决融合图像细节纹理信息不足的问题。采用注意力机制有效提取目标特征区域的关键信息,通过局部残差融合和全局残差融合算法保留目标的纹理细节。此外,为了更好地保留可见光图像中的细节纹理,对目标细节特征发现时增强特征抑制。实验证明,该算法能够增强目标细节特征,同时有效保存了其轮廓信息,与不采用注意机制提高相比,融合精度提高了5%,运算量下降2%左右。     

结合信息感知与多尺度特征的红外与可见光图像融合

现有的基于深度学习图像融合算法无法同时满足融合效果与运算效率,且在建模过程中大部分采用基于单一尺度的融合策略,无法很好地提取源图像中上下文信息。为此本文提出了一种基于信息感知与多尺度特征结合的端到端图像融合网络。该网络由编码器、融合策略和解码器组成。具体来说,通过编码器提取红外与可见光图像的多尺度特征,并设计特征增强融合模块来融合多个尺度的不同模态特征,最后设计了一个轻量级的解码器将不同尺度的低级细节与高级语义信息结合起来。此外,利用源图像的信息熵构造一个信息感知损失函数来指导融合网络的训练,从而生成具有丰富信息的融合图像。在TNO、MSRS数据集上对提出的融合框架进行了评估实验。结果表明：与现有的融合方法相比,该网络具有较高计算效率;同时在主观视觉评估和客观指标评价上都优于其它方法。     

基于多尺度局部极值分解与ResNet152的红外与可见光图像融合

为了进一步提升红外与可见光图像融合方法的性能 ,本文提出了一种基于多尺度局部极值分解与深度学习网络ResNet152的红外与可见光图像融合方法。首先,利用多尺度局部极值分解 (multiscale local extrema decomposition,MLED)方法将源图像分解为近似图像和细节图 像,分离 出源图像中重叠的重要特征信息。然后采用残差网络ResNet152深度提取源图像的多维显著 特征, 以l₁-范数作为活性测度生成显著特征图,对近似图像进行加权平均融合,以保持能量和残 留细节 信息不丢失。在细节图像中,利用“系数绝对值取大”规则获得初始决策图,源图像作为引 导图像, 初始决策图作为输入图像进行引导滤波处理,得到优化决策图,计算加权局部能量得到能量 显著 图,对细节图像进行加权平均融合,使融合图像具有丰富的纹理细节和良好的视觉边缘感知 。最 后,对近似融合图像和细节融合图像进行重构,得到融合图像。实验结果表明,与现有的典 型融 合方法相比,本文所提出的融合方法在客观评价和视觉感受方面都取得了最好的效果。     

基于局部能量的NSCT域红外与可见光图像融合算法

提出了一种基于非下采样Contourlet变换(NSCT)的红外与可见光图像融合方法。首先对红外和可见光源图像进行多尺度、多方向分解;在低频系数上,采用基于局部能量比与基于局部能量加权相结合的方法进行融合;在高频系数上,定义了局部尺度方差的概念,并以局部尺度方差为测度进行取大融合;最后对融合系数进行重构得到融合图像。使用该算法对两类不同目的的红外与可见光图像进行了融合实验,实验结果表明,文中提出的算法在保留图像细节信息、增加信息量、方便目标检测方面都有显著地提高。     

基于多尺度和注意力模型的红外与可见光图像融合

针对红外与可见光图像在融合后容易出现伪影,小目标轮廓不清晰等问题,提出一种基于多尺度特征与注意力模型相结合的红外与可见光图像融合算法。通过5次下采样提取源图像不同尺度的特征图,再将同一尺度的红外与可见光特征图输入到基于注意力模型的融合层,获得增强的融合特征图。最后把小尺度的融合特征图进行5次上采样,再与上采样后同一尺度的特征图相加,直到与源图像尺度一致,实现对特征图的多尺度融合。实验对比不同融合框架下融合图像的熵、标准差、互信息量、边缘保持度、小波特征互信息、视觉信息保真度以及融合效率,本文方法在多数指标上优于对比算法,且融合图像目标细节明显轮廓清晰。     

红外与可见光图像多特征自适应融合方法

由于成像机理不同,红外图像以像素分布表征典型目标,而可见光图像以边缘和梯度描述纹理细节,现有的融合方法不能依据源图像特征自适应变化,造成融合结果不能同时保留红外目标特征与可见光纹理细节。为此,本文提出红外与可见光图像多特征自适应融合方法。首先,构建了多尺度密集连接网络,可以有效聚合所有不同尺度不同层级的中间特征,利于增强特征提取和特征重构能力。其次,设计了多特征自适应损失函数,采用VGG-16网络提取源图像的多尺度特征,以像素强度和梯度为测量准则,以特征保留度计算特征权重系数。多特征自适应损失函数监督网络训练,可以均衡提取源图像各自的特征信息,从而获得更优的融合效果。公开数据集的实验结果表明,该方法在主、客观评价方面均优于其他典型方法。     

基于卷积神经网络的红外图像融合算法

红外图像与可见光图像融合的目的是为人类观察或其他计算机视觉任务生成信息更加丰富的图像。本文针对深度学习近年来在计算机视觉领域取得的巨大成功,提出一种基于卷积神经网络的红外与可见光图像融合算法。首先,使用引导滤波和高斯滤波器组成的尺度感知边缘保护滤波器对输入的源图像进行多尺度分解,基础层利用像素强度分布的加权平均融合规则进行融合,细节层借助卷积神经网络对空间细节进行提取融合。实验结果表明,本文算法可以较好的将特定尺度信息进行保存,并减小滤波对边缘细节带来的光晕影响,融合后图像噪声较少,细节呈现的更加自然,并且适合人类视觉感知。     

基于改进生成对抗网络模型的红外与可见光图像融合

为增强融合图像的视觉效果,减少计算的复杂度,解决传统红外与可见光图像融合算法存在的背景细节丢失问题,提出了一种生成对抗网络框架下基于深度可分离卷积的红外与可见光图像融合方法。首先,在生成器中对源图像进行深度卷积与逐点卷积运算,得到源图像的特征映射信息;其次,通过前向传播的方式更新网络参数,得到初步的单通道融合图像;再次,在红外及可见光判别器中,使用深度可分离卷积分别对源图像与初步融合图像进行像素判别;最后,在损失函数的约束下,双判别器不断将更多的细节信息添加到融合图像中。实验结果表明,相比于传统的融合算法,该方法在信息熵、平均梯度、空间频率、标准差、结构相似性损失和峰值信噪比等评价指标上分别平均提高了1.63%、1.02%、3.54%、5.49%、1.05%、0.23%,在一定程度上提升了融合图像的质量,丰富了背景的细节信息。     

基于卷积神经网络结合NSCT的红外与可见光图像融合

传统红外与可见光融合图像在复杂环境下存在细节缺失,特征单一导致目标模糊等问题,本文提出一种基于卷积神经网络结合非下采样轮廓波变换（non-subsampled contourlet transform,NSCT）的红外与可见光图像进行融合的方法。首先,通过卷积神经网络提取红外与可见光目标特征信息,同时利用NSCT对源图像进行多尺度分解,得到源图像的高频系数与低频系数;其次,结合目标特征图利用自适应模糊逻辑与局部方差对比度分别对源图像高频子带与低频子带进行融合;最后,通过逆NSCT变换得到融合图像并与其他5种传统算法进行对比;实验结果表明,本文方法在多个客观评价指标上均有所提高。     

融合红外特征的可见光图像目标检测算法研究

为提升复杂场景下基于可见光图像的目标检测性能,将深层卷积神经网络与多源信息融合技术相结合,提出了一种自适应融合红外特征的可见光目标检测算法.该算法以红外和可见光图像作为输入,通过卷积、激活结合残差结构的方式分别提取目标红外和可见光特征,并利用空间和通道注意力机制提升目标所属类别以及所在图像区域的特征权重.其次,将提取的红外特征以自适应加权的方式融入对应维度的可见光特征中,充分弥补目标在单模态模型下的局限.最后,针对多尺度目标,设计了金字塔采样结构,通过交替上采样和下采样方式来充分融合目标全局及局部特征,增强网络尺度不变性.通过实验验证,所提注意力机制、特征自适应融合以及金字塔采样结构都能有效提升目标检测效果,相比于同类型红外-可见光目标检测方法,该方法可以充分融合目标多模态特征,并有效降低噪声干扰,使网络具有更高的检测性能.同时,在实际电网设备检测中,所提方法也表现出较高泛化能力和鲁棒性,可以准确高效的实现目标设备的识别及定位.     

基于二维经验模态分解和高斯模糊逻辑的红外与可见光图像融合

针对传统多尺度图像融合方法容易损失可见光图 像细节、弱化红外目标信息和降低图像对比度的 问题,基于二维经验模态分解(BEMD)和高斯模糊逻辑(GFL)的特性,提出了一种红 外与可见光 图像融合的算法。首先,使用BEMD对源图像进行分解,得到图像的本征模(高频成分)和 趋势项(低频 成分);其次,用GFL对趋势项进行恰当的融合,使用基于邻域特征的区域对比度法融合图 像的本征模; 最后,通过BEMD逆变换得到融合图像。实验结果表明,与传统的多尺度融合方法相比,在 主观上视觉上, 本文融合算法能够更有效地保留源可见光图像中的细节信息,并突出红外图像中的目标信息 ,提高融合图 像的质量;在客观评价指标上,本文融合算法的结果在信息熵(IE)、标准差(SD)、平均梯度(AG)、互 信息(MI)和空间频率(SF)5个客观指标上明显优于传统的多尺度融合方法。     

基于红外与可见光图像的目标检测算法

针对现有基于可见光的目标检测算法存在的不足,提出了一种红外和可见光图像融合的目标检测方法。该方法将深度可分离卷积与残差结构相结合,构建并列的高效率特征提取网络,分别提取红外和可见光图像目标信息;同时,引入自适应特征融合模块以自主学习的方式融合两支路对应尺度的特征,使两类图像信息互补;最后,利用特征金字塔结构将深层特征逐层与浅层融合,提升网络对不同尺度目标的检测精度。实验结果表明,所提网络能够充分融合红外和可见光图像中的有效信息,并在保障精度与效率的前提下实现目标识别与定位;同时,在实际变电站设备检测场景中,该网络也体现出较好的鲁棒性和泛化能力,可以高效完成检测任务。     

基于Transformer和双残差网络的图像去模糊算法研究

在单幅图像去模糊网络的设计中,已广泛采用了由“粗到精”的策略。经典的基于深度学习的多尺度网络模型通常将子网络与多尺度输入图像堆叠,并从底层子网络到顶层子网络逐渐提高图像的清晰度,将不可避免地产生图像特征信息丢失问题以及较高的时间成本。针对上述问题,构建了一种基于编解码器结构的多输入多输出U型网络。首先,在编码器结构中采用Transformer模型代替传统卷积网络模型以充分获取图像特征信息;其次为了恢复高频细节特征,在解码器结构中设计了双残差网络;最后,提出多尺度融合算法,有效融合了多尺度特征。在GoPro上的仿真实验表明,通过引入Transformer,所提算法分别在PSNR与SSIM评价指标和运行时间上均优于主流算法,PSNR与SSIM值分别为31.15 dB、0.957 7,同时从视觉上可以得到更多的图像细节。     

红外与可见光图像注意力生成对抗融合方法研究

目前,基于深度学习的融合方法依赖卷积核提取局部特征,而单尺度网络、卷积核大小以及网络深度的限制无法满足图像的多尺度与全局特性.为此,本文提出了红外与可见光图像注意力生成对抗融合方法.该方法采用编码器和解码器构成的生成器以及两个判别器.在编码器中设计了多尺度模块与通道自注意力机制,可以有效提取多尺度特征,并建立特征通道长...     

基于多尺度柔性形态学滤波器的图像融合

提出了一种基于柔性数学形态学的图像融合新方法。首先,对源图像进行柔性形态学多尺度开闭滤波,得到源图像的低频平滑图像。其次,应用了柔性的多尺度top-hat变换和bottom-hat变换,提取小于相应尺度的图像细节特征。最后,对于以上两步骤得到的低频平滑图像和多尺度高频细节图像分别进行图像融合,应用形态学重建过程生成融合图像。多聚焦图像融合和红外可见光图像融合实验表明,这种融合方法优于相应基于多尺度标准形态学滤波器(MSMF)的图像融合方法,特别适用于受噪声污染的图像融合处理。     

联合信息增强与生成对抗网络的红外与可见光图像融合

为克服红外与可见光图像的融合结果图边缘模糊、细节信息表征不足及亮度较低的问题,提出了联合信息增强与生成对抗网络(Generative Adversarial Network, GAN)的红外与可见光图像融合方法。基于自适应直方图划分和亮度校正算法被用来增强红外图像的显著对比度。多尺度Retinex算法(MSR)被用来增强可见光图像的纹理细节,同时调整可见光图像的亮度。增强后的红外与可见光图像被输入GAN进行训练,训练好的模型可以完成端到端图像融合任务。仿真实验结果表明所提算法在EN (信息熵)和SD(标准差)指标上具有明显优势。     

基于红外目标特征提取的图像融合方法

为有效突出红外目标,同时尽可能多地保留可见光图像中的纹理细节信息,使得最终的融合图像更符合人类视觉感知效果,本文提出一种新的基于红外目标特征提取的红外与可见光图像融合方法。首先,利用高斯滤波器将源图像分解为粗略尺度信息和边缘纹理细节信息;对红外图像的边缘纹理细节信息进行去“光晕”分解,在此基础上进一步利用OTSU多阈值分割算法将红外图像分割为目标区域、过渡区域和背景区域;最后,依据分割结果确定各分解子信息的融合权重,以有效地将红外目标信息注入到可见光图像中,同时尽可能多地保留可见光图像中重要的场景细节信息。实验结果表明,本文方法无论从主观视觉还是客观评价指标上,都要优于目前常用的有代表性的图像融合方法。      

基于ResNet的红外与低照度可见光图像融合方法

针对传统红外与低照度可见光图像融合后,容易造成目标模糊不清、细节信息缺失等问题,本文提出一种低照度可见光图像预增强与残差网络(Residual Network, ResNet)相结合的图像融合方法。该方法首先利用单尺度Retinex(Single Scale Retinex, SSR)算法对低照度可见光图像进行增强预处理,得到增强的可见光图像。其次,利用ResNet-50分别从增强后的可见光图像和红外图像中提取深度特征。然后,采用L1范数对生成的深度特征进行正则化处理,并通过上采样操作将其分辨率恢复至输入图像大小,得到权重图。最后,使用加权平均策略获取融合图像。实验结果表明,本文算法能更好地保留输入图像的纹理细节和结构信息;使用TNO数据集与现有的三种典型算法对比,该算法融合结果的离散余弦特征互信息(FMI_dct)、小波特征互信息(FMI_w)、基于噪声评估的融合性能(Nabf)、结构相似度测量(SSIM)四种客观指标总体优于对比算法。     

融合注意力机制与密集多尺度特征的异质噪声虹膜分割方法

针对当前分割方法不能兼顾可见光与近红外光谱的异质噪声虹膜图像的分割精度与效率问题,提出一种基于注意力机制与密集多尺度特征融合的编-解码网络.首先,引入基于深度可分离卷积的改进残差瓶颈单元,降低参数量与计算量的同时防止信息丢失与梯度混淆;其次,改进密集空洞空间金字塔模块的空洞率组合并放置于编码器后,以增强多尺度特征融合;...     

基于YOLO-MIR算法的多尺度红外目标检测网络

针对红外图像相对于可见光检测精度低,鲁棒性差的问题,提出了一种基于YOLO的多尺度红外图目标检测网络YOLO-MIR(YOLO for Multi-scale IR image)。首先,为了提高网络对红外图像的适应能力,改进了特征提取以及融合模块,使其保留更多的红外图像细节。其次,为增强对多尺度目标的检测能力,增大了融合网络的尺度,加强红外图像特征的进一步融合。最后,为增加网络的鲁棒性,设计了针对红外图像的数据增广算法。设置消融实验评估不同方法对网络性能的影响,结果表明在红外数据集下网络性能得到明显提升。与主流算法YOLOv7相比在参数量不变的条件下平均检测精度提升了3%,提高了网络对红外图像的适应能力,实现了对各尺度目标的精确检测。