基于深度学习的红外可见光图像融合综述

如何将多张图像中的互补信息保存到一张图像中用于全面表征场景是具有挑战性的课题。基于此课题,大量的图像融合方法被提出。红外可见光图像融合（IVIF）作为图像融合中一个重要分支,在语义分割、目标检测和军事侦察等实际领域都有着广泛的应用。近年来,深度学习技术引领了图像融合的发展方向,研究人员利用深度学习针对IVIF方向进行了探索。相关实验工作证明了应用深度学习方法来完成IVIF相较于传统方法有着显著优势。对基于深度学习的IVIF前沿算法进行了详细的分析论述。首先,从网络架构、方法创新以及局限性等方面报告了领域内的方法研究现状。其次,对IVIF方法中常用的数据集进行了简要介绍并给出了定量实验中常用评价指标的定义。对提到的一些具有代表性的方法进行了图像融合和语义分割的定性评估、定量评估实验以及融合效率分析实验来全方面地评估方法的性能。最后,给出了实验结论并对领域内未来可能的研究方向进行了展望。     

红外与可见光图像渐进融合深度网络

目的 红外与可见光图像融合的目标是获得具有完整场景表达能力的高质量融合图像。由于深度特征具有良好的泛化性、鲁棒性和发展潜力,很多基于深度学习的融合方法被提出,在深度特征空间进行图像融合,并取得了良好的效果。此外,受传统基于多尺度分解的融合方法的启发,不同尺度的特征有利于保留源图像的更多信息。基于此,提出了一种新颖的渐进式红外与可见光图像融合框架(progressive fusion, ProFuse)。方法 该框架以U-Net为骨干提取多尺度特征,然后逐渐融合多尺度特征,既对包含全局信息的高层特征和包含更多细节的低层特征进行融合,也在原始尺寸特征(保持更多细节)和其他更小尺寸特征(保持语义信息)上进行融合,最终逐层重建融合图像。结果 实验在TNO(Toegepast Natuurwetenschappelijk Onderzoek)和INO(Institut National D’optique)数据集上与其他6种方法进行比较,在选择的6项客观指标上,本文方法在互信息(mutual Information, MI)上相比FusionGAN(generative adversarial ...     

基于GhostNet的端到端红外和可见光图像融合方法

现有的基于深度学习的红外和可见光图像融合方法大多基于人工设计的融合策略,难以为复杂的源图像设计一个合适的融合策略.针对上述问题,文中提出基于GhostNet的端到端红外和可见光图像融合方法.在网络结构中使用Ghost模块代替卷积层,形成一个轻量级模型.损失函数的约束使网络学习到适应融合任务的图像特征,从而在特征提取的同时完成融合任务.此外,在损失函数中引入感知损失,将图像的深层语义信息应用到融合过程中.源图像通过级联输入深度网络,在经过带有稠密连接的编码器提取图像特征后,通过解码器的重构得到融合结果.实验表明,文中方法在主观对比和客观图像质量评价上都有较好表现.     

像素级红外与可见光图像融合方法综述

红外与可见光图像融合作为一种针对增强技术被广泛应用,融合技术通过提取可见光和红外各自的显著特征,并将其保留在融合图像中,提高了后续高级视觉任务的效率或人工识别。在吸收国内外众多学者的研究的基础上,通过研究归纳,阐述了图像融合的定义与分类,系统性地总结了红外与可见光融合算法,分析了图像融合算法进一步发展的方向。     

基于结构重参数化的红外与可见光图像融合

红外与可见光图像融合的目的是通过将不同模态的互补信息融合来增强源图像中的细节场景信息,然而,现有的深度学习方法存在融合性能与计算资源消耗不平衡的问题,并且会忽略红外图像存在噪声的问题.对此,提出一种基于结构重参数化的红外与可见光图像融合算法.首先,通过带权重共享的双分支残差连接型网络分别对两种源图像进行特征提取,分别得到的特征级联后图像重建;然后,用结构相似性损失与双边滤波去噪的内容损失联合指导网络的训练;最后,在训练完成后进行结构重参数化将训练网络优化成直连型网络.在多个公共数据集上与7种领先的深度学习融合算法进行了定性与定量的实验对比,所提出的融合算法在更低的资源耗费下能够实现多个评价指标的提升,融合结果具有更丰富的场景信息、更强的对比度以及更符合人眼的视觉效果.     

光电载荷下的红外和可见光图像融合综述

随着机载光电平台在军事、民用等领域的应用，红外与可见光图像的增强和融合技术逐渐成为研究的热点方向。红外设备主要依靠物体本身的热辐射进行成像，适用于恶劣自然环境和隐秘场所等特殊场景，但存在成像质量不佳、图像对比度较低、纹理细节不丰富等缺点；可见光图像的纹理细节和对比度更适合人类的视觉感知，但可见光图像在烟雾、夜间等条件下的成像效果差，不适用于隐秘的场所。因此，研究人员提出了既有可见光图像边缘、细节信息又有红外热辐射目标信息的互补图像融合方法。结合红外与可见光图像特点，对目前适用于机载平台的传统红外与可见光图像融合方法进行整理和综述，给出了现有红外与可见光融合算法中弱小目标、纹理信息缺失和计算效率问题的改进思路，并对光电载荷背景下传统红外与可见光图像融合技术未来的发展进行了展望。     

基于引导滤波和快速共现滤波的红外和可见光图像融合

针对红外和可见光图像融合结果背景信息不足、对比度较低的问题,提出一种结合引导滤波和快速共现滤波的融合方法。首先,以高斯滤波将源图像分解为细节层和基础层。然后以去除值域滤波器、全局统计共现信息的方式简化共现滤波,形成快速共现滤波,再用其融合细节层;此外,引入窗口因子,用图像大小与窗口因子比值确定引导滤波窗口值,再用其融合基础层。实验结果表明该算法增加了图像背景细节,提高了人物与背景的对比度。主观和客观的实验分析验证了该算法的有效性。     

红外和可见光图像融合算法的研究进展

红外图像便于识别热源目标，可见光图像包含丰富的纹理信息。红外和可见光的融合图像兼顾了两个波段传感器的优势，可以清楚地显示热源目标及其背景，在军事侦察、安防监控、遥感监测等领域有着广泛的应用，已成为图像融合领域的重点研究方向。近年来，国内外学者对红外和可见光图像融合算法开展了大量研究。文中首先对现有的图像融合算法进行了详细介绍，包括多尺度变换、稀疏表示的传统图像处理方法和基于CNN,GAN,AE这3种常见网络结构的深度学习图像融合算法。接着综述了融合图像的评价方法，对常见的多种客观评价指标进行了归类分析。然后开展对比实验，对各种方法进行了主观评价和定量分析，指出不同方法的优势和不足。最后，对红外和可见光图像融合技术的未来发展趋势进行展望。     

基于深度卷积特征提取的红外与可见光图像融合方法

目前多数红外与可见光图像融合算法在融合过程中通常需要对源图像进行分解,这样易导致融合图像细节模糊和显著性目标丢失.为解决该问题,提出一种基于深度卷积特征提取的红外与可见光图像融合方法.首先,利用迁移学习理论对EfficientNet特征提取性能进行分析,选择7个特征提取模块;然后,直接将源图像送入特征提取模块以实现显著性特征提取;接着,构造通道归一化和平均算子操作用于获取显著图,再使用Softmax与Up-sampling组合的融合规则来得到融合权重,将融合权重与源图像进行卷积,生成7幅候选融合图像;最后,将候选融合图像的像素最大值作为最终的重构融合图像.所有实验均在公共数据集上进行,并与经典的传统和深度学习方法比较,主客观实验结果均表明,所提出方法能够有效地融合红外与可见光图像中的重要信息,突显融合图像的细节纹理,具有更好的视觉效果和更少的图像伪影以及人工噪声.     

基于提升小波的红外和可见光图像融合方法

提出了一种基于提升小波变换的红外和可见光图像融合方法.对红外图像进行检测分割,将提取到的目标重要信息融合到可见光图像中.然后进行图像的提升小渡分解,对不同尺度下小波系数进行融合,以像素的局部平均梯度为高频系数融合准则,充分加入原始图像的边缘细节信息.最后依据融合后的小波系数重构图像.实验结果表明,该方法改善了融合效果,提高了运算速度.     

双尺度分解和显著性分析相结合的红外与可见光图像融合

目的 针对图像融合中存在的目标信息减弱、背景细节不清晰、边缘模糊和融合效率低等不足,为了充分利用源图像的有用特征,将双尺度分解与基于视觉显著性的融合权重的思想融合在一起,提出了一种基于显著性分析和空间一致性的双尺度图像融合方法。方法 利用均值滤波器对源图像进行双尺度分解,先后得到源图像的基层图像信息和细节层图像信息;对基层图像基于加权平均规则融合,对细节层图像先基于显著性分析得到初始权重图,再利用引导滤波优化得到的最终权重图指导加权;通过双尺度重建得到融合图像。结果 根据传统方法与深度学习的不同特点,在TNO等公开数据集上从主观和客观两方面对所提方法进行评价。从主观分析来看,本文方法可以有效提取和融合源图像中的重要信息,得到融合质量高、视觉效果自然清晰的图像。从客观评价来看,实验验证了本文方法在提升融合效果上的有效性。与各种融合结果进行量化比较,在平均梯度、边缘强度、空间频率、特征互信息和交叉熵上的平均精度均为最优;与深度学习方法相比,熵、平均梯度、边缘强度、空间频率、特征互信息和交叉熵等指标均值分别提升了6.87%、91.28%、91.45%、85.10%、0.18%和45.45%。结论 实验结果表明,所提方法不仅在目标、背景细节和边缘等信息的增强效果显著,而且能快速有效地利用源图像的有用特征。     

多尺度分解和八度卷积相结合的红外与可见光图像融合

目的 在基于深度学习的红外与可见光图像融合方法中,多尺度分解是一种提取不同尺度特征的重要方式。针对传统多尺度分解方法里尺度设置粗糙的问题,提出了一种基于八度(octave)卷积的改进图像融合算法。方法 融合方法由4部分组成：编码器、特征增强、融合策略和解码器。首先,使用改进后的编码器获取源图像的多尺度上的低频、次低频和高频特征。这些特征会被从顶层到底层进行强化。其次,将这些特征按照对应的融合策略进行融合。最后,融合后的深度特征由本文设计的解码器重构为信息丰富的融合图像。结果 实验在TNO和RoadScene数据集上与9种图像融合算法进行比较。主观评价方面,所提算法可以充分保留源图像中的有效信息,融合结果也符合人的视觉感知;客观指标方面,在TNO数据集上所提算法在信息熵、标准差、视觉信息保真度、互信息和基于小波变换提取局部特征的特征互信息5个指标上均有最优表现,相较于9种对比方法中最优值分别提升了0.54%,4.14%,5.01%,0.55%,0.68%。在RoadScene数据集上所提算法在信息熵、标准差、视觉信息保真度和互信息4个指标上取得了最优值,相较9种对比方法的最优值分别提升了...     

高分辨率可见光图像引导红外图像超分辨率的Transformer网络

目的 红外图像在工业中发挥着重要的作用。但是由于技术原因,红外图像的分辨率一般较低,限制了其普遍适用性。许多低分辨率红外传感器都和高分辨率可见光传感器搭配使用,一种可行的思路是利用可见光传感器捕获的高分辨率图像,辅助红外图像进行超分辨率重建。方法 本文提出了一种使用高分辨率可见光图像引导红外图像进行超分辨率的神经网络模型,包含两个模块：引导Transformer模块和超分辨率重建模块。考虑到红外和可见光图像对一般存在一定的视差,两者之间是不完全对齐的,本文使用基于引导Transformer的信息引导与融合方法,从高分辨率可见光图像中搜索相关纹理信息,并将这些相关纹理信息与低分辨率红外图像的信息融合得到合成特征。然后这个合成特征经过后面的超分辨率重建子网络,得到最终的超分辨率红外图像。在超分辨率重建模块,本文使用通道拆分策略来消除深度模型中的冗余特征,减少计算量,提高模型性能。结果 本文方法在FLIR-aligned数据集上与其他代表性图像超分辨率方法进行对比。实验结果表明,本文方法可以取得优于对比方法的超分辨率性能。客观结果上,本文方法比其他红外图像引导超分辨率方法在峰值信噪比(pea...     

一种扩展VIFB的红外与可见光图像融合基准

红外与可见光图像融合是机器视觉的一个重要领域,在日常生活中应用广泛。近年来,虽然红外与可见光图像融合领域已有多种融合算法,但目前该领域还缺乏能够衡量多种融合算法性能的算法框架和融合基准。在简要概述了红外与可见光图像融合的最新进展后,提出了一种扩展VIFB的红外与可见光图像融合基准,该基准由56对图像、32种融合算法和16种评价指标组成。基于该融合基准进行了大量实验,用来测评所选取的融合算法的性能。通过定性和定量结果分析,确定了性能优良的图像融合算法,并对红外与可见光图像融合领域的未来前景进行了展望。     

Self-supervised feature adaption for infrared and visible image fusion

Benefitting from the strong feature extraction capability of deep learning, infrared and visible image fusion has made a great progress. Since infrared and visible images are obtained by different sensors with different imaging mechanisms, there exists domain discrepancy, which becomes stumbling block for effective fusion. In this paper, we propose a novel self-supervised feature adaption framework for infrared and visible image fusion. We implement a self-supervised strategy that facilitates the backbone network to extract features with adaption while retaining the vital information by reconstructing the source images. Specifically, we preliminary adopt an encoder network to extract features with adaption. Then, two decoders with attention mechanism blocks are utilized to reconstruct the source images in a self-supervised way, forcing the adapted features to contain vital information of the source images. Further, considering the case that source images contain low-quality information, we design a novel infrared and visible image fusion and enhancement model, improving the fusion method’s robustness. Experiments are constructed to evaluate the proposed method qualitatively and quantitatively, which show that the proposed method achieves the state-of-art performance comparing with existing infrared and visible image fusion methods. Results are available at https://github.com/zhoafan/SFA-Fuse.     

一种新的红外与可见光图像融合算法

提出了一种新的红外与可见光图像融合算法,首先应用非抽样Contourlet变换(NSCT)对图像进行多尺度、多方向变换,对变换的低频子带采用改进的能量加权法融合,带通子带融合采用最大系数与区域方差加权相结合方法,然后对融合的2个子带系数进行NSCT反变换,得到融合图像。对不同算法的融合实验结果进行比较,通过主观和客观评价,该算法融合效果较好。     

多级特征引导网络的红外与可见光图像融合

目的 以卷积神经网络为基础的深度学习技术在图像融合方面表现出优越的性能。在各类图像融合领域,红外与可见光的图像融合应用十分广泛,这两种图像各自的特性十分鲜明,二者信息交互融合得到的融合图像具有显著的价值和意义。为了提高红外与可见光图像的融合质量,本文提出了一种多级特征引导网络的融合框架。方法 本文框架中编码器用于提取源图像的特征,并将多级特征引导至解码器中对融合结果进行重建。为了有效地训练网络,设计了一种混合损失函数。其中,加权保真项约束融合结果与源图像的像素相似度,而结构张量损失鼓励融合图像从源图像中提取更多的结构特征,为了有效进行多尺度信息交互,不同于普通的编解码结构,本文方法在编码器每一层的每一部分均进行特征引导,在编码部分采用池化对尺寸进行缩小,解码采用上采样将尺寸放大,实现多尺度融合与重建,有效弥补了训练过程中卷积层数的堆叠导致的信息的丢失,在编码部分适时地对特征进行引导,及时地与解码层进行融合,在网络结构构建完成后,提出一种损失融合算法,从红外图像和可见光图像各自特点出发,分别设计基于视觉显著性权值估计的2范数损失和基于结构张量的F范数损失。结果 为了说明融合方法的可行性,...     

BEMD分解和W变换相结合的红外与可见光图像融合

目的 针对传统的基于多尺度变换的图像融合算法的不足,提出了一种基于W变换和2维经验模态分解（BEMD）的红外与可见光图像融合算法。方法 首先,为了更有效地提取图像的高频信息,抑制BEMD中存在的模态混叠现象,提出了一种基于W变换和BEMD的新的多尺度分解算法（简称W-BEMD）;然后,利用W-BEMD对源图像进行塔式分解,获得图像的高频分量WIMFs和残差分量WR;接着,对源图像对应的WIMFs分量和WR分量分别采用基于局部区域方差选择与加权和基于局部区域能量选择与加权的融合规则进行融合,得到融合图像的W-BEMD分解;最后,通过W-BEMD逆变换得到最终融合图像。W-BEMD分解算法的主要思想是通过W变换递归地将BEMD分解过程中每层所得低频分量中滞留的高频成分提取出来并叠加到相应的高频分量中,实现更有效的图像多尺度分解。结果 对比实验结果表明,本文方法得到的融合图像视觉效果更佳,既有突出的红外目标,又有清晰的可见光背景细节,而且在平均梯度（AG）、空间频率（SF）、互信息（MI）3个客观评价指标上也有显著优势。结论 本文提出了一种新的红外与可见光图像融合算法,实验结果表明,该算法具有较好的融合效果,在保留可见光图像中的细节信息和突出红外图像中的目标信息方面更加有效。