基于深度学习的红外可见光图像融合综述

如何将多张图像中的互补信息保存到一张图像中用于全面表征场景是具有挑战性的课题。基于此课题,大量的图像融合方法被提出。红外可见光图像融合（IVIF）作为图像融合中一个重要分支,在语义分割、目标检测和军事侦察等实际领域都有着广泛的应用。近年来,深度学习技术引领了图像融合的发展方向,研究人员利用深度学习针对IVIF方向进行了探索。相关实验工作证明了应用深度学习方法来完成IVIF相较于传统方法有着显著优势。对基于深度学习的IVIF前沿算法进行了详细的分析论述。首先,从网络架构、方法创新以及局限性等方面报告了领域内的方法研究现状。其次,对IVIF方法中常用的数据集进行了简要介绍并给出了定量实验中常用评价指标的定义。对提到的一些具有代表性的方法进行了图像融合和语义分割的定性评估、定量评估实验以及融合效率分析实验来全方面地评估方法的性能。最后,给出了实验结论并对领域内未来可能的研究方向进行了展望。     

红外与可见光图像渐进融合深度网络

目的 红外与可见光图像融合的目标是获得具有完整场景表达能力的高质量融合图像。由于深度特征具有良好的泛化性、鲁棒性和发展潜力,很多基于深度学习的融合方法被提出,在深度特征空间进行图像融合,并取得了良好的效果。此外,受传统基于多尺度分解的融合方法的启发,不同尺度的特征有利于保留源图像的更多信息。基于此,提出了一种新颖的渐进式红外与可见光图像融合框架(progressive fusion, ProFuse)。方法 该框架以U-Net为骨干提取多尺度特征,然后逐渐融合多尺度特征,既对包含全局信息的高层特征和包含更多细节的低层特征进行融合,也在原始尺寸特征(保持更多细节)和其他更小尺寸特征(保持语义信息)上进行融合,最终逐层重建融合图像。结果 实验在TNO(Toegepast Natuurwetenschappelijk Onderzoek)和INO(Institut National D’optique)数据集上与其他6种方法进行比较,在选择的6项客观指标上,本文方法在互信息(mutual Information, MI)上相比FusionGAN(generative adversarial ...     

基于提升小波的红外和可见光图像融合方法

提出了一种基于提升小波变换的红外和可见光图像融合方法.对红外图像进行检测分割,将提取到的目标重要信息融合到可见光图像中.然后进行图像的提升小渡分解,对不同尺度下小波系数进行融合,以像素的局部平均梯度为高频系数融合准则,充分加入原始图像的边缘细节信息.最后依据融合后的小波系数重构图像.实验结果表明,该方法改善了融合效果,提高了运算速度.     

基于深度卷积特征提取的红外与可见光图像融合方法

目前多数红外与可见光图像融合算法在融合过程中通常需要对源图像进行分解,这样易导致融合图像细节模糊和显著性目标丢失.为解决该问题,提出一种基于深度卷积特征提取的红外与可见光图像融合方法.首先,利用迁移学习理论对EfficientNet特征提取性能进行分析,选择7个特征提取模块;然后,直接将源图像送入特征提取模块以实现显著性特征提取;接着,构造通道归一化和平均算子操作用于获取显著图,再使用Softmax与Up-sampling组合的融合规则来得到融合权重,将融合权重与源图像进行卷积,生成7幅候选融合图像;最后,将候选融合图像的像素最大值作为最终的重构融合图像.所有实验均在公共数据集上进行,并与经典的传统和深度学习方法比较,主客观实验结果均表明,所提出方法能够有效地融合红外与可见光图像中的重要信息,突显融合图像的细节纹理,具有更好的视觉效果和更少的图像伪影以及人工噪声.     

基于彩色传递的红外与可见光图像融合方法

提出了一种基于小波分解和彩色传递理论的图像融合方法。在小波变换的基础上，采用一种融合方法对红外和可见光图像进行融合处理；基于色空间变换对灰度融合图像进行彩色传递，实现灰度到彩色图像的转变。实验表明彩色传递图像的色彩接近自然景物颜色，优于传统的假彩色方法，更有利于人眼对目标和环境的判断识别。     

基于语义分割的红外和可见光图像融合

红外图像即使在低光照条件下,也能根据热辐射的差异将目标与背景区分开来,而可见光图像具有高空间分辨率的纹理细节,此外,红外和可见光图像都含有相应的语义信息.因此,红外与可见光图像融合,需要既保留红外图像的辐射信息,也保留可见光图像的纹理细节,同时,也要反映出二者的语义信息.而语义分割可以将图像转换为带有语义的掩膜,提取源图像的语义信息.提出了一种基于语义分割的红外和可见光图像融合方法,能够克服现有融合方法不能针对性地提取不同区域特有信息的缺点.使用生成式对抗神经网络,并针对源图像的不同区域设计了2种不同的损失函数,以提高融合图像的质量.首先通过语义分割得到含有红外图像目标区域语义信息的掩模,并利用掩模将红外和可见光图像分割为红外图像目标区域、红外图像背景区域、可见光图像目标区域和可见光图像背景区域;然后对目标区域和背景区域分别采用不同的损失函数得到目标区域和背景区域的融合图像;最后将2幅融合图像结合起来得到最终融合图像.实验表明,融合结果目标区域对比度更高,背景区域纹理细节更丰富,提出的方法取得了较好的融合效果.     

信息分离和质量引导的红外与可见光图像融合

目的 红外与可见光图像融合的目标是将红外图像与可见光图像的互补信息进行融合,增强源图像中的细节场景信息。然而现有的深度学习方法通常人为定义源图像中需要保留的特征,降低了热目标在融合图像中的显著性。此外,特征的多样性和难解释性限制了融合规则的发展,现有的融合规则难以对源图像的特征进行充分保留。针对这两个问题,本文提出了一种基于特有信息分离和质量引导的红外与可见光图像融合算法。方法 本文提出了基于特有信息分离和质量引导融合策略的红外与可见光图像融合算法。设计基于神经网络的特有信息分离以将源图像客观地分解为共有信息和特有信息,对分解出的两部分分别使用特定的融合策略;设计权重编码器以学习质量引导的融合策略,将衡量融合图像质量的指标应用于提升融合策略的性能,权重编码器依据提取的特有信息生成对应权重。结果 实验在公开数据集RoadScene上与6种领先的红外与可见光图像融合算法进行了对比。此外,基于质量引导的融合策略也与4种常见的融合策略进行了比较。定性结果表明,本文算法使融合图像具备更显著的热目标、更丰富的场景信息和更多的信息量。在熵、标准差、差异相关和、互信息及相关系数等指标上,相较于对比算法...     

基于结构重参数化的红外与可见光图像融合

红外与可见光图像融合的目的是通过将不同模态的互补信息融合来增强源图像中的细节场景信息,然而,现有的深度学习方法存在融合性能与计算资源消耗不平衡的问题,并且会忽略红外图像存在噪声的问题.对此,提出一种基于结构重参数化的红外与可见光图像融合算法.首先,通过带权重共享的双分支残差连接型网络分别对两种源图像进行特征提取,分别得到的特征级联后图像重建;然后,用结构相似性损失与双边滤波去噪的内容损失联合指导网络的训练;最后,在训练完成后进行结构重参数化将训练网络优化成直连型网络.在多个公共数据集上与7种领先的深度学习融合算法进行了定性与定量的实验对比,所提出的融合算法在更低的资源耗费下能够实现多个评价指标的提升,融合结果具有更丰富的场景信息、更强的对比度以及更符合人眼的视觉效果.     

红外和可见光图像融合算法的研究进展

红外图像便于识别热源目标，可见光图像包含丰富的纹理信息。红外和可见光的融合图像兼顾了两个波段传感器的优势，可以清楚地显示热源目标及其背景，在军事侦察、安防监控、遥感监测等领域有着广泛的应用，已成为图像融合领域的重点研究方向。近年来，国内外学者对红外和可见光图像融合算法开展了大量研究。文中首先对现有的图像融合算法进行了详细介绍，包括多尺度变换、稀疏表示的传统图像处理方法和基于CNN,GAN,AE这3种常见网络结构的深度学习图像融合算法。接着综述了融合图像的评价方法，对常见的多种客观评价指标进行了归类分析。然后开展对比实验，对各种方法进行了主观评价和定量分析，指出不同方法的优势和不足。最后，对红外和可见光图像融合技术的未来发展趋势进行展望。     

像素级红外与可见光图像融合方法综述

红外与可见光图像融合作为一种针对增强技术被广泛应用,融合技术通过提取可见光和红外各自的显著特征,并将其保留在融合图像中,提高了后续高级视觉任务的效率或人工识别。在吸收国内外众多学者的研究的基础上,通过研究归纳,阐述了图像融合的定义与分类,系统性地总结了红外与可见光融合算法,分析了图像融合算法进一步发展的方向。     

基于非降采样Contourlet变换（NSCT）的红外与可见光图像融合及稳健性分析

提出一种基于区域显著性融合规则的非降采样Contourlet 变换的红外与可见光图像融合方法. 首先, 对来自同一场景图像的红外与可见光图像的??分量进行非降采样Contourlet变换; 然后, 依照区域匹配度量和显著性度量规则进行融合, 而融合图像通过非降采样Contourlet反变换即可得到. 最后, 针对此方法进行大量实验, 并将其融合结果与基于小波变换及拉普拉斯金子塔变换的融合结果进行比较, 同时分析它们在不同噪声条件下的性能指标.     

基于目标提取的红外与可见光图像融合算法

在可见光图像融合算法优化问题的研究中,针对现有红外与可见光图像融合算法的融合图像中背景模糊和目标不清晰等问题,提出了一种结合红外目标分割的红外与可见光图像融合算法,根据红外与可见光图像的信息分布特点,先采用目标分割算法对红外图像中的目标图像进行提取,再与可见光图像进行融合,其中在其融合过程中,结合能量函数与边缘优化函数,来提高图像的融合效果.实验结果表明,改进算法所测得的实验结果与预期目标基本相符,具有图像细节保留能力强与目标清晰度高的融合优势.     

基于得分的近红外线与可见光图像融合算法

近红外线图像与可见光图像相比,会出现模糊、轮廓不全等问题,对识别性能造成影响.为此,提出一种基于得分的近红外线与可见光图像融合算法,采用特征脸算法对2种模态的人脸样本进行训练学习,在获得2种图像各自的匹配得分后,进行基于得分的融合,以获得最终得分.实验结果表明,该算法的识别效果优于各单一条件下的识别性能,等错误率在CASIA HFB数据库上由4.65％降至3.80％,在HITSZ Lab1数据库上由0.55％降至0.38％.     

基于3D多尺度特征融合残差网络的高光谱图像分类

深度学习中用于训练的高光谱图像(HSI)数据十分有限,因此较深的网络不利于空谱特征的提取.为了缓解该问题,文中提出3D多尺度特征融合残差网络,利用深度学习和多尺度特征融合的方式对光谱-空间特征进行有序的学习.首先对3D-HSI数据进行自适应降维,将降维后的图像作为网络输入.然后,通过多尺度特征融合残差块依次提取光谱-空间特征,融合不同尺度的特征,通过特征共享增强信息流,获得更丰富的特征.最后以端到端的方式训练网络.在相关数据集上的测试表明,文中网络具有良好的分类性能.     

基于FPDEs与CBF的红外与可见光图像融合

针对传统红外与可见光图像融合结果中的对比度不足、块状效应、伪影以及边缘区域信息失真等问题,文中提出一种基于四阶偏微分方程(FPDEs)和交叉双边滤波器(CBF) 的红外与可见光图像融合方法。首先,分别使用FPDEs和CBF方法从源图像中获取近似层和细节层;其次,针对多尺度分解获得的近似层含有残余低频信息导致融合图像的整体视觉反差较大的问题,采用基于视觉显著性映射(VSM)的方法对近似层进行融合;然后,对细节层使用改进的Karhunen-Loeve变换获得权重,而后进行细节层融合;最后,通过线性组合方式将近似层与细节层融合,从而产生融合图像。实验结果表明,经基于FPDEs与CBF的方法融合后,相较于基于主成分分析和基于交叉双边滤波器的方法,基于FPDEs与CBF的方法所得融合图像的标准差 平均 提高了43.73%左右;相较于基于引导滤波器和基于视觉显著性最小二乘优化的方法,融合图像的平均梯度提高了约9.46%,空间频率平均提高了19.79%左右。     

基于小波变换的图像融合研究

主要讨论了基于小波变换的多传感器图像融合算法。它的中心思想是把图像分解到不同的频率段上，然后在各自的频率段上分别采用不同的融合算子进行融合处理，从而得到完整的图像信息。     

基于边缘分割的多光谱图像融合方法

对于高分辨率的全色图像与低分辨率的多光谱图像,通常采用传统的IHS方法进行融合。这种融合方法能很好地提高低分辨率图像的清晰度,但却容易扭曲原始的光谱特性,产生光谱退化现象。针对这一问题,本文采用高分辨率与多光谱图像的边缘分割信息对I分量进行调制,使新生成的I分量保持原始的光谱特性。通过融合实验结果表明,这种方法比传统的IHS方法有效地改善了融合图像光谱失真的现象。     

基于改进Tetrolet变换的图像融合算法研究

针对红外图像目标物体能量高以及可见光图像细节信息丰富的特点,提出一种基于改进的Tetrolet变换的红外与可见光图像融合算法.对红外和可见光图像进行多尺度、多方向分解,在低频融合规则上,对区域能量进行适当缩放,突出红外目标,保留可见光背景信息.实验结果表明,对Tetrolet变换模板的选择的改进,有助于获取更多高频信息;融合算法相对于传统的算法不仅增强了图像对比度,改善了主观视觉效果,而且在客观标准上有了一定提高.     

一种基于区域特征动态加权的自适应图像融合方法

提出了一种基于区域特征动态加权的自适应遥感图像融合方法。该方法首先由输入图像得到其高频、低频图像；进而分别选取一组区域特征进行自适应动态加权，得到相应的高频和低频融合结果；最后，基于一致性准则由高低频融合结果得到最终的融合结果，通过对SAR和TM图像的融合实验，验证了该方法在信息量，边界保持及融合结果一致性方面具有显著优势。