红外与可见光图像深度学习融合方法综述

红外与可见光图像融合技术充分利用不同传感器的优势,在融合图像中保留了原图像的互补信息以及冗余信息,提高了图像质量。近些年,随着深度学习方法的发展,许多研究者开始将该方法引入图像融合领域,并取得了丰硕的成果。根据不同的融合框架对基于深度学习的红外与可见光图像融合方法进行归类、分析、总结,并综述常用的评价指标以及数据集。另外,选择了一些不同类别且具有代表性的算法模型对不同场景图像进行融合,利用评价指标对比分析各算法的优缺点。最后,对基于深度学习的红外与可见光图像融合技术研究方向进行展望,总结红外与可见光融合技术,为未来研究工作奠定基础。     

神经网络框架下的红外与可见光图像融合算法综述

图像融合是图像处理领域的重要分支。由于神经网络在图像特征提取和分类中优势显著,因此将神经网络技术应用于图像融合领域中也是近年来的研究热点。首先对基于浅层和深度神经网络的红外与可见光图像融合算法做出概述,并详细地介绍图像融合技术的研究进展,展示融合算法的研究成果。其次选取六种图像质量评价指标,对所述算法获得的融合图像进行客观评价,最后根据实验结果对未来的研究提出展望。     

红外与可见光图像融合技术的研究进展

红外与可见光融合图像既具有红外的辐射信息又具有可见光的细节信息，在生产生活、军事监视等场景得到广泛应用，已然成为图像融合领域的重点研究方向。根据图像融合方法的核心思想、融合框架、研究进展对基于多尺度变换、稀疏表示、神经网络等融合方法进行详细阐述对比，并综述了红外与可见光图像融合在各领域内的应用现状，以及常用的评价指标。并选择具有代表性的多种融合方法与评价指标，应用于六个不同场景，验证各方法的优势与不足。最后，实验分析并总结现有红外与可见光图像融合方法存在的问题，对红外与可见光图像融合技术的发展趋势进行展望。     

基于深度学习的无监督红外图像与可见光图像融合算法

卷积神经网络(CNN)由于出色的性能,被逐渐应用于图像融合领域.对于红外图像和可见光图像的融合任务而言,由于没有标签数据,对其进行无监督的学习建模具有重要意义.针对这个问题,提出了一种无监督的端到端的深度融合算法,该算法可以由输入的红外源图像和可见光源图像,直接预测出包含源图像显著信息的融合图像.所提算法构建了一个自编...     

卷积神经网络结合NSST的红外与可见光图像融合

传统的多尺度红外与可见光图像融合方法,所提取的图像特征固定,并不能很好的应用于各类复杂的图像环境,而深度学习可以自主选择合适图像特征,改良特征提取单一性问题,因此提出一种基于卷积神经网络与非下采样剪切波变换（NSST）相结合的红外与可见光图像融合方法。首先,用卷积神经网络提取红外目标与背景的二分类图,利用调频（FT）显著性检测算法对分类图进行精准分割,同时,利用NSST将源图像多尺度、多方向进行分解;其次,利用目标显著性结合自适应模糊逻辑算法进行低频子带融合,利用高频系数局部方差对比度方法进行高频子带融合;最后,通过NSST逆变换得到融合后图像。实验结果表明:相比于传统图像融合算法,该方法在信息熵、平均梯度、空间频率、互信息和交叉熵等多个客观评价指标上至少分别提高了0.01%、0.30%、1.43%、2.32%、1.14%。一定程度提高了融合图像对比度,丰富了背景细节信息,更有利于人眼识别,可以广泛的应用于光电侦察、光电告警、多传感器信息融合等光电信息领域。     

基于改进生成对抗网络模型的红外与可见光图像融合

为增强融合图像的视觉效果,减少计算的复杂度,解决传统红外与可见光图像融合算法存在的背景细节丢失问题,提出了一种生成对抗网络框架下基于深度可分离卷积的红外与可见光图像融合方法。首先,在生成器中对源图像进行深度卷积与逐点卷积运算,得到源图像的特征映射信息;其次,通过前向传播的方式更新网络参数,得到初步的单通道融合图像;再次,在红外及可见光判别器中,使用深度可分离卷积分别对源图像与初步融合图像进行像素判别;最后,在损失函数的约束下,双判别器不断将更多的细节信息添加到融合图像中。实验结果表明,相比于传统的融合算法,该方法在信息熵、平均梯度、空间频率、标准差、结构相似性损失和峰值信噪比等评价指标上分别平均提高了1.63%、1.02%、3.54%、5.49%、1.05%、0.23%,在一定程度上提升了融合图像的质量,丰富了背景的细节信息。     

基于目标增强的红外与可见光图像融合技术研究

针对红外和可见光图像融合算法中存在背景模糊和目标不清晰等问题,提出一种基于目标增强的红外与可见光图像融合算法。首先,利用均值滤波的方法获得透射率的粗估计,通过图像统计信息实现粗透射率的细化,依据大气散射模型实现红外图像的目标增强;然后,对目标增强的红外图像和可见光图像采用改进的Prewitt算子进行边缘检测,并将检测结果二值化,对边缘部分采用基于二值信息的融合规则,对非边缘部分采用比值加权分析的融合规则。实验结果表明,采用基于目标增强的图像融合算法不仅能凸显红外图像的目标信息,还能尽可能多的保留可见光图像丰富的细节信息,具有更好的视觉效果和更高的客观质量评价指标。     

基于边缘保持和注意力生成对抗网络的红外与可见光图像融合

由于红外与可见光图像特征差异大,并且不存在理想的融合图像监督网络学习源图像与融合图像之间的映射关系,深度学习在图像融合领域的应用受到了限制。针对此问题,提出了一个基于注意力机制和边缘损失函数的生成对抗网络框架,应用于红外与可见光图像融合。通过引入对抗训练和注意力机制的思想,将融合问题视为源图像和融合图像对抗的关系,并结合了通道注意力和空间注意力机制学习特征通道域和空间域的非线性关系,增强了显著性目标特征表达。同时提出了一种边缘损失函数,将源图像与融合图像像素之间的映射关系转化为边缘之间的映射关系。多个数据集的测试结果表明,该方法能有效融合红外目标和可见光纹理信息,锐化图像边缘,显著提高图像清晰度和对比度。     

利用结构化和一致性约束的稀疏表示模型进行红外和可见光图像融合

红外和可见光图像融合作为图像融合技术中一个重要组成部分,被广泛应用于军事、工业和生活领域。它能够集成两种模态图像的互补信息,融合成一幅信息丰富、质量较好的图像,不仅能够突出目标信息,还能够保持源有图像的纹理信息和一些显著性的细节。本文提出一种新的红外和可见光图像融合方法,在鲁棒稀疏表示模型的基础上增加了结构化稀疏约束,同时结合了图像区域特征相似的一致性约束项,克服现有一些方法所存在的局部模糊和纹理细节丢失等问题,提高了图像融合的精度。本文主要构建了结构化稀疏表示与一致性约束模型,将其应用到红外和可见光图像融合中并进行了求解,将源图像分解为背景信息和显著性信息,再对背景和显著性信息分别设计融合规则,最后利用字典进行重构,获得红外和可见光融合后的图像。实验结果表明,本文提出的融合算法优于现有的一些多聚焦图像融合算法。      

基于卷积神经网络的红外图像融合算法

红外图像与可见光图像融合的目的是为人类观察或其他计算机视觉任务生成信息更加丰富的图像。本文针对深度学习近年来在计算机视觉领域取得的巨大成功,提出一种基于卷积神经网络的红外与可见光图像融合算法。首先,使用引导滤波和高斯滤波器组成的尺度感知边缘保护滤波器对输入的源图像进行多尺度分解,基础层利用像素强度分布的加权平均融合规则进行融合,细节层借助卷积神经网络对空间细节进行提取融合。实验结果表明,本文算法可以较好的将特定尺度信息进行保存,并减小滤波对边缘细节带来的光晕影响,融合后图像噪声较少,细节呈现的更加自然,并且适合人类视觉感知。