改进生成对抗网络实现红外与可见光图像融合

红外与可见光图像融合技术能够同时提供红外图像的热辐射信息和可见光图像的纹理细节信息,在智能监控、目标探测和跟踪等领域具有广泛的应用。两种图像基于不同的成像原理,如何融合各自图像的优点并保证图像不失真是融合技术的关键,传统融合算法只是叠加图像信息而忽略了图像的语义信息。针对该问题,提出了一种改进的生成对抗网络,生成器设计了局部细节特征和全局语义特征两路分支捕获源图像的细节和语义信息;在判别器中引入谱归一化模块,解决传统生成对抗网络不易训练的问题,加速网络收敛;引入了感知损失,保持融合图像与源图像的结构相似性,进一步提升了融合精度。实验结果表明,提出的方法在主观评价与客观指标上均优于其他代表性方法,对比基于全变分模型方法,平均梯度和空间频率分别提升了55.84%和49.95%。     

改进双路径生成对抗网络的红外与可见光图像融合

为了使融合图像保留更多源图像的信息,该文提出一种端到端的双融合路径生成对抗网络(GAN)。首先,在生成器中采用结构相同、参数独立的双路径密集连接网络,构建红外差值路径和可见光差值路径以提高融合图像的对比度,引入通道注意力机制以使网络更聚焦于红外典型目标和可见光纹理细节;其次,将两幅源图像直接输入到网络的每一层,以提取更多的源图像特征信息;最后,考虑损失函数之间的互补,加入差值强度损失函数、差值梯度损失函数和结构相似性损失函数,以获得更具对比度的融合图像。实验表明,与多分类约束的生成对抗网络(GANMcC)、残差融合网络(RFnest)等相关融合算法相比,该方法得到的融合图像不仅在多个评价指标上均取得了最好的效果,而且具有更好的视觉效果,更符合人类视觉感知。     

基于改进生成对抗网络模型的红外与可见光图像融合

为增强融合图像的视觉效果,减少计算的复杂度,解决传统红外与可见光图像融合算法存在的背景细节丢失问题,提出了一种生成对抗网络框架下基于深度可分离卷积的红外与可见光图像融合方法。首先,在生成器中对源图像进行深度卷积与逐点卷积运算,得到源图像的特征映射信息;其次,通过前向传播的方式更新网络参数,得到初步的单通道融合图像;再次,在红外及可见光判别器中,使用深度可分离卷积分别对源图像与初步融合图像进行像素判别;最后,在损失函数的约束下,双判别器不断将更多的细节信息添加到融合图像中。实验结果表明,相比于传统的融合算法,该方法在信息熵、平均梯度、空间频率、标准差、结构相似性损失和峰值信噪比等评价指标上分别平均提高了1.63%、1.02%、3.54%、5.49%、1.05%、0.23%,在一定程度上提升了融合图像的质量,丰富了背景的细节信息。     

基于边缘保持和注意力生成对抗网络的红外与可见光图像融合

由于红外与可见光图像特征差异大,并且不存在理想的融合图像监督网络学习源图像与融合图像之间的映射关系,深度学习在图像融合领域的应用受到了限制。针对此问题,提出了一个基于注意力机制和边缘损失函数的生成对抗网络框架,应用于红外与可见光图像融合。通过引入对抗训练和注意力机制的思想,将融合问题视为源图像和融合图像对抗的关系,并结合了通道注意力和空间注意力机制学习特征通道域和空间域的非线性关系,增强了显著性目标特征表达。同时提出了一种边缘损失函数,将源图像与融合图像像素之间的映射关系转化为边缘之间的映射关系。多个数据集的测试结果表明,该方法能有效融合红外目标和可见光纹理信息,锐化图像边缘,显著提高图像清晰度和对比度。     

红外与可见光图像注意力生成对抗融合方法研究

目前,基于深度学习的融合方法依赖卷积核提取局部特征,而单尺度网络、卷积核大小以及网络深度的限制无法满足图像的多尺度与全局特性.为此,本文提出了红外与可见光图像注意力生成对抗融合方法.该方法采用编码器和解码器构成的生成器以及两个判别器.在编码器中设计了多尺度模块与通道自注意力机制,可以有效提取多尺度特征,并建立特征通道长...     

一种基于生成对抗网络与注意力机制的可见光和红外图像融合方法

针对低照度可见光图像中目标难以识别的问题,提出了一种新的基于生成对抗网络的可见光和红外图像的融合方法,该方法可直接用于RGB三通道的可见光图像和单通道红外图像的融合.在生成对抗网络中,生成器采用具有编码层和解码层的U-Net结构,判别器采用马尔科夫判别器,并引入注意力机制模块,使得融合图像可以更关注红外图像上的高强度信...     

基于对比度增强的红外与可见光图像融合

为提高低亮度红外与可见光图像融合的视觉效果,提出了一种对比度增强的图像融合算法。使用双边滤波器对光照进行估计,提出了双边滤波子带分解多尺度Retinex变换,并在此基础上对原图像进行子带分解。使用基于局部空间频率的细节增强融合策略完成子带内系数融合,使用全局方差加权融合策略完成子带间系数融合。使用非线性拉伸法将融合结果由对数域映射到显示域。实验结果表明,该方法可有效消除光晕,提高融合图像清晰度,使细节信息更突出。     

基于双通路生成对抗网络的红外与可见光图像融合方法

针对已有红外与可见光图像融合方法没有充分考虑不同模态间及相同模态内的信息差异,融合图像存在细节纹理信息丢失、对比度低等问题,提出了一种基于双通路生成对抗网络的红外与可见光图像融合方法.通过对抗方式训练生成网络和鉴别网络,并将训练的生成网络作为最终的图像融合模型.在融合模型中采用双通路分别对红外与可见光图像进行特征提取,...     

基于多流融合生成对抗网络的遥感图像融合方法

由于强大的高质量图像生成能力,生成对抗网络在图像融合和图像超分辨率等计算机视觉的研究中得到了广泛关注。目前基于生成对抗网络的遥感图像融合方法只使用网络学习图像之间的映射,缺乏对遥感图像中特有的全锐化领域知识的应用。该文提出一种融入全色图空间结构信息的优化生成对抗网络遥感图像融合方法。通过梯度算子提取全色图空间结构信息,将提取的特征同时加入判别器和具有多流融合架构的生成器,设计相应的优化目标和融合规则,从而提高融合图像的质量。结合WorldView-3卫星获取的图像进行实验,结果表明,所提方法能够生成高质量的融合图像,在主观视觉和客观评价指标上都优于大多先进的遥感图像融合方法。

     

模态自适应的红外与可见光图像融合

为解决低照度和烟雾等恶劣环境条件下融合图像目标对比度低、噪声较大的问题,提出一种模态自适应的红外与可见光图像融合方法(mode adaptive fusion,MAFusion).首先,在生成器中将红外图像与可见光图像输入自适应加权模块,通过双流交互学习二者差异,得到两种模态对图像融合任务的不同贡献比重;然后,根据各模...     

基于PIE和CGAN的无人农机红外与可见光图像融合

为了使无人农机在复杂环境的生产过程中及时感知环境信息,避免安全事故发生,本文提出了一种PIE(Poisson Image Editing)和CGAN(Conditional Generative Adversarial Networks)相结合的红外与可见光图像融合算法。首先,利用红外图像及其对应的红外图像显著区域对CGAN网络进行训练;然后,将红外图像输入训练好的网络,即可得到显著区域掩膜;在对其进行形态学优化后进行基于PIE的图像融合;最后,对融合结果进行增强对比度处理。该算法可以实现快速图像融合,满足无人农机实时感知环境的需求,并且该算法保留了可见光图像的细节信息,又能突出红外图像中行人和动物等重要信息,在标准差、信息熵等客观指标上表现良好。     

基于PIE和CGAN的无人农机红外与可见光图像融合

为了使无人农机在复杂环境的生产过程中及时感知环境信息,避免安全事故发生,本文提出了一种PIE(Poisson Image Editing)和CGAN(Conditional Generative Adversarial Networks)相结合的红外与可见光图像融合算法。首先,利用红外图像及其对应的红外图像显著区域对CGAN网络进行训练;然后,将红外图像输入训练好的网络,即可得到显著区域掩膜;在对其进行形态学优化后进行基于PIE的图像融合;最后,对融合结果进行增强对比度处理。该算法可以实现快速图像融合,满足无人农机实时感知环境的需求,并且该算法保留了可见光图像的细节信息,又能突出红外图像中行人和动物等重要信息,在标准差、信息熵等客观指标上表现良好。     

基于生成对抗网络的可见光与红外图像融合

图像融合是图像处理领域中非常重要的分支,可见光图像与红外图像的融合在机器感知、 目标检测与追踪、监控、 遥感和图像去雾等方面扮演着十分重要的角色.针对目前一些融合算法时效性差、 复杂程度高、 泛化程度低和融合后图片信息丢失量大等问题,在神经网络FusionGAN的基础上进行了改进.在其中引入了一种多尺度卷积PSConv...     

基于生成对抗网络的红外图像自适应校正算法

红外相机经过两点校正后会发生漂移,导致图像产生非均匀性噪声.传统的基于场景的非均匀性校正算法适应性较强,但会产生鬼影问题.基于深度学习的非均匀性校正方法,面对红外图像特殊的非均匀性噪声,随着网络深度增加,很容易出现图像模糊,对比度变小,细节丢失问题.针对此问题,提出一种基于生成对抗网络的非均匀性校正算法,网络分为生成网...     

红外与可见光图像深度学习融合方法综述

红外与可见光图像融合技术充分利用不同传感器的优势,在融合图像中保留了原图像的互补信息以及冗余信息,提高了图像质量。近些年,随着深度学习方法的发展,许多研究者开始将该方法引入图像融合领域,并取得了丰硕的成果。根据不同的融合框架对基于深度学习的红外与可见光图像融合方法进行归类、分析、总结,并综述常用的评价指标以及数据集。另外,选择了一些不同类别且具有代表性的算法模型对不同场景图像进行融合,利用评价指标对比分析各算法的优缺点。最后,对基于深度学习的红外与可见光图像融合技术研究方向进行展望,总结红外与可见光融合技术,为未来研究工作奠定基础。     

基于方向导波增强的红外与可见光图像融合

为提高融合图像的视觉效果,并解决可见光图像受光线、天气等影响而成像不清导致的夜视背景弱的问题,本文基于方向导波提出了一种可见光与红外线图像的融合方法。首先,利用方向导波对可见光图像的内容进行增强,然后,利用方向导波的多尺度分解将可见光和红外线图像进行分解后再分别合成为小尺度层、大尺度层和基础层。在大尺度层的信息合成的过程中利用视觉基础上的正则参数将红外线图像的信息加入到可见光图像中去;在基础层的融合过程中采用基于能量保护与细节提取的融合规则。最后,将大尺度层、小尺度层与基础层合并为融合后的图像。实验结果表明所给方法在提高夜视背景、细节处理、能量保护等方面都有良好的效果。     

基于邻域统计信息的红外与可见光图像融合

针对红外图像与可见光图像的融合问题,提出了一种基于邻域统计信息的图像融合新算法。首先对图像进行多尺度分解,得到一系列子带系数,然后针对各子带系数的物理特性,提出了高低频规则不同的图像融合算法。对于图像低频部分,首先定义基于邻域统计信息的目标和场景特征参数,然后设计了加权系数自适应变化的加权平均融合策略;对于图像高频部分,首先定义邻域系数分布特征参数,然后设计了受邻域统计信息调制的系数比较取大融合策略。实验结果表明该算法能够很好地将红外图像与可见光图像进行融合,且融合效果优于其他一些算法。     

自注意力引导的红外与可见光图像融合算法

为确保源图像中的显著区域在融合图像保持显著,提出了一种自注意力引导的红外与可见光图像融合方法。在特征学习层引入自注意力学习机制获取源图像的特征图和自注意力图,利用自注意力图可以捕获到图像中长距离依赖的特性,设计平均加权融合策略对源图像的特征图进行融合,最后将融合后的特征图进行重构获得融合图像。通过生成对抗网络实现了图像特征编码、自注意力学习、融合规则和融合特征解码的学习。TNO真实数据上的实验表明,学习到注意力单元体现了图像中显著的区域,能够较好地引导融合规则的生成,提出的算法在客观和主观评价上优于当前主流红外与可见光图像融合算法,较好地保留了可见光图像的细节信息和红外图像的红外目标信息。