红外与可见光图像注意力生成对抗融合方法研究

目前,基于深度学习的融合方法依赖卷积核提取局部特征,而单尺度网络、卷积核大小以及网络深度的限制无法满足图像的多尺度与全局特性.为此,本文提出了红外与可见光图像注意力生成对抗融合方法.该方法采用编码器和解码器构成的生成器以及两个判别器.在编码器中设计了多尺度模块与通道自注意力机制,可以有效提取多尺度特征,并建立特征通道长...     

改进双路径生成对抗网络的红外与可见光图像融合

为了使融合图像保留更多源图像的信息,该文提出一种端到端的双融合路径生成对抗网络(GAN)。首先,在生成器中采用结构相同、参数独立的双路径密集连接网络,构建红外差值路径和可见光差值路径以提高融合图像的对比度,引入通道注意力机制以使网络更聚焦于红外典型目标和可见光纹理细节;其次,将两幅源图像直接输入到网络的每一层,以提取更多的源图像特征信息;最后,考虑损失函数之间的互补,加入差值强度损失函数、差值梯度损失函数和结构相似性损失函数,以获得更具对比度的融合图像。实验表明,与多分类约束的生成对抗网络(GANMcC)、残差融合网络(RFnest)等相关融合算法相比,该方法得到的融合图像不仅在多个评价指标上均取得了最好的效果,而且具有更好的视觉效果,更符合人类视觉感知。     

一种基于生成对抗网络与注意力机制的可见光和红外图像融合方法

针对低照度可见光图像中目标难以识别的问题,提出了一种新的基于生成对抗网络的可见光和红外图像的融合方法,该方法可直接用于RGB三通道的可见光图像和单通道红外图像的融合.在生成对抗网络中,生成器采用具有编码层和解码层的U-Net结构,判别器采用马尔科夫判别器,并引入注意力机制模块,使得融合图像可以更关注红外图像上的高强度信...     

基于改进生成对抗网络的红外图像增强算法

针对红外图像细节分辨率不高、目标边缘模糊等,提出一种基于改进生成对抗网络的红外图像增强算法。首先,基于编码解码网络U-Net构建生成器,优化U-Net跳跃连接方式,融合全局上下文模块,实现全局和局部特征的上下文建模;然后,基于胶囊网络构建鉴别器,结合Res2Net改进胶囊网络结构,并对胶囊网络全连接层进行反卷积重构,实现多尺度图像特征提取,减少模型参数冗余。实验表明,与当前主流算法相比,该算法能有效突出细节信息、抑制噪声,提高图像分辨率和视觉效果。     

基于多流融合生成对抗网络的遥感图像融合方法

由于强大的高质量图像生成能力,生成对抗网络在图像融合和图像超分辨率等计算机视觉的研究中得到了广泛关注。目前基于生成对抗网络的遥感图像融合方法只使用网络学习图像之间的映射,缺乏对遥感图像中特有的全锐化领域知识的应用。该文提出一种融入全色图空间结构信息的优化生成对抗网络遥感图像融合方法。通过梯度算子提取全色图空间结构信息,将提取的特征同时加入判别器和具有多流融合架构的生成器,设计相应的优化目标和融合规则,从而提高融合图像的质量。结合WorldView-3卫星获取的图像进行实验,结果表明,所提方法能够生成高质量的融合图像,在主观视觉和客观评价指标上都优于大多先进的遥感图像融合方法。

     

基于多尺度生成对抗网络的运动散焦红外图像复原

红外热成像系统在夜间实施目标识别与检测优势明显,而移动平台上动态环境所导致的运动散焦模糊影响上述成像系统的应用。该文针对上述问题,基于生成对抗网络开展运动散焦后红外图像复原方法研究,采用生成对抗网络抑制红外图像的运动散焦模糊,提出一种针对红外图像的多尺度生成对抗网络(IMdeblurGAN)在高效抑制红外图像运动散焦模糊的同时保持红外图像细节对比度,提升移动平台上夜间目标的检测与识别能力。实验结果表明：该方法相对已有最优模糊图像复原方法,图像峰值信噪比(PSNR)提升5%,图像结构相似性(SSIMx)提升4%,目标识别YOLO置信度评分提升6%。

     

基于卷积神经网络的红外与可见光图像融合

非下采样剪切波变换(NSST)域中低频子带的融合需要人工给定融合模式,因此未能充分捕获源图像的空间连续性和轮廓细节信息.针对上述问题,提出了基于深度卷积神经网络的红外与可见光图像融合算法.首先,使用孪生双通道卷积神经网络学习NSST域低频子带的特征来输出衡量子带空间细节信息的特征图.然后,根据高斯滤波处理的特征图设计了基于局部相似性的测量函数来自适应地调整NSST域低频子带的融合模式.最后,根据NSST域高频子带的方差、局部区域能量以及可见度特征来自适应地设置脉冲耦合神经网络参数完成NSST域高频子带的融合.实验结果表明:该算法QAB/F指标略弱于对比算法,但SF、SP、SSIM以及VIFF指标分别提高了约50.42％、14.25％、7.91％以及61.67％,有效地解决了低频子带融合模式给定的问题,同时又克服了手动设置PCNN参数的缺陷.     

基于生成式对抗网络的太赫兹图像增强

太赫兹扫描成像中,由于激光器功率波动和仪器振动等原因,导致图像对比度较低,成像质量有待提高,且目前针对太赫兹图像的处理还停留在传统算法阶段.本文结合深度学习思想,提出了一种基于生成式对抗网络的图像增强方法.通过对训练集图像引入模糊和噪声,学习低质量图像和高质量图像之间的映射关系,并将其应用在真实太赫兹图像中.实验结果表...     

基于生成对抗网络的图像去雾算法

近几年在图像去雾领域中基于深度学习的方法层出不穷,利用循环生成对抗网络(CycleGAN)设计图像去雾算法.在CycleGAN中,通过对生成器进行改进来达到预期的处理效果.在生成器的编码网络和解码网络中选用Leaky ReLU和tanh两种激活函数,并对转换网络的残差块进行减少数量处理和加权优化处理.本设计能够更好地展...     

基于谱约束的生成对抗网络图像数据生成研究

数据匮乏是深度学习面临的一大难题。利用生成对抗网络(GAN)能够基于语义生成新的图像数据这一特性,提出一种基于谱约束的生成对抗网络图像数据生成方法,该方法针对卷积生成对抗网络模型易崩溃不收敛的问题,从每层神经网络的参数矩阵W的谱范数角度出发,引入谱范数归一化网络参数矩阵,将网络梯度限制在固定范围内,减缓判别网络收敛速度,从而提高GAN的训练稳定性。实验表明,通过该方法生成的数据相比原始GAN以及DCGAN、WGAN等生成的图像样本数据在图像识别网络中具有更高的准确率,能够对少量样本数据进行有效扩充。     

自注意力引导的红外与可见光图像融合算法

为确保源图像中的显著区域在融合图像保持显著,提出了一种自注意力引导的红外与可见光图像融合方法。在特征学习层引入自注意力学习机制获取源图像的特征图和自注意力图,利用自注意力图可以捕获到图像中长距离依赖的特性,设计平均加权融合策略对源图像的特征图进行融合,最后将融合后的特征图进行重构获得融合图像。通过生成对抗网络实现了图像特征编码、自注意力学习、融合规则和融合特征解码的学习。TNO真实数据上的实验表明,学习到注意力单元体现了图像中显著的区域,能够较好地引导融合规则的生成,提出的算法在客观和主观评价上优于当前主流红外与可见光图像融合算法,较好地保留了可见光图像的细节信息和红外图像的红外目标信息。     

可见光与红外图像组K-SVD融合方法

传统稀疏表示融合方法,以图像块进行字典训练和稀疏分解,由于没有考虑图像块之间的内在联系,易造成字典原子表征图像特征能力不足、稀疏系数不准确,导致图像融合效果不好.为此,本文提出可见光与红外图像组K-SVD(K-means singular value decomposition)融合方法,利用图像的非局部相似性,将相似...     

一种基于U-Net生成对抗网络的低照度图像增强方法

在低照度环境下采集的图像具有低信噪比、低对比度及低分辨率等特点,导致图像难以识别利用.为了提升低照度图像的质量,本文提出一种基于U-Net生成对抗网络的低照度图像增强方法.首先利用U-Net框架实现生成对抗网络中的生成网络,然后利用该生成对抗网络学习从低照度图像到正常照度图像的特征映射,最终实现低照度图像的照度增强.实验结果表明,与主流算法相比,本文提出的方法能够更有效的提升低照度图像的亮度与对比度.     

利用生成对抗网络的时频图像去噪和增强处理

针对雷达信号时频图像的去噪和增强问题,提出了利用生成对抗网络二次生成时频图像的方法。首先利用时频分析产生雷达信号的时频图像作为原始数据集1;接着利用生成对抗网络对数据集1进行学习之后生成新的数据集2,数据集2相对于数据集1拥有着去噪和增强的效果;最后提取时频图像奇异值特征检验生成的数据集2的有效性。对6种常见的雷达信号的时频图像进行了仿真实验,结果证明了该方法在时频图像去噪和增加样本多样性方面是有效的。     

基于SGWT和多显著性的红外与可见光图像融合

由于谱图小波变换（Spectral Graph Wavelet Transform, SGWT）可充分利用图像在图域中的光谱特性,本文结合其对不规则小区域表达的优势,提出了一种基于多显著性的红外与可见光融合算法。首先应用SGWT将源图像分解成一个低频子带和若干个高频子带;对于低频系数,将多个互补的低层特征结合起来,提出了一种适合人眼视觉特征的多显著性融合规则,对于高频系数,充分考虑邻域像素的相关性,提出了一种区域绝对值取大规则;最后,应用了一种加权最小二乘优化（weighted least squares, WLS）方法对谱图小波重构的融合图像进行优化,在突出显著目标的同时尽可能多地保留可见光的背景细节。实验结果表明,与DWT（Discrete Wavelet Transform）、NSCT（Non-down Sampled Contourlet Transform）等7种相关算法相比,在突出红外目标的同时还能保留更多的可见光背景细节,具有较好的视觉效果;同时在方差、熵、Q_abf和互信息量4个客观评价上也均占据优势。     

基于MSPCNN与FCM的红外与可见光图像融合

针对红外和可见光图像融合存在的轮廓信息不全、边缘及纹理细节信息缺失等问题,提出一种改进简化脉冲耦合神经网络（Improved Simplified Pulse Coupled Neural Network, MSPCNN）和模糊C-均值（Fuzzy C-mean, FCM）图像融合算法。首先,将红外和可见光图像用非下采样剪切波算法（NonSubsampled Shearlet Transform,NSST）分解为高低频子带;然后对分解后的高频子带采用MSPCNN融合,用一种高斯分布权重矩阵进行处理,增强细节信息和对比度;接着,将得到的低频子带图像使用FCM聚类算法进行聚类中心提取,设置聚类中心近似阈值简化过程,实现背景分类提取;最后利NSST进行逆变换,从而完成红外和可见光的图像融合过程。通过客观评价指标计算,本文所提方法在平均梯度、标准差、平均相似度等参考指标上相对于其他同类型算法均有改善提高,由于模型参数的简化,算法运行速度相对于其他算法得到提升,算法更适用于复杂场景。     

基于BLMD和NSDFB算法的红外与可见光图像融合方法

针对传统图像融合方法容易导致融合图像出现细节不明显和目标信息不完整的问题, 本文提出一种基于二维局部均值分解 (Bidimensional Local Mean Decomposition, BLMD) 和非下采样方向滤波器组 (Nonsubsampled Directional Filter Banks, NSDFB) 算法的红外与可见光图像融合方法 (基于方向滤波的二维局部均值分解法, BidimensionalLocalMeanDecompositionbasedDirectionalFilteringAnalysis, BLMDDFA) .首先, 计算两幅原始图片的熵值, 同时提取熵值较大的图片的残余分量, 该残余分量与另一张原始图片有着较强的相关性.然后, 通过BLMD和NSDFB算法将残余分量和熵值较小的原始图片分解成低频子带和一系列不同尺度的高频方向子带, 并使用不同的融合规则分别对低频子带和高频子带进行融合.最后, 通过相应的逆变换运算获得融合图像.实验结果表明, 本文方法的融合性能在对比度、细节信息展示和目标突出方面均高于经典的融合算法, 在信息熵、标准差、空间频率和平均梯度方面较Laplacian方法中各指标分别提高了5.6％、28.9％、37.4％和47.6％, 信噪比较Laplacian方法降低了8.5％.     

基于双判别器加权生成对抗网络的图像去模糊方法

原始生成对抗网络(generative adversarial network,GAN)在训练过程中容易产生梯度消失及模式崩溃的问题,去模糊效果不佳.由此本文提出双判别器加权生成对抗网络(dual discriminator weighted generative adversarial network,D2WGAN)...     

基于多阈值分割的红外与可见光图像融合

对基于NSCT分解的可见光和红外图像的融合算法进行了优化技术研究.在场景复杂或有多个区域需要同时关注时,低频子图融合阶段采用简单的二值化区域分割方法并不能将不同区域的感兴趣目标有效地反映到融合结果中.所以本文采用基于最大熵的多阈值分割方法,并对每一个分割区域计算其区域能量比指导融合系数的求取;高频融合阶段采用最能保持图像细节的梯度最大规则.实验结果表明本文算法能够将多个区域中的感兴趣目标很好地反映到融合结果中,并保留了可见光图像丰富的细节信息和分辨率高特征,融合图像具有更好的视觉效果.     

基于卷积神经网络结合NSCT的红外与可见光图像融合

传统红外与可见光融合图像在复杂环境下存在细节缺失,特征单一导致目标模糊等问题,本文提出一种基于卷积神经网络结合非下采样轮廓波变换（non-subsampled contourlet transform,NSCT）的红外与可见光图像进行融合的方法。首先,通过卷积神经网络提取红外与可见光目标特征信息,同时利用NSCT对源图像进行多尺度分解,得到源图像的高频系数与低频系数;其次,结合目标特征图利用自适应模糊逻辑与局部方差对比度分别对源图像高频子带与低频子带进行融合;最后,通过逆NSCT变换得到融合图像并与其他5种传统算法进行对比;实验结果表明,本文方法在多个客观评价指标上均有所提高。