改进双路径生成对抗网络的红外与可见光图像融合

为了使融合图像保留更多源图像的信息,该文提出一种端到端的双融合路径生成对抗网络(GAN)。首先,在生成器中采用结构相同、参数独立的双路径密集连接网络,构建红外差值路径和可见光差值路径以提高融合图像的对比度,引入通道注意力机制以使网络更聚焦于红外典型目标和可见光纹理细节;其次,将两幅源图像直接输入到网络的每一层,以提取更多的源图像特征信息;最后,考虑损失函数之间的互补,加入差值强度损失函数、差值梯度损失函数和结构相似性损失函数,以获得更具对比度的融合图像。实验表明,与多分类约束的生成对抗网络(GANMcC)、残差融合网络(RFnest)等相关融合算法相比,该方法得到的融合图像不仅在多个评价指标上均取得了最好的效果,而且具有更好的视觉效果,更符合人类视觉感知。     

红外与可见光图像注意力生成对抗融合方法研究

目前,基于深度学习的融合方法依赖卷积核提取局部特征,而单尺度网络、卷积核大小以及网络深度的限制无法满足图像的多尺度与全局特性.为此,本文提出了红外与可见光图像注意力生成对抗融合方法.该方法采用编码器和解码器构成的生成器以及两个判别器.在编码器中设计了多尺度模块与通道自注意力机制,可以有效提取多尺度特征,并建立特征通道长...     

改进生成对抗网络实现红外与可见光图像融合

红外与可见光图像融合技术能够同时提供红外图像的热辐射信息和可见光图像的纹理细节信息,在智能监控、目标探测和跟踪等领域具有广泛的应用。两种图像基于不同的成像原理,如何融合各自图像的优点并保证图像不失真是融合技术的关键,传统融合算法只是叠加图像信息而忽略了图像的语义信息。针对该问题,提出了一种改进的生成对抗网络,生成器设计了局部细节特征和全局语义特征两路分支捕获源图像的细节和语义信息;在判别器中引入谱归一化模块,解决传统生成对抗网络不易训练的问题,加速网络收敛;引入了感知损失,保持融合图像与源图像的结构相似性,进一步提升了融合精度。实验结果表明,提出的方法在主观评价与客观指标上均优于其他代表性方法,对比基于全变分模型方法,平均梯度和空间频率分别提升了55.84%和49.95%。     

一种基于生成对抗网络与注意力机制的可见光和红外图像融合方法

针对低照度可见光图像中目标难以识别的问题,提出了一种新的基于生成对抗网络的可见光和红外图像的融合方法,该方法可直接用于RGB三通道的可见光图像和单通道红外图像的融合.在生成对抗网络中,生成器采用具有编码层和解码层的U-Net结构,判别器采用马尔科夫判别器,并引入注意力机制模块,使得融合图像可以更关注红外图像上的高强度信...     

基于双通路生成对抗网络的红外与可见光图像融合方法

针对已有红外与可见光图像融合方法没有充分考虑不同模态间及相同模态内的信息差异,融合图像存在细节纹理信息丢失、对比度低等问题,提出了一种基于双通路生成对抗网络的红外与可见光图像融合方法.通过对抗方式训练生成网络和鉴别网络,并将训练的生成网络作为最终的图像融合模型.在融合模型中采用双通路分别对红外与可见光图像进行特征提取,...     

基于生成对抗网络的可见光与红外图像融合

图像融合是图像处理领域中非常重要的分支,可见光图像与红外图像的融合在机器感知、 目标检测与追踪、监控、 遥感和图像去雾等方面扮演着十分重要的角色.针对目前一些融合算法时效性差、 复杂程度高、 泛化程度低和融合后图片信息丢失量大等问题,在神经网络FusionGAN的基础上进行了改进.在其中引入了一种多尺度卷积PSConv...     

基于N-RGAN模型的红外与可见光图像融合

目前,红外与可见光图像融合算法依然存在着对复杂场景适用性低、融合图像细节纹理信息大量丢失、对比度与清晰度不高等问题,针对上述存在的问题,本文结合非下采样剪切波变换（Non-Subsampled Shearlet Transform,NSST）、残差网络（Residual Network,ResNet）与生成对抗网络（Generative Adversarial Network, GAN）提出一种N-RGAN模型。通过NSST变换将红外与可见光图像分解为高频子带和低频子带;对高频子带进行拼接并输入由残差模块改进过的生成器,并将源红外图像作为判决标准,以此提升网络融合性能与融合图像细节刻画以及目标凸显能力;对红外图像与可见光图像进行显著性特征提取,通过自适应加权对低频子带进行融合,提升图像对比度与清晰度;对高频子带的融合结果与低频子带的融合结果进行NSST逆变换,从而得到红外与可见光图像的融合结果。通过与各类算法的融合结果进行对比,本文所提方法在峰值信噪比（Peak Signal to Noise Ratio,PSNR）、平均梯度（Average Gradient, AVG）、图像熵（Im...     

红外与可见光图像深度学习融合方法综述

红外与可见光图像融合技术充分利用不同传感器的优势,在融合图像中保留了原图像的互补信息以及冗余信息,提高了图像质量。近些年,随着深度学习方法的发展,许多研究者开始将该方法引入图像融合领域,并取得了丰硕的成果。根据不同的融合框架对基于深度学习的红外与可见光图像融合方法进行归类、分析、总结,并综述常用的评价指标以及数据集。另外,选择了一些不同类别且具有代表性的算法模型对不同场景图像进行融合,利用评价指标对比分析各算法的优缺点。最后,对基于深度学习的红外与可见光图像融合技术研究方向进行展望,总结红外与可见光融合技术,为未来研究工作奠定基础。     

基于改进生成对抗网络的红外图像超分辨率重建

由于硬件成本和拍摄条件等限制,很难直接获取高分辨率红外图像。生成对抗网络可以实现红外图像的超分辨率重建,但仍存在训练不稳定,训练时不收敛等不足。针对这些问题,本文使用Wasserstein距离代替KL散度,结合图像间的欧式距离构造新的损失函数,优化原有网络结构和算法流程,使网络更准确地学习低分辨率图像与重建图像的对应特征映射关系,网络训练更加稳定。实验结果表明,重建图像的边缘过渡平缓,目标细节得到有效保证,并获得了更好的客观评价结果。     

基于边缘保持和注意力生成对抗网络的红外与可见光图像融合

由于红外与可见光图像特征差异大,并且不存在理想的融合图像监督网络学习源图像与融合图像之间的映射关系,深度学习在图像融合领域的应用受到了限制。针对此问题,提出了一个基于注意力机制和边缘损失函数的生成对抗网络框架,应用于红外与可见光图像融合。通过引入对抗训练和注意力机制的思想,将融合问题视为源图像和融合图像对抗的关系,并结合了通道注意力和空间注意力机制学习特征通道域和空间域的非线性关系,增强了显著性目标特征表达。同时提出了一种边缘损失函数,将源图像与融合图像像素之间的映射关系转化为边缘之间的映射关系。多个数据集的测试结果表明,该方法能有效融合红外目标和可见光纹理信息,锐化图像边缘,显著提高图像清晰度和对比度。     

基于GAN的ISAR图像语义分割方法

逆合成孔径雷达（ISAR）成像技术能够对空间目标进行远距离成像,刻画目标的外形、结构和尺寸等信息。ISAR图像语义分割能够获取目标的感兴趣区域,是ISAR图像解译的重要技术支撑,具有非常重要的研究价值。由于ISAR图像表征性较差,图像中散射点的不连续和强散射点存在的旁瓣效应使得人工精准标注十分困难,基于交叉熵损失的传统深度学习语义分割方法在语义标注不精准情况下无法保证分割性能的稳健。针对这一问题,提出了一种基于生成对抗网络（GAN）的ISAR图像语义分割方法,采用对抗学习思想学习ISAR图像分布到其语义分割图像分布的映射关系,同时通过构建分割图像的局部信息和全局信息来保证语义分割的精度。基于仿真卫星目标ISAR图像数据集的实验结果证明,本文方法能够取得较好的语义分割结果,且在语义标注不够精准的情况下模型更稳健。     

一种基于U-Net生成对抗网络的低照度图像增强方法

在低照度环境下采集的图像具有低信噪比、低对比度及低分辨率等特点,导致图像难以识别利用.为了提升低照度图像的质量,本文提出一种基于U-Net生成对抗网络的低照度图像增强方法.首先利用U-Net框架实现生成对抗网络中的生成网络,然后利用该生成对抗网络学习从低照度图像到正常照度图像的特征映射,最终实现低照度图像的照度增强.实验结果表明,与主流算法相比,本文提出的方法能够更有效的提升低照度图像的亮度与对比度.     

基于子空间投影的生成对抗网络红外图像降噪

针对红外图像信噪比低、边缘信息模糊、杂波干扰多等检测难点,提出一种基于子空间投影的生成对抗网络红外图像降噪方法。首先,生成器由U-Net结构和子空间注意力网络构成,编码阶段由4层下采样实现图像特征提取,解码阶段由4层上采样重建图像。其次,在每层跳跃连接中加入子空间投影网络,每层特征图与同层上采样后图像共同放入子空间投影网络进行图像特征融合,将投影特征图与原始高级特征融合实现图像降噪。最后,将图像输入到鉴别器进行对抗训练,得到清晰重建图像。实验结果表明,与BM3D,DnCNN等常用算法相比,改进的生成对抗网络算法有更好的客观评价指标效果,PSNR和SSIM分别达到了34.36,0.9852dB,从而验证了改进算法的良好降噪性能。     

基于生成对抗网络与ResUNet的细胞核图像分割

细胞核的精准分割是病理诊断的基础工作,针对目前分割算法存在细小特征提取难、细节丢失多等问题,本文提出了一种基于生成对抗网络(generative adversarial network, GAN)与ResUNet的分割网络。首先将ResUNet网络作为生成网络(generator, G),利用LeakyReLU激活函数使负值特征能够得到激活,其次再通过判别网络(discriminator, D)的判别损失值引导生成网络更好地学习。实验结果显示,在乳腺癌细胞核数据集和DSB数据集上MioU、Dice、Acc等评价指标分别达到82%、83%、95%和90%、90%、97%,较ResUNet网络分别提升了2.5%、3.3%、0.7%和0.7%、1.5%、0.8%。同时与SegNet、FCN8s等6种常用分割网络的分割结果对比均有提升,结果证明本文改进后的网络具有较好的分割准确率,可以为病理诊断工作提供重要依据。     

基于生成对抗网络的红外图像自适应校正算法

红外相机经过两点校正后会发生漂移,导致图像产生非均匀性噪声.传统的基于场景的非均匀性校正算法适应性较强,但会产生鬼影问题.基于深度学习的非均匀性校正方法,面对红外图像特殊的非均匀性噪声,随着网络深度增加,很容易出现图像模糊,对比度变小,细节丢失问题.针对此问题,提出一种基于生成对抗网络的非均匀性校正算法,网络分为生成网...     

基于Curvelet变换的图像融合改进算法

针对红外与可见光图像的融合,提出了基于二代Curvelet变换的图像融合改进算法。首先对两幅源图像进行Curvelet变换,得到其在不同尺度和方向下的变换系数。对于低频系数,根据红外与可见光图像的不同成像特点,采用基于局部统计特性的自适应融合策略;对于不同尺度和方向下的高频系数,采用基于局部区域能量匹配的系数选择方案。最后进行Curvelet逆变换得到融合图像。通过实验结果的对比分析,该算法可以更有效地反映源图像中的特征,融合效果有了明显改善。     

多层级及对比度提升的红外和可见光图像融合

提出了一种针对红外和可见光图像的有效融合算法。首先,在Petrovi?多层级图像融合体系的基础上,在特征级信息中加入高频边缘分量,提高了融合质量;其次,分析了图像特点及目标的物理特性,提出了针对融合结果的对比度提升方法,进一步了提高融合质量。通过主观观察以及客观指标对比证明,该方法获得了优于其他比较方法的融合结果,并且对比度提升方法明显提高了各类方法的红外和可见光图像融合质量,效果好,具有广泛的适用性。