改进双路径生成对抗网络的红外与可见光图像融合

为了使融合图像保留更多源图像的信息,该文提出一种端到端的双融合路径生成对抗网络(GAN)。首先,在生成器中采用结构相同、参数独立的双路径密集连接网络,构建红外差值路径和可见光差值路径以提高融合图像的对比度,引入通道注意力机制以使网络更聚焦于红外典型目标和可见光纹理细节;其次,将两幅源图像直接输入到网络的每一层,以提取更多的源图像特征信息;最后,考虑损失函数之间的互补,加入差值强度损失函数、差值梯度损失函数和结构相似性损失函数,以获得更具对比度的融合图像。实验表明,与多分类约束的生成对抗网络(GANMcC)、残差融合网络(RFnest)等相关融合算法相比,该方法得到的融合图像不仅在多个评价指标上均取得了最好的效果,而且具有更好的视觉效果,更符合人类视觉感知。     

红外与可见光图像注意力生成对抗融合方法研究

目前,基于深度学习的融合方法依赖卷积核提取局部特征,而单尺度网络、卷积核大小以及网络深度的限制无法满足图像的多尺度与全局特性.为此,本文提出了红外与可见光图像注意力生成对抗融合方法.该方法采用编码器和解码器构成的生成器以及两个判别器.在编码器中设计了多尺度模块与通道自注意力机制,可以有效提取多尺度特征,并建立特征通道长...     

改进生成对抗网络实现红外与可见光图像融合

红外与可见光图像融合技术能够同时提供红外图像的热辐射信息和可见光图像的纹理细节信息,在智能监控、目标探测和跟踪等领域具有广泛的应用。两种图像基于不同的成像原理,如何融合各自图像的优点并保证图像不失真是融合技术的关键,传统融合算法只是叠加图像信息而忽略了图像的语义信息。针对该问题,提出了一种改进的生成对抗网络,生成器设计了局部细节特征和全局语义特征两路分支捕获源图像的细节和语义信息;在判别器中引入谱归一化模块,解决传统生成对抗网络不易训练的问题,加速网络收敛;引入了感知损失,保持融合图像与源图像的结构相似性,进一步提升了融合精度。实验结果表明,提出的方法在主观评价与客观指标上均优于其他代表性方法,对比基于全变分模型方法,平均梯度和空间频率分别提升了55.84%和49.95%。     

一种基于生成对抗网络与注意力机制的可见光和红外图像融合方法

针对低照度可见光图像中目标难以识别的问题,提出了一种新的基于生成对抗网络的可见光和红外图像的融合方法,该方法可直接用于RGB三通道的可见光图像和单通道红外图像的融合.在生成对抗网络中,生成器采用具有编码层和解码层的U-Net结构,判别器采用马尔科夫判别器,并引入注意力机制模块,使得融合图像可以更关注红外图像上的高强度信...     

基于双通路生成对抗网络的红外与可见光图像融合方法

针对已有红外与可见光图像融合方法没有充分考虑不同模态间及相同模态内的信息差异,融合图像存在细节纹理信息丢失、对比度低等问题,提出了一种基于双通路生成对抗网络的红外与可见光图像融合方法.通过对抗方式训练生成网络和鉴别网络,并将训练的生成网络作为最终的图像融合模型.在融合模型中采用双通路分别对红外与可见光图像进行特征提取,...     

基于生成对抗网络的可见光与红外图像融合

图像融合是图像处理领域中非常重要的分支,可见光图像与红外图像的融合在机器感知、 目标检测与追踪、监控、 遥感和图像去雾等方面扮演着十分重要的角色.针对目前一些融合算法时效性差、 复杂程度高、 泛化程度低和融合后图片信息丢失量大等问题,在神经网络FusionGAN的基础上进行了改进.在其中引入了一种多尺度卷积PSConv...     

基于N-RGAN模型的红外与可见光图像融合

目前,红外与可见光图像融合算法依然存在着对复杂场景适用性低、融合图像细节纹理信息大量丢失、对比度与清晰度不高等问题,针对上述存在的问题,本文结合非下采样剪切波变换（Non-Subsampled Shearlet Transform,NSST）、残差网络（Residual Network,ResNet）与生成对抗网络（Generative Adversarial Network, GAN）提出一种N-RGAN模型。通过NSST变换将红外与可见光图像分解为高频子带和低频子带;对高频子带进行拼接并输入由残差模块改进过的生成器,并将源红外图像作为判决标准,以此提升网络融合性能与融合图像细节刻画以及目标凸显能力;对红外图像与可见光图像进行显著性特征提取,通过自适应加权对低频子带进行融合,提升图像对比度与清晰度;对高频子带的融合结果与低频子带的融合结果进行NSST逆变换,从而得到红外与可见光图像的融合结果。通过与各类算法的融合结果进行对比,本文所提方法在峰值信噪比（Peak Signal to Noise Ratio,PSNR）、平均梯度（Average Gradient, AVG）、图像熵（Im...     

红外与可见光图像深度学习融合方法综述

红外与可见光图像融合技术充分利用不同传感器的优势,在融合图像中保留了原图像的互补信息以及冗余信息,提高了图像质量。近些年,随着深度学习方法的发展,许多研究者开始将该方法引入图像融合领域,并取得了丰硕的成果。根据不同的融合框架对基于深度学习的红外与可见光图像融合方法进行归类、分析、总结,并综述常用的评价指标以及数据集。另外,选择了一些不同类别且具有代表性的算法模型对不同场景图像进行融合,利用评价指标对比分析各算法的优缺点。最后,对基于深度学习的红外与可见光图像融合技术研究方向进行展望,总结红外与可见光融合技术,为未来研究工作奠定基础。     

基于改进生成对抗网络的红外图像超分辨率重建

由于硬件成本和拍摄条件等限制,很难直接获取高分辨率红外图像。生成对抗网络可以实现红外图像的超分辨率重建,但仍存在训练不稳定,训练时不收敛等不足。针对这些问题,本文使用Wasserstein距离代替KL散度,结合图像间的欧式距离构造新的损失函数,优化原有网络结构和算法流程,使网络更准确地学习低分辨率图像与重建图像的对应特征映射关系,网络训练更加稳定。实验结果表明,重建图像的边缘过渡平缓,目标细节得到有效保证,并获得了更好的客观评价结果。     

基于边缘保持和注意力生成对抗网络的红外与可见光图像融合

由于红外与可见光图像特征差异大,并且不存在理想的融合图像监督网络学习源图像与融合图像之间的映射关系,深度学习在图像融合领域的应用受到了限制。针对此问题,提出了一个基于注意力机制和边缘损失函数的生成对抗网络框架,应用于红外与可见光图像融合。通过引入对抗训练和注意力机制的思想,将融合问题视为源图像和融合图像对抗的关系,并结合了通道注意力和空间注意力机制学习特征通道域和空间域的非线性关系,增强了显著性目标特征表达。同时提出了一种边缘损失函数,将源图像与融合图像像素之间的映射关系转化为边缘之间的映射关系。多个数据集的测试结果表明,该方法能有效融合红外目标和可见光纹理信息,锐化图像边缘,显著提高图像清晰度和对比度。     

基于生成对抗网络与ResUNet的细胞核图像分割

细胞核的精准分割是病理诊断的基础工作,针对目前分割算法存在细小特征提取难、细节丢失多等问题,本文提出了一种基于生成对抗网络(generative adversarial network, GAN)与ResUNet的分割网络。首先将ResUNet网络作为生成网络(generator, G),利用LeakyReLU激活函数使负值特征能够得到激活,其次再通过判别网络(discriminator, D)的判别损失值引导生成网络更好地学习。实验结果显示,在乳腺癌细胞核数据集和DSB数据集上MioU、Dice、Acc等评价指标分别达到82%、83%、95%和90%、90%、97%,较ResUNet网络分别提升了2.5%、3.3%、0.7%和0.7%、1.5%、0.8%。同时与SegNet、FCN8s等6种常用分割网络的分割结果对比均有提升,结果证明本文改进后的网络具有较好的分割准确率,可以为病理诊断工作提供重要依据。     

改进生成式对抗网络的图像数据集增强算法

针对现有深度学习中图像数据集缺乏的问题,提出了一种基于深度卷积生成式对抗网络(Deep Convolutional Generative Adversarial Network, DCGAN)的图像数据集增强算法。该算法对DCGAN网络进行改进,首先在不过多增加计算量的前提下改进现有的激活函数,增强生成特征的丰富性与多样性;然后通过引入相对判别器有效缓解模式坍塌现象,从而提升模型稳定性;最后在现有生成器结构中引入残差块,获得相对高分辨率的生成图像。实验结果表明,将所提方法应用在MNIST、SAR和医学血细胞数据集上,图像数据增强效果与未改进的DCGAN网络相比显著提升。     

基于生成对抗网络的单帧红外图像超分辨算法

高分辨率红外图像的获取受到了硬件性能的限制,利用信号处理的方法实现红外图像的超分辨率重建可以有效地提高红外图像的分辨率.将基于深度学习的超分辨方法应用于红外图像,实现了单帧红外图像的超分辨率重建,获得了更好的评价结果.通过引入对抗训练的思想,以及添加基于判别网络的损失函数分量,提高了放大倍数的同时,获得更好的高频细节恢复,图像边缘锐化,避免了超分辨率红外图像过于模糊.     

Advances in generative adversarial network

Generative adversarial network (GAN) have swiftly become the focus of considerable research in generative models soon after its emergence,whose academic research and industry applications have yielded a stream of further progress along with the remarkable achievements of deep learning.A broad survey of the recent advances in generative adversarial network was provided.Firstly,the research background and motivation of GAN was introduced.Then the recent theoretical advances of GAN on modeling,architectures,training and evaluation metrics were reviewed.Its state-of-the-art applications and the extensively used open source tools for GAN were introduced.Finally,issues that require urgent solutions and works that deserve further investigation were discussed.     

基于渐进式生成对抗网络的舰船红外图像仿真

红外图像仿真在红外导引头设计、仿真训练中起到十分关键的作用.针对如何生成高分辨率、视觉特征可控的红外图像,提出了一种基于渐进式生成对抗网络的红外图像仿真方法.本文利用舰船模型的红外图像数据集训练了图像合成网络,输入随机特征向量,输出高分辨率的红外仿真图像;设计了图像编码网络,实现红外图像到特征向量的转换;利用Logis...     

Constrained adversarial loss for generative adversarial network‐based faithful image restoration

Generative adversarial networks (GAN) have been successfully used in many image restoration tasks, including image denoising, super‐resolution, and compression artifact reduction. By fully exploiting its characteristics, state‐of‐the‐art image restoration techniques can be used to generate images with photorealistic details. However, there are many applications that require faithful rather than visually appealing image reconstruction, such as medical imaging, surveillance, and video coding. We found that previous GAN‐training methods that used a loss function in the form of a weighted sum of fidelity and adversarial loss fails to reduce fidelity loss. This results in non‐negligible degradation of the objective image quality, including peak signal‐to‐noise ratio. Our approach is to alternate between fidelity and adversarial loss in a way that the minimization of adversarial loss does not deteriorate the fidelity. Experimental results on compression‐artifact reduction and super‐resolution tasks show that the proposed method can perform faithful and photorealistic image restoration.     

一种基于先验生成对抗网络的人脸超分辨率重建方法

针对人脸超分辨率算法中图像失真大、缺乏细节特征等问题,提出了一种基于先验知识的人脸超分辨率重建模型。通过在超分网络中加入纹理辅助分支,为重建过程提供额外纹理结构先验,以生成精细的面部纹理,恢复高分辨率纹理图。同时引入级联叠加模块对纹理辅助分支进行反馈。设计特征融合模块,将纹理特征图与超分分支特征图融合,获得更好的纹理细节;将纹理损失融入损失函数,以提高网络恢复纹理细节的能力。4倍放大因子下,该方法的峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)、结构相似性指数(Structural Similarity Index, SSIM)比现有方法至少提升1.082 5 dB和0.036,无参考图像质量评价(Natural Image Quality Evaluator, NIQE)至少降低1.690 2;8倍放大因子下,该方法的PSNR与SSIM值分别至少提升0.787 5 dB和0.046 85,NIQE值最小降低3.92。     

噪声稳健性的卡方生成对抗网络

针对不同分布噪声下生成对抗网络生成样本质量差异明显的问题,提出了一种噪声稳健性的卡方生成对抗网络。所提网络结合了卡方散度量化敏感性和稀疏不变性的优势,引入卡方散度计算生成样本分布和真实样本分布的距离,减小不同噪声对生成样本的影响且降低对真实样本的质量要求;搭建了网络架构,构建全局优化目标函数,促进网络不断优化并增强博弈的有效性。实验结果表明,所提网络在不同噪声下的生成样本质量和稳健性优于目前几种主流网络,且图像质量差异较小。卡方散度的引入不仅提高了生成样本质量,而且提升了网络在不同噪声下的稳健性。