使用VGG能量损失的单图像超分辨率重建

单幅图像的超分辨率重建（single image super-resolution,简称SR）是一项重要的图像合成任务.目前,在基于神经网络的SR任务中,常用的损失函数包括基于内容的重构损失和基于生成对抗网络（generative adversarial network,简称GAN）的对抗损失.但是,基于传统的GAN的超分辨率重建模型（SRGAN）在判别器接收高分辨率图像作为输入时,输出判别信号不稳定.为了缓解这个问题,在SRGAN以及常用的VGG重构损失框架上,设计了一个稳定的基于能量的辅助对抗损失,称为VGG能量损失.该能量损失使用重构损失中的VGG编码部分,针对VGG编码设计相应的解码器,构建一个U-Net自编码结构VGG-UAE,利用VGG-UAE的重构损失表示能量,并使用该能量函数为生成器提供梯度;基于追踪能量函数的思想,VGG-UAE使生成器生成的高分辨率样本追踪真实数据的能量流.实验部分验证了使用VGG能量损失将比使用传统的GAN损失可以生成更有效的高分辨率图像.     

基于注意力机制的入侵检测生成对抗网络模型

针对传统基于生成对抗网络（GAN）模型存在生成对抗样本无效且训练效率低等问题,提出一种基于注意力机制的GAN模型,通过在生成器模块引入注意力机制,保留攻击流量攻击功能的同时,对输入向量的不同部分设置不同权值,以实现对关键特征信息的抽取,使得模型可以作出更准确的判断,同时提高训练的效率。生成器根据注意力特征图可以抽取攻击流量中的非功能特征进行修改,提高训练效率,结合判别器判别反馈结果,最终生成器可以生成保留攻击功能的有效对抗样本。实验针对基于卷积神经网络（CNN）类的深度入侵检测系统进行测试,验证了此基于注意力机制的GAN对抗攻击模型生成的对抗流量可以有效降低深度入侵检测系统的识别率,整体识别率降低超过10%,在注意力模块的帮助下模型能够针对重要特征进行训练,使得收敛速度更快、效率更高。     

基于对偶生成式领域自适应网络的问答系统

针对生成式对抗网络在半监督问答系统领域的局限性：1.生成式对抗网络中的判别器与生成器存在结构对偶属性,在现有研究中被忽略。2.直接使用生成器生成的问答句对与人工标注的问答句对训练判别器易产生过拟合与偏差判别器。为了解决以上局限性,提出一种新型的对偶生成式域自适应网络。首先,设计判别器与生成器作为对偶闭环,提出概率对偶正则化项监督生成器与判别器训练过程,同时训练判别器与生成器,使得反馈信号在两者之间共享。然后,提出领域标签作为判别器的额外输入,区分生成器生成的问答句对与人工标注的问答句对,防止判别器过拟合与生存偏差判别器。基于问答数据集SQUAD数据集进行实验,实验结果表明,提出的对偶生成式域自适应网络相对于全监督问答模型具有好的性能,节省超过一半的标签成本;相对于传统生成式对抗网络具有更优的F1值与EM值。     

基于生成对抗网络的雾霾场景图像转换算法

本文提出了一种新的基于生成对抗网络的雾霾场景图像转换算法.生成对抗网络GAN作为无监督学习的方法,无法实现图像像素与像素之间映射,即生成图像不可控.因此,基于模型的加雾算法存在参数不确定性和应用场景局限性,本文提出了一种新方法的新应用,利用生成对抗网络实现图像转换.该方法基于生成对抗网络GAN模型,改进了GAN的生成器和判别器,进行有监督学习,以训练雾霾图像生成像素与像素之间的映射关系,实现无雾图像与有雾图像之间的转换.以图像加雾为例,本文分别设计了生成网络和判决网络,生成网络用于合成有雾图像,判决网络用于辨别合成的雾霾图像的真伪.考虑到雾霾场景图像转换的对应效果,设计了一种快捷链接沙漏形生成器网络结构,采用无雾图像作为生成网络输入,并输出合成后的有雾霾图像;具体来看,将生成网络分成编码和解码两部分,并通过相加对应间隔的卷积层来保留图像的底层纹理信息.为了更好地检验合成雾霾图像的真实程度,设计了漏斗形全域卷积判决器网络,将合成图像和目标图像分别通过判决器辨别真伪,采用全域卷积,利用神经网络进行多层下采样,最终实现分类判决,辨别图像风格.此外,本文提出了一种新的网络损失函数,通过计算GAN损失和绝对值损失之和,以训练得到更为优秀的图像转换结果.GAN损失函数的作用是使生成对抗网络GAN模型训练更加准确,而雾霾图像合成算法实际上是一个回归问题而非分类问题,生成器的作用不仅是训练判决器更加灵敏,更重要的是要生成与目标图像相似的图像.因此利用优化回归问题的绝对值损失函数,作用是为了准确学习像素间的映射关系,避免出现偏差和失真.最后本文对多类不同图像进行图像的雾霾场景转换并进行评估,分别测试该算法的图像加雾和去雾效果,并与其他算法进行对比测试.对于加雾效果,在合成场景、虚拟场景下,与软件合成效果进行对比,本文算法效果明显比软件合成效果好,不会出现色彩失真;在真实场景下,本文算法与真实拍摄的雾霾天气进行对比,结果十分相近;并且与其他GAN图像转换算法进行对比,本文算法具有明显的优势.同样本文算法在去雾效果上优势也十分明显.结果表明,本文所提基于生成对抗网络的雾霾场景图像转换算法,在主观效果和客观指标上均具有明显优势.     

生成对抗网络在各领域应用研究进展

随着深度学习的快速发展, 生成式模型领域也取得了显著进展. 生成对抗网络(Generative adversarial network, GAN)是一种无监督的学习方法, 它是根据博弈论中的二人零和博弈理论提出的. GAN具有一个生成器网络和一个判别器网络, 并通过对抗学习进行训练. 近年来, GAN成为一个炙手可热的研究方向. GAN不仅在图像领域取得了不错的成绩, 还在自然语言处理(Natural language processing, NLP)以及其他领域崭露头角. 本文对GAN的基本原理、训练过程和传统GAN存在的问题进行了阐述, 进一步详细介绍了通过损失函数的修改、网络结构的变化以及两者结合的手段提出的GAN变种模型的原理结构, 其中包括: 条件生成对抗网络(Conditional GAN, CGAN)、基于Wasserstein 距离的生成对抗网络(Wasserstein-GAN, WGAN)及其基于梯度策略的WGAN (WGAN-gradient penalty, WGAN-GP)、基于互信息理论的生成对抗网络(Informational-GAN, InfoGAN)、序列生成对抗网络(Sequence GAN, SeqGAN)、Pix2Pix、循环一致生成对抗网络(Cycle-consistent GAN, Cycle GAN)及其增强Cycle-GAN (Augmented CycleGAN). 概述了在计算机视觉、语音与NLP领域中基于GAN和相应GAN变种模型的基本原理结构, 其中包括: 基于CGAN的脸部老化应用(Face aging CGAN, Age-cGAN)、双路径生成对抗网络(Two-pathway GAN, TP-GAN)、表示解析学习生成对抗网络(Disentangled representation learning GAN, DR-GAN)、对偶学习生成对抗网络(DualGAN)、GeneGAN、语音增强生成对抗网络(Speech enhancement GAN, SEGAN)等. 介绍了GAN在医学、数据增强等领域的应用情况, 其中包括: 数据增强生成对抗网络(Data augmentation GAN, DAGAN)、医学生成对抗网络(Medical GAN, MedGAN)、无监督像素级域自适应方法(Unsupervised pixel-level domain adaptation method, PixelDA). 最后对GAN未来发展趋势及方向进行了展望.     

基于GAN模型优化的神经机器翻译

针对神经机器翻译和人工翻译性能的差异最小化、训练语料不足问题, 提出了一种基于生成对抗网络的神经机器翻译改进方法.首先对目标端句子序列添加微小的噪声干扰, 通过编码器还原原始句子形成新的序列; 其次将编码器的处理结果交给判别器和解码器进一步处理, 在训练过程中, 判别器和双语评估基础值(BLEU)目标函数用于评估生成的句子, 并将结果反馈给生成器, 引导生成器学习及优化.实验结果表明, 对比传统的神经机器翻译模型, 基于GAN模型的方法极大地提高了模型的泛化能力和翻译的精度.     

融合多感受野与注意力的太阳能电池缺陷生成算法

针对太阳能电池某些缺陷图像样本较少的问题,提出融合多感受野与注意力的太阳能电池缺陷生成算法,并将生成图像用于缺陷检测模型的训练.首先,构造双判别器的生成对抗网络,全局判别器与局部判别器分别关注图像中的全局信息与局部细节.然后,设计多感受野特征提取,与改进的注意力模块融合为多感受野注意力模块,用于设计生成器和判别器的网络结构.最后,在损失函数中加入结构相似性损失与峰值信噪比损失,用于训练生成器,并对生成图像进行均值滤波处理.在太阳能电池电致发光数据集上对3种不同尺度的缺陷图像进行生成实验,结果表明,3种缺陷生成图像的结构相似性指标与峰值信噪比指标都较高.此外,在利用生成的缺陷图像进行YOLOv7检测模型的训练后,3种缺陷的平均精度均值较高.     

基于单阶段GANs的文本生成图像模型

针对目前生成以文本为条件的图像通常会遇到生成质量差、训练不稳定的问题,提出了通过单阶段生成对抗网络(GANs)生成高质量图像的模型.具体而言,在GANs的生成器中引入注意力机制生成细粒度的图像,同时通过在判别器中添加局部-全局语言表示,来精准地鉴别生成图像和真实图像;通过生成器和判别器之间的相互博弈,最终生成高质量图像...     

一种基于生成对抗网络的图像修复算法

针对目前基于生成对抗网络(GAN)的图像修复算法存在修复效果的视觉连续性不佳、网络训练过程中模型崩溃等问题,提出一种基于双判别器的生成对抗网络的修复算法。该方法将WGAN-GP的损失函数引入全局判别器和局部判别器中,并结合改进的上下文内容损失来训练网络模型,修复破损区域。在CelebA数据集以峰值信噪比PSNR和结构相似性SSIM的标准下的实验结果证明,该算法提高了图像修复结果的质量和训练稳定性。     

基于生成对抗网络的多聚焦图像融合

多聚焦图像融合能够融合同一场景下具有不同聚焦部分的一系列图像.为了克服多聚焦图像融合模糊特征提取中存在的不足,提出一种基于U-Net的生成对抗网络模型.首先,生成器采用U-Net和SSE对多聚焦图像的特征进行提取,并完成图像融合;其次,判别器采用卷积层对已知的融合结果和生成器生成的融合图像进行分辨;然后,损失函数采用生成器的对抗损失、映射损失、梯度损失、均方误差损失和判别器对抗损失对生成网络进行参数调节;最后,将生成器、判别器和损失函数组成生成对抗网络模型,并进行实验.Pascal VOC2012数据集作为生成对抗网络的训练集,包括近焦图像、远焦图像、映射图像和融合图像.实验结果证明,该生成对抗网络模型能够有效地提取多聚焦图像中的模糊特征,且融合图像在互信息、相位一致性和感知相似性等方面表现优异.     

结合频谱规范化与自注意力机制的DCGAN研究

针对基于深度卷积对抗式生成网络的图像生成方法存在训练过程稳定性亟待提高、图像生成质量效果欠佳等问题,提出一种将频谱规范化、自注意力机制与深度卷积对抗式生成网络结合的图像生成方法.在网络结构中,将频谱规范化的权重标准技术引入判别器,使判别器的参数矩阵满足Lipschitz约束,提高网络模型训练过程的稳定性;将自注意力机制...     

UIFGAN: An unsupervised continual-learning generative adversarial network for unified image fusion

In this paper, we propose a novel unsupervised continual-learning generative adversarial network for unified image fusion, termed as UIFGAN. In our model, for multiple image fusion tasks, a generative adversarial network for training a single model with memory in a continual-learning manner is proposed, rather than training an individual model for each fusion task or jointly training multiple tasks. We use elastic weight consolidation to avoid forgetting what has been learned from previous tasks when training multiple tasks sequentially. In each task, the generation of the fused image comes from the adversarial learning between a generator and a discriminator. Meanwhile, a max-gradient loss function is adopted for forcing the fused image to obtain richer texture details of the corresponding regions in two source images, which applies to most typical image fusion tasks. Extensive experiments on multi-exposure, multi-modal and multi-focus image fusion tasks demonstrate the advantages of our method over the state-of-the-art approaches.     

基于半监督对抗学习的图像语义分割

目的 将半监督对抗学习应用于图像语义分割,可以有效减少训练过程中人工生成标记的数量。作为生成器的分割网络的卷积算子只具有局部感受域,因此对于图像不同区域之间的远程依赖关系只能通过多个卷积层或增加卷积核的大小进行建模,但这种做法也同时失去了使用局部卷积结构获得的计算效率。此外,生成对抗网络(generative adversarial network, GAN)中的另一个挑战是判别器的性能控制。在高维空间中,由判别器进行的密度比估计通常是不准确且不稳定的。为此,本文提出面向图像语义分割的半监督对抗学习方法。方法 在生成对抗网络的分割网络中附加两层自注意模块,在空间维度上对语义依赖关系进行建模。自注意模块通过对所有位置的特征进行加权求和,有选择地在每个位置聚合特征。因而能够在像素级正确标记值数据的基础上有效处理输入图像中广泛分离的空间区域之间的关系。同时,为解决提出的半监督对抗学习方法的稳定性问题,在训练过程中将谱归一化应用到对抗网络的判别器中,这种加权归一化方法不仅可以稳定判别器网络的训练,并且不需要对唯一的超参数进行密集调整即可获得满意性能,且实现简单,计算量少,即使在缺乏互补的正则化...     

并行生成网络的红外—可见光图像转换

目的 针对现有图像转换方法的深度学习模型中生成式网络（generator network）结构单一化问题，改进了条件生成式对抗网络（conditional generative adversarial network，CGAN）的结构，提出了一种融合残差网络（ResNet）和稠密网络（DenseNet）两种不同结构的并行生成器网络模型。方法 构建残差、稠密生成器分支网络模型，输入红外图像，分别经过残差、稠密生成器分支网络各自生成可见光转换图像，并提出一种基于图像分割的线性插值算法，将各生成器分支网络的转换图像进行融合，获取最终的可见光转换图像；为防止小样本条件下的训练过程中出现过拟合，在判别器网络结构中插入dropout层；设计最优阈值分割目标函数，在并行生成器网络训练过程中获取最优融合参数。结果 在公共红外-可见光数据集上测试，相较于现有图像转换深度学习模型Pix2Pix和CycleGAN等，本文方法在性能指标均方误差（mean square error，MSE）和结构相似性（structural similarity index，SSIM）上均取得显著提高。结论 并行生成器网络模型有效融合了各分支网络结构的优点，图像转换结果更加准确真实。     

结合生成对抗网络及多角度注意力的图像翻译模型

本文提出一个新的无监督图像翻译模型,该模型结合了生成对抗网络和多角度注意力,称为MAGAN.多角度注意力引导翻译模型将注意力集中在不同域间最具有判别性的区域.与现存的注意力方法不同的是,空间激活映射一方面捕获通道间的依赖,减少翻译图像的特征扭曲;另一方面决定网络对最具判别性区域的空间位置的关注程度,使翻译的图像更具有目标域风格.在空间激活映射的基础上,结合类激活映射,可以获得图像的全局语义信息.此外,根据空间激活程度对图像特征信息的影响,设计不同的注意力结构分别训练生成器和判别器.实验结果表明,本文模型在selfie2anime、cat2dog、horse2zebra和vangogh2photo这4个数据集上的KID分数分别达到9.48、6.32、6.42和4.28,性能优于大部分主流模型,并且与基线模型UGATIT相比,在selfie2anime、cat2dog和horse2zebra这3个数据集上的距离值分别减少了2.13、0.75和0.64,具有明显的性能优势.     

基于多层次判别器的图像翻译模型

图像翻译是一类重要的视觉问题,其目标是学习两个视觉域之间的映射,同时保持原始结构或语义。图像翻译研究领域主要存在两个难点,一是缺少配对的图片训练集;二是很难由单个输入产生多种输出。基于解表示的图像翻译模型(DRIT)虽然同时解决这两个难点,但输出的结果显示仍然存在生成图像质量不佳的问题。造成输出质量不佳的一个原因是由于从判别器到生成器的梯度反向传播过程较长,使得训练初期生成器的梯度所包含信息量较少。在DRIT模型研究基础上,本文提出了一种基于多层次判别的多目标图像翻译模型,一定程度上解决了生成图像质量不佳的问题。我们的数值实验结果也表明了本文提出的多层次判别结构对输出质量的提高具有一定的帮助。     

基于衰减式生成对抗网络的单幅图像阴影去除

图像中的阴影是投影物体的重要视觉信息,但也会对计算机视觉任务造成影响。现有的单幅图像阴影去除方法因鲁棒阴影特征的缺乏或训练样本数据的不足与误差等原因,无法得到好的阴影去除结果。为了准确生成用于描述阴影区域光照衰减程度的蒙版图像,进而获得高质量的无阴影图像,提出了一种基于衰减式生成对抗网络的单幅图像阴影去除方法。首先,敏感因子引导的衰减器被用来提升训练样本数据,为后续的生成器与判别器提供符合物理光照模型的阴影样本图像。其次,生成器将结合感知损失,并在判别器的督促下得到最终阴影蒙版。与相关研究工作比较,所提方法能有效恢复阴影区域的光照信息,可以得到更为逼真、阴影边界过渡更加自然的无阴影图像。利用客观指标评价阴影去除结果。实验结果表明,该方法能在多个真实场景下有效去除阴影,去阴影结果视觉一致性良好。     

基于对抗生成网络的中国山水画自动生成模型

中国山水画是以山川自然景观为主要描写对象的画,它是中国画的重要画科。当前深度学习模型在图像分类、对象识别、图像风格转换和图像生成等领域都取得了巨大的成功。提出一个基于深度对抗生成网络的中国山水画自动生成模型,以网络上公开的中国山水画图像为训练集,设计适当深度的网络和损失函数,通过生成器和判别器的对抗训练,得到图像生成器。通过与真实的山水画进行比较,本模型能够生成具有接近中国山水画风格的图像。     

改进残差密集生成对抗网络的红外与可见光图像融合

基于深度学习的红外与可见光图像融合算法通常无法感知源图像显著性区域,导致融合结果没有突出红外与可见光图像各自的典型特征,无法达到理想的融合效果.针对上述问题,设计一种适用于红外与可见光图像融合任务的改进残差密集生成对抗网络结构.首先,使用改进残差密集模块作为基础网络分别构建生成器与判别器,并引入基于注意力机制的挤压激励网络来捕获通道维度下的显著特征,充分保留红外图像的热辐射信息和可见光图像的纹理细节信息;其次,使用相对平均判别器,分别衡量融合图像与红外图像、可见光图像之间的相对差异,并根据差异指导生成器保留缺少的源图像信息;最后,在TNO等多个图像融合数据集上进行实验,结果表明所提方法能够生成目标清晰、细节丰富的融合图像,相比基于残差网络的融合方法,边缘强度和平均梯度分别提升了64.56%和64.94%.     

基于自注意力生成对抗网络的图像超分辨率重建

针对如何恢复重建后超分辨率图像的纹理细节问题,提出基于自注意力生成对抗网络的图像超分辨率重建模型(SRAGAN).在SRAGAN中,基于自注意力机制和残差模块相结合的生成器用于将低分辨率图像变换为超分辨率图像,基于深度卷积网络构成的判别器试图区分重建后的超分辨率图像和真实超分辨率图像间的差异.在损失函数构造方面,一方面...