面向医学图像生成的鲁棒条件生成对抗网络

医学图像生成是计算机辅助诊断技术的关键组成,具有广泛的应用场景.当前基于生成对抗网络的端对端学习模型,依靠生成器和判别器两者对抗训练,获取真实数据的概率分布,从而指导图像生成.但标注有限的医学图像及其高分辨率特点,加大了模型训练难度,影响图像生成质量;同时,模型未纳入数据扰动因素,鲁棒性有限,容易被恶意攻击.为此,本文提出一个基于鲁棒条件生成对抗网络的医学图像生成模型——MiSrc-GAN.该模型包括精度渐进生成器、多尺度判别器以及对抗样本配对构造模块,有效融合GAN框架和对抗样本,改善判别器鲁棒性,有利于学习原始图像与待生成图像的联合概率分布.在真实数据集CSC和REFUGE上的实验表明,MiSrc-GAN生成的图像质量优于现有模型.     

基于改进CycleGAN的ISAR图像超分辨方法

图像超分辨是解决ISAR欺骗干扰中由于模型样本不完备导致难以对大带宽ISAR实现高逼真假目标模拟的重要手段。利用生成对抗网络（GAN）可通过端到端映射实现ISAR图像的超分辨,然而,当测试输入样本与训练输入样本分辨率差异较大时,超分辨图像中会出现伪散射点从而导致目标失真。考虑到循环生成对抗网络（CycleGAN）对输入样本差异适应性较好,本文提出了一种基于改进CycleGAN的ISAR欺骗干扰超分辨样本生成方法,分别从损失函数、优化过程、判别器结构三方面对CycleGAN网络结构进行改进,加快了网络的收敛速度,同时对于输入分辨率差异较大的ISAR图像泛化性能更好。利用暗室测量数据验证了所提方法的有效性,与GAN方法相比,对于训练输入样本分辨率差异较大的测试输入样本,生成的超分辨样本散射点位置与真实数据具有更好的匹配效果。     

结合SVD与GAN的图像检测分类模型

生成对抗网络(Generative Adversarial Networks,GAN)近年在计算机领域大火。它在保证生成效果的同时避免了原生成模型复杂的求解过程。但由于GAN的随机初始化输入,导致在训练模型生成与原始数据分布拟合的数据时花费大量时间成本。因此,提出一种基于奇异值分解的生成对抗网络(SVD-GAN)。通过奇异值分解对原始数据进行降维和去噪,生成对抗网络的输入,使输入数据在保留了原始数据重要特征的同时提高数据生成性能,减少训练时间成本。将SVD-GAN模型应用于图像分类,根据实验结果可知,该模型算法在优化生成网络的生成质量、提高图像分类的准确性和降低模型损耗方面效果显著。     

基于对抗生成网络的纹理合成方法

纹理合成是计算机图形学、计算机视觉和图像处理领域的研究热点之一。传统的纹理合成方法往往通过提取有效的特征样式或统计量并在该特征信息的约束下生成随机图像来实现。对抗生成网络作为一种较新的深度网络形式,通过生成器和判别器的对抗训练能够随机生成与观测数据具有相同分布的新数据。鉴于此,提出了一种基于对抗生成网络的纹理合成方法。该算法的优点是不需要经过多次迭代就能够生成更真实纹理图像,且生成图像在视觉上与观测纹理图像一致的同时具有一定随机性。一系列针对随机纹理和结构性纹理的合成实验验证了该算法的有效性。     

基于对抗和梯度的无参考图像质量评价算法

由于现有的生成对抗网络（GAN）很难完全获取细节上的失真,生成高质量图像仍旧比较困难。为了提高基于GAN的无参考图像质量评价（NR-IQA）方法的性能,提出一种基于对抗和梯度的NR-IQA方法。通过改进网络模型结构和引入基于梯度和色度相似性的平均偏差相似指数（MDSI）来提升模型的整体性能,整个模型由GAN和质量预测网络组成。首先,为了增强对抗训练,设计了双判别器的GAN,将失真图像和参考图像分别输入到网络中,利用WED数据集对GAN进行训练;其次,利用GAN生成相应失真图像的虚拟图像,并分析两者之间的差异,得到失真差异图和MDSI图;最后,为了从多个方面测量图像的感知质量,设计了多流质量预测网络,将失真图像、虚拟图像、失真差异图、MDSI图分别输入到网络中,输出图像质量预测分数。在LIVE、CISQ、TID2013数据集上进行训练和测试,所提算法在三个数据集上都表现出较好的性能,尤其在TID2013上。实验结果表明,该算法与人的主观评价具有较高的一致性。     

结合场景描述的文本生成图像方法

研究基于场景描述文本生成对应图像的方法,针对生成图像常常出现的对象重叠和缺失问题,提出了一种结合场景描述的生成对抗网络模型。首先,利用掩模生成网络对数据集进行预处理,为数据集中的对象提供分割掩模向量。然后,将生成的对象分割掩模向量作为约束,通过描述文本训练布局预测网络,得到各个对象在场景布局中的具体位置和大小,并将结果送入到级联细化网络模型,完成图像的生成。最后,将场景布局与图像共同引入到布局鉴别器中,弥合场景布局与图像之间的差距,得到更加真实的场景布局。实验结果表明,所提模型能够生成与文本描述更匹配的图像,图像更加自然,同时有效地提高了生成图像的真实性和多样性。     

一种基于生成对抗网络的三维目标生成方法

文章提出了一种基于生成对抗网络(Generative Adversarial Networks, GAN)的三维目标生成算法,能从符合高斯正态分布的随机数中生成目标的三维图像。首先,将随机噪声输入生成器,经过一系列的卷积和Transformer块运算后,生成器生成对应目标的三维图像,然后判别器对生成的目标图像和真实的目标图像进行二值判别。通过生成器和判别器的交替训练,不断提升生成器生成三维目标的质量,最终达到准确的生成性能。     

基于生成对抗网络的图像转换技术

针对不同谱段图像获取代价不同的问题,提出一种基于生成对抗网络的图像转换方法。转换过程以肉眼可分辨范围内图像轮廓不变为出发点。首先,通过成对的训练数据对生成器和判别器进行交替训练,不断对损失函数进行优化,直到模型达到纳什平衡。然后用测试数据对上述训练好的模型进行检测,查看转换效果,并从主观观察和客观上计算平均绝对误差和均方误差角度评价转换效果。通过上述过程最终实现不同谱段图像之间的转换。其中,生成器借鉴U-Net架构;判别器采用传统卷积神经网络架构;损失函数方面增加L1损失来保证图像转换前后高、低频特征的完整性。以红外图像与可见光图像之间的转换为例进行实验,结果表明,通过本文设计的生成对抗网络,可以较好地实现红外图像与可见光图像之间的转换。     

面向纵向联邦学习的对抗样本生成算法

为了适应纵向联邦学习应用中高通信成本、快速模型迭代和数据分散式存储的场景特点,提出了一种通用的纵向联邦学习对抗样本生成算法VFL-GASG。具体而言,构建了一种适用于纵向联邦学习架构的对抗样本生成框架来实现白盒对抗攻击,并在该架构下扩展实现了L-BFGS、FGSM、C&W等不同策略的集中式机器学习对抗样本生成算法。借鉴深度卷积生成对抗网络的反卷积层设计,设计了一种对抗样本生成算法VFL-GASG以解决推理阶段对抗性扰动生成的通用性问题,该算法以本地特征的隐层向量作为先验知识训练生成模型,经由反卷积网络层产生精细的对抗性扰动,并通过判别器和扰动项控制扰动幅度。实验表明,相较于基线算法,所提算法在保持高攻击成功率的同时,在生成效率、鲁棒性和泛化能力上均达到较高水平,并通过实验验证了不同实验设置对对抗攻击效果的影响。     

基于渐进式生成对抗网络的舰船红外图像仿真

红外图像仿真在红外导引头设计、仿真训练中起到十分关键的作用。针对如何生成高分辨率、视觉特征可控的红外图像,提出了一种基于渐进式生成对抗网络的红外图像仿真方法。本文利用舰船模型的红外图像数据集训练了图像合成网络,输入随机特征向量,输出高分辨率的红外仿真图像;设计了图像编码网络,实现红外图像到特征向量的转换;利用Logistic回归方法,在特征向量域找到了控制红外图像角度特征的方向向量,并据此生成了不同角度的舰船模型仿真图像;最后通过均值哈希算法和平均结构相似性算法来定量评价仿真图像和真实图像的差异,实验结果表明仿真的红外图像和真实图像的相似度很高,可以为真实舰船的可控化红外图像仿真提供参考。     

基于半监督学习生成对抗网络的人脸还原算法研究

基于大量训练样本生成高置信度图像的生成对抗网络研究已经取得一些成果,但是现有的研究只针对已知训练样本进行图像生成,而未将训练的参数用于训练样本之外的图像生成。该文设计了一种改进的生成对抗网络模型,在已有网络的基础上增加一个还原层,使得测试图像可以通过改进的对抗网络生成对应的高置信度图像。实验结果表明,改进的生成对抗网络参数可以应用到训练集之外的普通样本。同时本文改进了生成模型的损失算法,极大地缩短了网络的收敛时间。     

基于生成对抗网络的语义分割方法

在语义分割模型结构不变的前提下,为提升模型对图像分割的精确度,引入生成对抗网络结构用于训练语义分割模型(SS-GAN)。SS-GAN包含3个设计环节：构建全卷积网络(FCN)结构的生成模型,进行初步的图像分割;设计具备像素间高阶关系学习能力的对抗模型,提高生成模型的学习能力;加入对抗损失辅助生成模型学习,进一步促进生成网络自主学习像素间关系。在计算机视觉竞赛数据集(PASCAL VOC)和城市景观数据集(Cityscapes)上的实验结果表明,引入生成对抗网络后取得了更好的效果,2个数据集的交并比(IoU)指标分别提高了1.56%/1.17%和1.93%/1.55%。     

生成式对抗神经网络的多帧红外图像超分辨率重建

生成式对抗神经网络在约束图像生成表现出了巨大潜力,使得其适合运用于图像超分辨率重建。但是使用生成式对抗神经网络重建后的超分辨率图像存在过度平滑,缺少高频细节信息的缺点。针对单帧图像超分辨率重建方法不能有效利用图像序列间的时间-空间相关性的问题,提出了一种基于生成式对抗神经网络的多帧红外图像超分辨率重建方法（M-GANs）。首先,对低分辨率图像序列进行运动补偿;其次,使用权值表示卷积层对运动补偿后的图像序列进行权值转换计算;最后,将其输入生成式对抗重建网络,输出重建后的高分辨率图像。实验结果表明:文中方法在主观及客观评价中均优于当前代表性的超分辨率重建方法。     

密集残差网络红外图像超分辨率重构

单幅红外图像超分辨率重构算法作为红外图像分辨率提升应用的关键技术,近年来得到了广泛的研究。为了提高红外图像的分辨力,提出了一种基于残差密集对抗式生成网络的单幅红外图像分辨力提升方法。与以往基于对抗式生成网络的分辨力提升方法不同,本文方法的新颖性主要包含两个方面。首先,在网络架构方面进行改进,以提高性能。设计密集残差网络作为对抗式生成网络的生成网络,充分利用了低分辨率图像的有效特征。在生成网络中引入了一种连续内存机制,以利用密集的剩余块。其次,将Wasserstein-GAN作为损失函数,对判别网络模型进行修正,以达到稳定训练的目的。利用红外高分辨率图像数据集进行了大量的实验,结果表明,该方法在客观评价和主观评价方面均优于目前最新的方法。     

基于深度生成对抗网络的海杂波数据增强方法

海杂波数据稀缺,获取海杂波数据成本高、周期长,极大地限制了海杂波特性研究及海洋遥感应用。该文主要研究了基于深度生成性对抗网络(GAN)的海杂波数据生成方法,通过扩展传统的GAN框架,形成了1维海杂波数据生成和鉴别模型,基于实测海杂波数据集,进行对抗网络生成和鉴别模型训练,分析了生成模型所生成的海杂波数据的幅度分布特性和时间、空间相关性。基于实测数据验证了该方法能够生成更多、更多样、与真实海杂波数据分布相近的海杂波数据。     

GAN-based data augmentation of prohibited item X-ray images in security inspection

Convolutional neural networks (CNNs) based methods for automatic discriminant of prohibited items in X-ray images attract attention increasingly. However, it is difficult to train a reliable CNN model using the available X-ray security image databases, since they are not enough in sample quantity and diversity. Recently, generative adversarial network (GAN) has been widely used in image generation and regarded as a power model for data augmentation. In this paper, we propose a data augmentation method for X-ray prohibited item images based on GAN. First, the network structure and loss function of the self-attention generative adversarial network (SAGAN) are improved to generate the realistic X-ray prohibited item images. Then, the images generated by our model are evaluated using GAN-train and GAN-test. Experimental results of GAN-train and GAN-test are 99.91% and 98.82% respectively. It implies that our model can enlarge the X-ray prohibited item image database effectively.     

基于生成对抗网络的舰船辐射噪声分类方法研究

基于机器学习的舰船目标识别近年来已成为水声信号处理领域的一个重要研究方向,但水声目标信号的获取困难,样本量不足和不均衡的问题很容易导致目标分类模型的识别效果不佳。该文提出一种基于条件卷积生成对抗网络的船舶噪声数据分类方法,该方法利用生成对抗学习理论,生成相比于传统数据增强算法非线性特征更强,特征差异更丰富的伪DEMON调制谱数据来缓解训练样本量不足的问题。之后将传统生成对抗网络中的全连层输出替换成更善于解决小样本问题集成分类器,从而降低分类器对于数据量的依赖程度,进一步提高分类模型性能。最终由基于真实样本的实验结果表明,相比于传统数据增强算法和卷积生成对抗网络,该文方法能够更有效提高在样本不足条件下的模型的分类性能。     

基于GAN的雷达HRRP数据增强方法

在雷达自动目标识别(RATR)中,数据驱动方法是强有力的工具之一.然而数据驱动方法的性能十分依赖数据集的质量,数据增强方法通过扩充数据集,能够提升数据驱动模型在现有数据集上的识别率.本文提出了用于高分辨距离像(HRRP)数据生成的一维基础生成对抗网络(BGAN)结构和条件生成对抗网络(CGAN)结构,并利用生成的人工样...     

Advances in generative adversarial network

Generative adversarial network (GAN) have swiftly become the focus of considerable research in generative models soon after its emergence,whose academic research and industry applications have yielded a stream of further progress along with the remarkable achievements of deep learning.A broad survey of the recent advances in generative adversarial network was provided.Firstly,the research background and motivation of GAN was introduced.Then the recent theoretical advances of GAN on modeling,architectures,training and evaluation metrics were reviewed.Its state-of-the-art applications and the extensively used open source tools for GAN were introduced.Finally,issues that require urgent solutions and works that deserve further investigation were discussed.