一种基于生成对抗网络的三维目标生成方法

文章提出了一种基于生成对抗网络(Generative Adversarial Networks, GAN)的三维目标生成算法,能从符合高斯正态分布的随机数中生成目标的三维图像。首先,将随机噪声输入生成器,经过一系列的卷积和Transformer块运算后,生成器生成对应目标的三维图像,然后判别器对生成的目标图像和真实的目标图像进行二值判别。通过生成器和判别器的交替训练,不断提升生成器生成三维目标的质量,最终达到准确的生成性能。     

基于半监督学习和生成对抗网络的医学图像融合算法

为了有效利用少量的医学图像标签数据和大量的无标签数据,提出了一种基于半监督学习和生成对抗网络的医学图像融合算法。所提生成对抗网络融合架构包含1个生成器网络和2个判别器网络。采用半监督学习策略对所提网络进行训练,主要包括监督训练、无监督训练、参数微调等3个阶段。此外,生成器由面向融合任务的U-Net和squeeze and excitation通道注意力模块组成,而判别器含有3层卷积层、1层全连接层及sigmoid激活输出层。在各种不同模态医学图像上的实验结果表明,与现有的6种基于深度学习的算法相比,所提算法的主观视觉效果和客观性能指标都有一定竞争力。相关消融实验也验证了半监督学习策略能强化生成网络的性能,提高融合图像的质量。     

生成对抗网络的发展与挑战

生成对抗网络（Generative adversarial network, GAN）由生成模型和判别模型构成,生成模型获取真实数据的概率分布,判别模型判断输入是真实数据还是生成器生成的数据,二者通过相互对抗训练,最终使生成模型学习到真实数据的分布,使判别模型无法准确判断输入数据的来源。生成对抗网络为视觉分类任务的算法性能的提升开辟了新的思路,自诞生之日起至今已经在各个领域产生了大量变体。本文的主要内容包括：生成对抗网络的研究现状、应用场景和基本模型架构,并列举了生成对抗网络本身所存在的弊端;从网络架构、损失函数和训练方式这三方面对生成对抗网络的各种主要典型发展进行归纳;详细总结和分析了生成对抗网络在人脸图像生成和编辑、风格迁移、图像超分辨率、图像修复,序列数据生成、视频生成等各个应用领域的算法以及对应算法的优缺点;介绍了生成对抗网络的常用评价指标并且分析了这些指标的适用场景和不足之处;最后从多个方面对生成对抗网络所面临的挑战进行了讨论,并指出了对其可能的改进方向。     

基于改进生成对抗网络和MobileNetV3的带钢缺陷分类

针对数据集样本数量较少会影响深度学习检测效果的问题,提出了一种基于改进生成对抗网络和MobileNetV3的带钢缺陷分类方法。首先,引入生成对抗网络并对生成器和判别器进行改进,解决了类别错乱问题并实现了带钢缺陷数据集的扩充。然后,对轻量级图像分类网络MobileNetV3进行改进。最后,在扩充后的数据集上训练,实现了带钢缺陷的分类。实验结果表明,改进的生成对抗网络可生成比较真实的带钢缺陷图像,同时解决深度学习中样本不足的问题;且改进的MobileNetV3参数量是原有参数量的1/14左右,准确率为94.67%,比改进前提高了2.62个百分点,可在工业现场对带钢缺陷进行实时准确的分类。     

基于改进的生成对抗网络的动漫头像生成算法

针对大部分生成对抗网络在动漫图像的生成上会呈现出训练不稳定,生成样本多样性比较差,人物局部细节上效果不好,生成样本质量不高的问题,文章利用条件熵构造的一种距离惩罚生成器的目标函数,结合注意力机制提出一种改进模型MGAN-ED。模型主要包括融入多尺度注意力特征提取单元的生成器和多尺度判别器。采用GAM和FID进行评估,所做实验结果表明模型有效地解决了模式崩塌的问题,生成图像的局部细节更加清晰,生成样本质量更高。     

基于生成对抗网络的图像转换技术

针对不同谱段图像获取代价不同的问题,提出一种基于生成对抗网络的图像转换方法。转换过程以肉眼可分辨范围内图像轮廓不变为出发点。首先,通过成对的训练数据对生成器和判别器进行交替训练,不断对损失函数进行优化,直到模型达到纳什平衡。然后用测试数据对上述训练好的模型进行检测,查看转换效果,并从主观观察和客观上计算平均绝对误差和均方误差角度评价转换效果。通过上述过程最终实现不同谱段图像之间的转换。其中,生成器借鉴U-Net架构;判别器采用传统卷积神经网络架构;损失函数方面增加L1损失来保证图像转换前后高、低频特征的完整性。以红外图像与可见光图像之间的转换为例进行实验,结果表明,通过本文设计的生成对抗网络,可以较好地实现红外图像与可见光图像之间的转换。     

基于双专用注意力机制引导的循环生成对抗网络

现有基于循环生成对抗网络的图像生成方法通过引入独立通用的注意力模块,在无匹配图像转换任务中取得了较好的效果,但同时也增加了模型复杂度与训练时间,而且难以关注到图中关键区域的所有细节,图像生成效果仍有提升的空间。针对上述问题,提出一种基于双专用注意力机制引导的循环生成对抗网络（Dual-SAG-CycleGAN）,分别对生成器和判别器采用不同的注意力机制进行引导。首先,提出一种名为SAG(Special Attention-mechanism Guided)的专用注意力模块来引导生成器工作,在提升生成图像质量的同时降低网络的复杂度;然后,对判别器采用基于CAM(Class Activation Mapping)的专用注意力机制引导模块,抑制生成器生成无关的噪声;最后,提出背景掩码的循环一致性损失函数,引导生成器生成更加精准的掩码图,更好地辅助图像转换。实验证明,本文方法与现有同类模型相比,网络模型参数量降低近32.8%,训练速度快34.5%,KID与FID最低分别可达1.13和57.54,拥有更高的成像质量。     

基于空间特征的生成对抗网络数据生成方法

传统的生成对抗网络(GAN)在特征图较大的情况下，忽略了原始特征的表示和结构信息，并且生成图像的像素之间缺乏远距离相关性，从而导致生成的图像质量较低。为了进一步提高生成图像的质量，该文提出一种基于空间特征的生成对抗网络数据生成方法(SF-GAN)。该方法首先将空间金字塔网络加入生成器和判别器，来更好地捕捉图像的边缘等重要的描述信息；然后将生成器和判别器进行特征加强，来建模像素之间的远距离相关性。使用CelebA,SVHN,CIFAR-10等小规模数据集进行实验，通过定性和盗梦空间得分(IS)、弗雷歇距离(FID)定量评估证明了所提方法相比梯度惩罚生成对抗网络(WGAN-GP)、自注意力生成对抗网络(SAGAN)能使生成的图像具有更高的质量。并且通过实验证明了该方法生成的数据能够进一步提升分类模型的训练效果。     

基于掩模提取的SAR图像对抗样本生成方法

合成孔径雷达（synthetic aperture radar,SAR）图像的对抗样本生成在当前已经有很多方法,但仍存在对抗样本扰动量较大、训练不稳定以及对抗样本的质量无法保证等问题。针对上述问题,提出了一种SAR图像对抗样本生成模型,该模型基于AdvGAN模型架构,首先根据SAR图像的特点设计了一种由增强Lee滤波器和最大类间方差法（OTSU）自适应阈值分割等模块组成的掩模提取模块,这种方法产生的扰动量更小,与原始样本的结构相似性（structural similarity,SSIM）值达到0.997以上。其次将改进的相对均值生成对抗网络（relativistic average generative adversarial network,RaGAN）损失引入AdvGAN中,使用相对均值判别器,让判别器在训练中同时依赖于真实数据和生成的数据,提高了训练的稳定性与攻击效果。在MSTAR数据集上与相关方法进行了实验对比,实验表明,此方法生成的SAR图像对抗样本在攻击防御模型时的攻击成功率较传统方法提高了10%～15%。     

面向人脸验证的可迁移对抗样本生成方法

在人脸识别模型的人脸验证任务中,传统的对抗攻击方法无法快速生成真实自然的对抗样本,且对单模型的白盒攻击迁移到其他人脸识别模型上时攻击效果欠佳。该文提出一种基于生成对抗网络的可迁移对抗样本生成方法TAdvFace。TAdvFace采用注意力生成器提高面部特征的提取能力,利用高斯滤波操作提高对抗样本的平滑度,并用自动调整策略调节身份判别损失权重,能够根据不同的人脸图像快速地生成高质量可迁移的对抗样本。实验结果表明,TAdvFace通过单模型的白盒训练,生成的对抗样本能够在多种人脸识别模型和商业API模型上都取得较好的攻击效果,拥有较好的迁移性。     

基于对抗生成网络的纹理合成方法

纹理合成是计算机图形学、计算机视觉和图像处理领域的研究热点之一。传统的纹理合成方法往往通过提取有效的特征样式或统计量并在该特征信息的约束下生成随机图像来实现。对抗生成网络作为一种较新的深度网络形式,通过生成器和判别器的对抗训练能够随机生成与观测数据具有相同分布的新数据。鉴于此,提出了一种基于对抗生成网络的纹理合成方法。该算法的优点是不需要经过多次迭代就能够生成更真实纹理图像,且生成图像在视觉上与观测纹理图像一致的同时具有一定随机性。一系列针对随机纹理和结构性纹理的合成实验验证了该算法的有效性。     

基于生成对抗网络的盾构隧道渗漏水检测

渗漏水是盾构隧道安全危害最大的病害之一,对盾构隧道渗漏水快速精准的检测,是有效控制及整治盾构隧道渗漏水的基础。现有的渗漏水检测方法在自动化程度方面均取得一定的成效,但存在数据采集效率低、现场采集环境要求高、训练数据样本量大等问题。针对上述问题,文章将移动LiDAR采集的盾构隧道强度图像作为数据源,提出了基于生成对抗网络的盾构隧道渗漏水检测方法,从现有的生成对抗网络V GAN模型出发,在标注少量样本的基础上,建立了Dense块作为编码器,残差块作为解码器的Unet模型作为生成器网络,运用改进的深度残差Unet(Improve ResUnet)作为判别器网络,组成DRUnet IRUnet GAN生成对抗网络用于盾构隧道LiDAR强度图像渗漏水检测。实验结果表明,当输入500张、200张、100张少量样本时,文章构建的DRUnet IRUnet GAN生成对抗网络能够达到优于V GAN的盾构隧道强度图像渗漏水检测效果,表明了所改进的网络具有良好的性能。     

一种基于生成对抗网络与注意力机制的可见光和红外图像融合方法

针对低照度可见光图像中目标难以识别的问题,提出了一种新的基于生成对抗网络的可见光和红外图像的融合方法,该方法可直接用于RGB三通道的可见光图像和单通道红外图像的融合.在生成对抗网络中,生成器采用具有编码层和解码层的U-Net结构,判别器采用马尔科夫判别器,并引入注意力机制模块,使得融合图像可以更关注红外图像上的高强度信...     

基于改进CycleGAN的ISAR图像超分辨方法

图像超分辨是解决ISAR欺骗干扰中由于模型样本不完备导致难以对大带宽ISAR实现高逼真假目标模拟的重要手段。利用生成对抗网络（GAN）可通过端到端映射实现ISAR图像的超分辨,然而,当测试输入样本与训练输入样本分辨率差异较大时,超分辨图像中会出现伪散射点从而导致目标失真。考虑到循环生成对抗网络（CycleGAN）对输入样本差异适应性较好,本文提出了一种基于改进CycleGAN的ISAR欺骗干扰超分辨样本生成方法,分别从损失函数、优化过程、判别器结构三方面对CycleGAN网络结构进行改进,加快了网络的收敛速度,同时对于输入分辨率差异较大的ISAR图像泛化性能更好。利用暗室测量数据验证了所提方法的有效性,与GAN方法相比,对于训练输入样本分辨率差异较大的测试输入样本,生成的超分辨样本散射点位置与真实数据具有更好的匹配效果。     

利用自然语言文本描述进行图像编辑

本文研究了利用自然语言文本描述对图像进行编辑的多模态问题。本文的目标是,输入一张原始图像以及一句自然语言文本描述,输出一张经过编辑的图像,并且图像在满足给定自然语言文本描述的同时,保留与文本描述无关的其他细节。在本文中,整体网络采用生成对抗网络结构。在生成器部分,通过引入重构损失,实现模型对于文本描述无关图像区域的保持。通过引入文本图像相关度损失,以一种半监督的方式,对生成器的训练进行指导,从而实现更精细化的利用文本描述对图像进行编辑。在判别器部分,结合判别损失以及条件判别损失,指导生成器生成更具真实效果以及符合自然语言文本描述的图像。通过生成器和判别器的对抗训练,最终实现利用自然语言文本描述实现精准编辑图像。     

少样本条件下基于生成对抗网络的遥感图像数据增强

针对小样本条件下遥感图像目标的检测精度受到卷积神经网络过拟合影响的问题,提出一种基于生成对抗网络的数据增强方法,利用判别模型为生成模型同时提供图像的局部决策与全局决策,以提高生成模型生成图像的质量,并将生成的目标与训练集图像进行融合得到新的样本,且新生成的样本不需人工标注.实验结果表明,在原始数据中加入生成数据后,检测...     

基于生成对抗网络的高光谱图像特征提取

特征提取是高光谱数据处理领域的一个重要研究 内容。高光谱数据获取过程中的复 杂性使传统的特征提取方法无法良好地处理高光谱图像。同时,高光谱图像标记样本数量的 有限性,也为常用于特征提取的监督深度学习方法带来不利影响。为了摆脱对高光谱图像中 标记样本的依赖,在卷积神经网络的基础上引入生成对抗网络,针对光谱特征提出了一种无 监督的高光谱图像特征提取的方法。为了稳定网络的训练过程,提高生成对抗网络中判别器 的特征表示能力,在目标函数中引入梯度惩罚项,将判别器的性能不断逼向最优。在特征提 取阶段,针对高光谱图像的光谱结构,提出了一种通道最大池化方法,能够在降低数据维度 的同时尽可能保留高光谱图像的光谱信息。使用支持向量机(support vector machines,SVM)和k近邻(k-hearest neighbor,KNN)方法对 提取到的特征进行分类测试。在两个真实数据集上的实验结果表明,提出的方法优于传统的 特征提取方法。     

基于B样条仿射和GANs的医学图像配准

针对传统基于灰度、 特征的医学图像配准算法计算量大、 细节丢失以及配准形变图像能力差等问题,提出了一种基于B样条仿射和生成对抗网络的医学图像配准模型.将基于小波变换以及随机采样一致算法的B样条仿射变换融入生成对抗网络,减小了因局部变形和全局变形导致的配准误差,并在生成对抗网络的判别器中引入二次判别机制.通过CT-MR配...     

基于深度学习的陶瓷图像修复研究

陶瓷是中国特色之一,古陶瓷是了解古代人民生产生活的重要途径,对古陶瓷进行图像修复的研究有助于促进地方旅游、经济、文化、教育事业的发展,同时对古代历史、文化与精神文明的研究有重要意义。大量的古陶瓷因为破损、环境腐蚀导致损毁。目前对古陶瓷破损的修复都是进行人工修复的,古陶瓷破损图像数字化修复的研究仍然处于研究初期阶段。近年来,随着神经网络的理论发展与硬件计算能力的提高,深度学习在多个领域取得了令人瞩目的成就。深度学习中对抗生成网络具有判别器和生成器两部分,因为生成器的参数来源于判别器的反向传播而不是来自于样本集使得网络结构更加轻盈稳定,被广泛地应用于图像生成领域。该文利用两级联合对抗生成网络,使用2000张缺损的陶瓷图片进行迭代训练210万次,实验表明：对抗生成网络能提升古陶瓷图像清晰度处理大规模复杂古陶瓷图像且能够保留古陶瓷图像的纹理细节等优势,这是传统算法所没有的优势。     

红外与可见光图像注意力生成对抗融合方法研究

目前,基于深度学习的融合方法依赖卷积核提取局部特征,而单尺度网络、卷积核大小以及网络深度的限制无法满足图像的多尺度与全局特性.为此,本文提出了红外与可见光图像注意力生成对抗融合方法.该方法采用编码器和解码器构成的生成器以及两个判别器.在编码器中设计了多尺度模块与通道自注意力机制,可以有效提取多尺度特征,并建立特征通道长...