面向医学图像生成的鲁棒条件生成对抗网络

医学图像生成是计算机辅助诊断技术的关键组成,具有广泛的应用场景.当前基于生成对抗网络的端对端学习模型,依靠生成器和判别器两者对抗训练,获取真实数据的概率分布,从而指导图像生成.但标注有限的医学图像及其高分辨率特点,加大了模型训练难度,影响图像生成质量;同时,模型未纳入数据扰动因素,鲁棒性有限,容易被恶意攻击.为此,本文提出一个基于鲁棒条件生成对抗网络的医学图像生成模型——MiSrc-GAN.该模型包括精度渐进生成器、多尺度判别器以及对抗样本配对构造模块,有效融合GAN框架和对抗样本,改善判别器鲁棒性,有利于学习原始图像与待生成图像的联合概率分布.在真实数据集CSC和REFUGE上的实验表明,MiSrc-GAN生成的图像质量优于现有模型.     

基于差分隐私技术的DCGAN模型优化研究与实现

图像数据开放共享是促进大数据在工业领域应用发展的关键,其打破业务壁垒和“数据孤岛”现象,实现信息的跨部门、跨层级共享。但在共享过程中存在图像数据隐私信息泄露的风险。因此针对无法实现数据直接共享的图像数据,将生成对抗网络的变体深度卷积生成对抗网络（deep convolutional generative adversarial networks,DCGAN）与差分隐私进行结合,设计了带有差分隐私的深度卷积生成对抗网络（deep convolutional generative adversarial networks with dif ferential privacy,DP-DCGAN）模型。所提出的模型通过给DCGAN中从判别器传递回生成器的梯度上加噪以减小真实数据对生成器的贡献,实现在隐私保护的基础上生成高质量的数据,并将生成数据进行共享。     

基于半监督学习和生成对抗网络的医学图像融合算法

为了有效利用少量的医学图像标签数据和大量的无标签数据,提出了一种基于半监督学习和生成对抗网络的医学图像融合算法。所提生成对抗网络融合架构包含1个生成器网络和2个判别器网络。采用半监督学习策略对所提网络进行训练,主要包括监督训练、无监督训练、参数微调等3个阶段。此外,生成器由面向融合任务的U-Net和squeeze and excitation通道注意力模块组成,而判别器含有3层卷积层、1层全连接层及sigmoid激活输出层。在各种不同模态医学图像上的实验结果表明,与现有的6种基于深度学习的算法相比,所提算法的主观视觉效果和客观性能指标都有一定竞争力。相关消融实验也验证了半监督学习策略能强化生成网络的性能,提高融合图像的质量。     

一种基于生成对抗网络的三维目标生成方法

文章提出了一种基于生成对抗网络(Generative Adversarial Networks, GAN)的三维目标生成算法,能从符合高斯正态分布的随机数中生成目标的三维图像。首先,将随机噪声输入生成器,经过一系列的卷积和Transformer块运算后,生成器生成对应目标的三维图像,然后判别器对生成的目标图像和真实的目标图像进行二值判别。通过生成器和判别器的交替训练,不断提升生成器生成三维目标的质量,最终达到准确的生成性能。     

基于改进深度卷积生成对抗网络的刺绣图像修复

目前中华传统刺绣工艺传承保护问题中的修复任务主要以人工为主，修复过程需要大量的人力、物力。随着深度学习的高速发展，不同类型的刺绣文物损伤可以利用生成对抗网络进行修复。针对上述问题，提出一种基于改进深度卷积生成对抗网络（DCGAN）的刺绣图像修复方法。首先，在生成器部分引入空洞卷积层扩大感受野，并添加卷积注意力机制模块，在通道与空间2个维度增强重要特征的指导作用；在判别器部分增加全连接层数提升网络解决非线性问题的能力；在损失函数部分联合均方误差损失与对抗损失通过网络训练相互博弈的过程实现刺绣图像修复。实验结果表明：引入空洞卷积层与注意力机制提升了网络性能与修复效果，最终得到修复图像的结构相似性高达0.955，能够得到较为自然的刺绣图像修复效果，可以为专家提供纹理、色彩等信息作为参考辅助后续的修复。     

基于改进生成对抗网络和MobileNetV3的带钢缺陷分类

针对数据集样本数量较少会影响深度学习检测效果的问题,提出了一种基于改进生成对抗网络和MobileNetV3的带钢缺陷分类方法.首先,引入生成对抗网络并对生成器和判别器进行改进,解决了类别错乱问题并实现了带钢缺陷数据集的扩充.然后,对轻量级图像分类网络MobileNetV3进行改进.最后,在扩充后的数据集上训练,实现了带...     

利用自然语言文本描述进行图像编辑

本文研究了利用自然语言文本描述对图像进行编辑的多模态问题。本文的目标是,输入一张原始图像以及一句自然语言文本描述,输出一张经过编辑的图像,并且图像在满足给定自然语言文本描述的同时,保留与文本描述无关的其他细节。在本文中,整体网络采用生成对抗网络结构。在生成器部分,通过引入重构损失,实现模型对于文本描述无关图像区域的保持。通过引入文本图像相关度损失,以一种半监督的方式,对生成器的训练进行指导,从而实现更精细化的利用文本描述对图像进行编辑。在判别器部分,结合判别损失以及条件判别损失,指导生成器生成更具真实效果以及符合自然语言文本描述的图像。通过生成器和判别器的对抗训练,最终实现利用自然语言文本描述实现精准编辑图像。     

基于相对生成对抗网络的低清小脸幻构

针对当前代表性低清小脸幻构方法存在的视觉真实感弱、网络结构复杂等问题,提出了一种基于相对生成对抗网络的低清小脸幻构方法(tfh-RGAN).该文方法的网络架构包括幻构生成器和判别器两个部分,通过像素损失函数和相对生成对抗损失函数的联合最小化,实现生成器和判别器的交替迭代训练.其中,幻构生成器结合了残差块、稠密块以及深度可分离卷积算子,保证幻构效果和网络深度的同时降低生成器的参数量;判别器采用图像分类问题中的全卷积网络,通过先后去除批归一化层、添加全连接层,充分挖掘相对生成对抗网络在低清小脸幻构问题上的能力极限.实验结果表明,在不额外显式引入任何人脸结构先验的条件下,该文方法能够以更简练的网络架构输出清晰度更高、真实感更强的幻构人脸.从定量角度看,该文方法的峰值信噪比相较之前的若干代表性方法可提高0.25～1.51 dB.     

基于对抗生成网络的纹理合成方法

纹理合成是计算机图形学、计算机视觉和图像处理领域的研究热点之一。传统的纹理合成方法往往通过提取有效的特征样式或统计量并在该特征信息的约束下生成随机图像来实现。对抗生成网络作为一种较新的深度网络形式,通过生成器和判别器的对抗训练能够随机生成与观测数据具有相同分布的新数据。鉴于此,提出了一种基于对抗生成网络的纹理合成方法。该算法的优点是不需要经过多次迭代就能够生成更真实纹理图像,且生成图像在视觉上与观测纹理图像一致的同时具有一定随机性。一系列针对随机纹理和结构性纹理的合成实验验证了该算法的有效性。     

基于深度学习的多帧遥感降质图像三维重建算法

为提升多帧遥感降质图像对比度以及图像质量,提出一种基于深度学习的多帧遥感降质图像三维重建算法。采用三角函数变换方法并结合高通滤波器,增强多帧遥感降质图像对比度;再以包含生成器和判别器的生成对抗网络为基础,在判别器中引入自注意力层,设计自注意力机制残差模块,生成自注意力生成对抗网络模型;最后将增强后的图像输入模型进行学习和训练,获取多帧遥感降质图像的全局特征后,实现多帧遥感降质图像三维重建。测试结果表明,所提算法具有较好的多帧遥感降质图像增强能力,能够提升图像对比度,并且渗透指数（PI）均在0.92以上,重构效果良好。     

基于多流融合生成对抗网络的遥感图像融合方法

由于强大的高质量图像生成能力,生成对抗网络在图像融合和图像超分辨率等计算机视觉的研究中得到了广泛关注。目前基于生成对抗网络的遥感图像融合方法只使用网络学习图像之间的映射,缺乏对遥感图像中特有的全锐化领域知识的应用。该文提出一种融入全色图空间结构信息的优化生成对抗网络遥感图像融合方法。通过梯度算子提取全色图空间结构信息,将提取的特征同时加入判别器和具有多流融合架构的生成器,设计相应的优化目标和融合规则,从而提高融合图像的质量。结合WorldView-3卫星获取的图像进行实验,结果表明,所提方法能够生成高质量的融合图像,在主观视觉和客观评价指标上都优于大多先进的遥感图像融合方法。

     

基于深度学习的数字图像修复算法最新进展

数字图像修复是一项利用计算机技术还原破损图像的缺失信息,从而实现自动修复破损图像的技术,其广泛应用于文物修复、图像去雾、电影特效生成等方面。近年来深度学习的发展为图像修复提供了新的思路,即将估计缺失信息的问题转为有条件的图像生成问题。基于深度学习的图像修复研究已成为底层计算机视觉问题的研究热点之一。本文对深度学习在数字图像修复领域的最新进展进行总结归纳,并详细阐述卷积模式和网络结构优化的研究进展,最后对未来的研究方向进行展望。      

基于相对生成对抗网络的低清小脸幻构

针对当前代表性低清小脸幻构方法存在的视觉真实感弱、网络结构复杂等问题,提出了一种基于相对生成对抗网络的低清小脸幻构方法(tfh-RGAN)。该文方法的网络架构包括幻构生成器和判别器两个部分,通过像素损失函数和相对生成对抗损失函数的联合最小化,实现生成器和判别器的交替迭代训练。其中,幻构生成器结合了残差块、稠密块以及深度可分离卷积算子,保证幻构效果和网络深度的同时降低生成器的参数量;判别器采用图像分类问题中的全卷积网络,通过先后去除批归一化层、添加全连接层,充分挖掘相对生成对抗网络在低清小脸幻构问题上的能力极限。实验结果表明,在不额外显式引入任何人脸结构先验的条件下,该文方法能够以更简练的网络架构输出清晰度更高、真实感更强的幻构人脸。从定量角度看,该文方法的峰值信噪比相较之前的若干代表性方法可提高0.25～1.51 dB。     

基于空间特征的生成对抗网络数据生成方法

传统的生成对抗网络(GAN)在特征图较大的情况下,忽略了原始特征的表示和结构信息,并且生成图像的像素之间缺乏远距离相关性,从而导致生成的图像质量较低。为了进一步提高生成图像的质量,该文提出一种基于空间特征的生成对抗网络数据生成方法(SF-GAN)。该方法首先将空间金字塔网络加入生成器和判别器,来更好地捕捉图像的边缘等重要的描述信息;然后将生成器和判别器进行特征加强,来建模像素之间的远距离相关性。使用CelebA,SVHN,CIFAR-10等小规模数据集进行实验,通过定性和盗梦空间得分(IS)、弗雷歇距离(FID)定量评估证明了所提方法相比梯度惩罚生成对抗网络(WGAN-GP)、自注意力生成对抗网络(SAGAN)能使生成的图像具有更高的质量。并且通过实验证明了该方法生成的数据能够进一步提升分类模型的训练效果。     

红外与可见光图像注意力生成对抗融合方法研究

目前,基于深度学习的融合方法依赖卷积核提取局部特征,而单尺度网络、卷积核大小以及网络深度的限制无法满足图像的多尺度与全局特性.为此,本文提出了红外与可见光图像注意力生成对抗融合方法.该方法采用编码器和解码器构成的生成器以及两个判别器.在编码器中设计了多尺度模块与通道自注意力机制,可以有效提取多尺度特征,并建立特征通道长...     

一种基于生成对抗网络与注意力机制的可见光和红外图像融合方法

针对低照度可见光图像中目标难以识别的问题,提出了一种新的基于生成对抗网络的可见光和红外图像的融合方法,该方法可直接用于RGB三通道的可见光图像和单通道红外图像的融合.在生成对抗网络中,生成器采用具有编码层和解码层的U-Net结构,判别器采用马尔科夫判别器,并引入注意力机制模块,使得融合图像可以更关注红外图像上的高强度信...     

生成对抗网络的发展与挑战

生成对抗网络（Generative adversarial network, GAN）由生成模型和判别模型构成,生成模型获取真实数据的概率分布,判别模型判断输入是真实数据还是生成器生成的数据,二者通过相互对抗训练,最终使生成模型学习到真实数据的分布,使判别模型无法准确判断输入数据的来源。生成对抗网络为视觉分类任务的算法性能的提升开辟了新的思路,自诞生之日起至今已经在各个领域产生了大量变体。本文的主要内容包括：生成对抗网络的研究现状、应用场景和基本模型架构,并列举了生成对抗网络本身所存在的弊端;从网络架构、损失函数和训练方式这三方面对生成对抗网络的各种主要典型发展进行归纳;详细总结和分析了生成对抗网络在人脸图像生成和编辑、风格迁移、图像超分辨率、图像修复,序列数据生成、视频生成等各个应用领域的算法以及对应算法的优缺点;介绍了生成对抗网络的常用评价指标并且分析了这些指标的适用场景和不足之处;最后从多个方面对生成对抗网络所面临的挑战进行了讨论,并指出了对其可能的改进方向。     

一种生成对抗网络用于图像修复的方法

近年来基于深度学习的图像修复方法相比于传统方法,表现出明显优势,前者能更好的生成视觉上合理的图像结构和纹理.但现有的标准卷积神经网络方法,通常会造成颜色差异过大和图像纹理缺失与失真的问题.本文提出了一种新型图像修复深度网络模型,该模型由两个相互独立的生成对抗式网络模块组成.其中,图像修复网络模块旨在解决图像缺失区域的修复问题,其生成器基于部分卷积网络;图像优化网络模块旨在解决修复后图像存在局部色差的问题,其生成器基于深度残差网络.通过两个网络模块的协同作用,图像的视觉效果与图像质量得到提高.与其他先进方法进行定性和定量比较的实验结果表明,本文提出的方法在图像修复质量上表现更好.     

基于GAN和CNN-ELM的监控图像智能修复及检测方法

针对目前石化危险品装车过程中海量监控视频图像人为处理效率低下、模糊图像识别率低等问题,提出一种基于生成式对抗网络(GAN)和卷积神经网络(CNN)与极限学习机(ELM)相结合的监控模糊图像智能修复及检测方法.首先,使用深度学习网络作为 目标检测框架,利用GAN网络中生成器与判别器间的零和博弈对模糊图像进行复原,得到清晰完整的作业图像;其次,利用CNN自适应学习图像特征的能力,对修复后的图像进行自主特征提取;最后,将提取的图像特征输入ELM分类器中进行目标识别与分类,判断作业过程是否存在违规行为.试验结果表明:所提方法图像修复速度快,视觉效果自然,且目标识别准确率高,具有很好的泛化能力.     

改进生成式对抗网络的图像数据集增强算法

针对现有深度学习中图像数据集缺乏的问题,提出了一种基于深度卷积生成式对抗网络(Deep Convolutional Generative Adversarial Network, DCGAN)的图像数据集增强算法。该算法对DCGAN网络进行改进,首先在不过多增加计算量的前提下改进现有的激活函数,增强生成特征的丰富性与多样性;然后通过引入相对判别器有效缓解模式坍塌现象,从而提升模型稳定性;最后在现有生成器结构中引入残差块,获得相对高分辨率的生成图像。实验结果表明,将所提方法应用在MNIST、SAR和医学血细胞数据集上,图像数据增强效果与未改进的DCGAN网络相比显著提升。