面向医学图像生成的鲁棒条件生成对抗网络

医学图像生成是计算机辅助诊断技术的关键组成,具有广泛的应用场景.当前基于生成对抗网络的端对端学习模型,依靠生成器和判别器两者对抗训练,获取真实数据的概率分布,从而指导图像生成.但标注有限的医学图像及其高分辨率特点,加大了模型训练难度,影响图像生成质量;同时,模型未纳入数据扰动因素,鲁棒性有限,容易被恶意攻击.为此,本文提出一个基于鲁棒条件生成对抗网络的医学图像生成模型——MiSrc-GAN.该模型包括精度渐进生成器、多尺度判别器以及对抗样本配对构造模块,有效融合GAN框架和对抗样本,改善判别器鲁棒性,有利于学习原始图像与待生成图像的联合概率分布.在真实数据集CSC和REFUGE上的实验表明,MiSrc-GAN生成的图像质量优于现有模型.     

一种基于生成对抗网络的三维目标生成方法

文章提出了一种基于生成对抗网络(Generative Adversarial Networks, GAN)的三维目标生成算法,能从符合高斯正态分布的随机数中生成目标的三维图像。首先,将随机噪声输入生成器,经过一系列的卷积和Transformer块运算后,生成器生成对应目标的三维图像,然后判别器对生成的目标图像和真实的目标图像进行二值判别。通过生成器和判别器的交替训练,不断提升生成器生成三维目标的质量,最终达到准确的生成性能。     

基于对抗生成网络的纹理合成方法

纹理合成是计算机图形学、计算机视觉和图像处理领域的研究热点之一。传统的纹理合成方法往往通过提取有效的特征样式或统计量并在该特征信息的约束下生成随机图像来实现。对抗生成网络作为一种较新的深度网络形式,通过生成器和判别器的对抗训练能够随机生成与观测数据具有相同分布的新数据。鉴于此,提出了一种基于对抗生成网络的纹理合成方法。该算法的优点是不需要经过多次迭代就能够生成更真实纹理图像,且生成图像在视觉上与观测纹理图像一致的同时具有一定随机性。一系列针对随机纹理和结构性纹理的合成实验验证了该算法的有效性。     

基于多流融合生成对抗网络的遥感图像融合方法

由于强大的高质量图像生成能力,生成对抗网络在图像融合和图像超分辨率等计算机视觉的研究中得到了广泛关注。目前基于生成对抗网络的遥感图像融合方法只使用网络学习图像之间的映射,缺乏对遥感图像中特有的全锐化领域知识的应用。该文提出一种融入全色图空间结构信息的优化生成对抗网络遥感图像融合方法。通过梯度算子提取全色图空间结构信息,将提取的特征同时加入判别器和具有多流融合架构的生成器,设计相应的优化目标和融合规则,从而提高融合图像的质量。结合WorldView-3卫星获取的图像进行实验,结果表明,所提方法能够生成高质量的融合图像,在主观视觉和客观评价指标上都优于大多先进的遥感图像融合方法。     

基于生成对抗网络的图像转换技术

针对不同谱段图像获取代价不同的问题,提出一种基于生成对抗网络的图像转换方法。转换过程以肉眼可分辨范围内图像轮廓不变为出发点。首先,通过成对的训练数据对生成器和判别器进行交替训练,不断对损失函数进行优化,直到模型达到纳什平衡。然后用测试数据对上述训练好的模型进行检测,查看转换效果,并从主观观察和客观上计算平均绝对误差和均方误差角度评价转换效果。通过上述过程最终实现不同谱段图像之间的转换。其中,生成器借鉴U-Net架构;判别器采用传统卷积神经网络架构;损失函数方面增加L1损失来保证图像转换前后高、低频特征的完整性。以红外图像与可见光图像之间的转换为例进行实验,结果表明,通过本文设计的生成对抗网络,可以较好地实现红外图像与可见光图像之间的转换。     

基于相对生成对抗网络的低清小脸幻构

针对当前代表性低清小脸幻构方法存在的视觉真实感弱、网络结构复杂等问题,提出了一种基于相对生成对抗网络的低清小脸幻构方法(tfh-RGAN).该文方法的网络架构包括幻构生成器和判别器两个部分,通过像素损失函数和相对生成对抗损失函数的联合最小化,实现生成器和判别器的交替迭代训练.其中,幻构生成器结合了残差块、稠密块以及深度可分离卷积算子,保证幻构效果和网络深度的同时降低生成器的参数量;判别器采用图像分类问题中的全卷积网络,通过先后去除批归一化层、添加全连接层,充分挖掘相对生成对抗网络在低清小脸幻构问题上的能力极限.实验结果表明,在不额外显式引入任何人脸结构先验的条件下,该文方法能够以更简练的网络架构输出清晰度更高、真实感更强的幻构人脸.从定量角度看,该文方法的峰值信噪比相较之前的若干代表性方法可提高0.25～1.51 dB.     

基于相对生成对抗网络的低清小脸幻构

针对当前代表性低清小脸幻构方法存在的视觉真实感弱、网络结构复杂等问题,提出了一种基于相对生成对抗网络的低清小脸幻构方法(tfh-RGAN)。该文方法的网络架构包括幻构生成器和判别器两个部分,通过像素损失函数和相对生成对抗损失函数的联合最小化,实现生成器和判别器的交替迭代训练。其中,幻构生成器结合了残差块、稠密块以及深度可分离卷积算子,保证幻构效果和网络深度的同时降低生成器的参数量;判别器采用图像分类问题中的全卷积网络,通过先后去除批归一化层、添加全连接层,充分挖掘相对生成对抗网络在低清小脸幻构问题上的能力极限。实验结果表明,在不额外显式引入任何人脸结构先验的条件下,该文方法能够以更简练的网络架构输出清晰度更高、真实感更强的幻构人脸。从定量角度看,该文方法的峰值信噪比相较之前的若干代表性方法可提高0.25～1.51 dB。     

基于改进的生成对抗网络的动漫头像生成算法

针对大部分生成对抗网络在动漫图像的生成上会呈现出训练不稳定,生成样本多样性比较差,人物局部细节上效果不好,生成样本质量不高的问题,文章利用条件熵构造的一种距离惩罚生成器的目标函数,结合注意力机制提出一种改进模型MGAN-ED。模型主要包括融入多尺度注意力特征提取单元的生成器和多尺度判别器。采用GAM和FID进行评估,所做实验结果表明模型有效地解决了模式崩塌的问题,生成图像的局部细节更加清晰,生成样本质量更高。     

基于特征增强生成对抗网络的文本生成图像方法

针对文本生成图像任务过程中存在图像视觉特征和通道特征信息利用不充分问题,提出一种基于特征增强生成对抗网络(FE-GAN)的文本生成图像方法.首先,在动态记忆读取时,设计二次记忆(MoM)模块来对生成的中间特征进行注意与融合,利用注意力机制在记忆读取时进行第一次视觉特征增强,再将得到的注意力结果和上一个生成器生成的图像特征进行融合,实现第二次图像视觉特征增强.然后,在残差块中引入通道注意力来获取图像特征中的不同语义,提升相似语义通道之间的关联性,实现通道特征增强.最后,将实例归一化上采样块和批量归一化上采样块相结合来提高图像分辨率,同时缓解批量大小对生成效果的影响,提升生成图像风格多样性能力.在CUB-200-2011和Oxford-102数据集上进行的仿真实验表明,所提方法的IS分别达到了4.83和4.13,与DM-GAN相比分别提高了1.68%和5.62%.实验结果表明,FE-GAN生成的图像在细节处理上更好,更加符合文本语义.     

一种基于生成对抗网络与注意力机制的可见光和红外图像融合方法

针对低照度可见光图像中目标难以识别的问题,提出了一种新的基于生成对抗网络的可见光和红外图像的融合方法,该方法可直接用于RGB三通道的可见光图像和单通道红外图像的融合。在生成对抗网络中,生成器采用具有编码层和解码层的U-Net结构,判别器采用马尔科夫判别器,并引入注意力机制模块,使得融合图像可以更关注红外图像上的高强度信息。实验结果表明,该方法在维持可见光图像细节纹理信息的同时,引入红外图像的主要目标信息,生成视觉效果良好、目标辨识度高的融合图像,并在信息熵、结构相似性等多项客观指标上表现良好。     

联合辐射指数的多流融合网络空谱融合方法

结合遥感图像融合的特点,提出一种联合辐射指数的多流融合生成对抗网络的遥感图像融合方法。该方法从初始的多光谱图像和全色图像中按照特定的规则提取特征图,利用生成器子网络分别提炼输入的多源图像,在特征域上叠加特征后通过生成器的主网络进行融合。根据遥感领域中多光谱图像和全色图像在波段上的特性,在判别器中引入调制传递函数(MTF)来判别融合图像的光谱信息和空间结构信息。为评估所提方法的有效性,进行视觉分析,并与其他算法进行客观评价的比较。实验结果表明,该方法在视觉效果和客观评价上优于其他算法。     

基于改进生成对抗网络模型的红外与可见光图像融合

为增强融合图像的视觉效果,减少计算的复杂度,解决传统红外与可见光图像融合算法存在的背景细节丢失问题,提出了一种生成对抗网络框架下基于深度可分离卷积的红外与可见光图像融合方法。首先,在生成器中对源图像进行深度卷积与逐点卷积运算,得到源图像的特征映射信息;其次,通过前向传播的方式更新网络参数,得到初步的单通道融合图像;再次,在红外及可见光判别器中,使用深度可分离卷积分别对源图像与初步融合图像进行像素判别;最后,在损失函数的约束下,双判别器不断将更多的细节信息添加到融合图像中。实验结果表明,相比于传统的融合算法,该方法在信息熵、平均梯度、空间频率、标准差、结构相似性损失和峰值信噪比等评价指标上分别平均提高了1.63%、1.02%、3.54%、5.49%、1.05%、0.23%,在一定程度上提升了融合图像的质量,丰富了背景的细节信息。     

基于双通道生成对抗网络的镜片缺陷数据增强

针对小样本条件下深度学习缺陷检测算法识别率较低的问题,提出一种基于双通道生成对抗网络的数据增强方法.由全局鉴别层和局部鉴别层两通道组成生成对抗网络,其中局部鉴别器可以增加缺陷类型的置信度损失,实现对局部信息的增强.采用所提方法在镜片缺陷图像数据集上进行实验.实验结果表明,所提方法的最近邻留一指标、最大均值差异和Wasserstein距离分别达到0.52、0.15和2.81;对于麻点、划痕、气泡和异物的缺陷类型图像,生成的图像质量优于条件生成对抗网络、Wasserstein距离生成对抗网络和马尔科夫判别器.双通道生成对抗网络生成的镜片图像有着多样性的全局信息和高质量的细节特征,可以有效增强镜片缺陷数据集.     

基于最小噪声分离和生成对抗网络的影像阴影去除

为了提高影像阴影去除的效果，提出一种基于最小噪声分离（MNF）和生成对抗网络（GAN）的影像阴影去除算法。它以GAN作为基本框架，在生成器和判别器中分别引入条件信息，采用端到端共同学习的多任务模式。生成网络采用编码解码结构，判别网络采用马尔可夫判别器结构。此外，此算法使用MNF，将消除噪声的影像灰度化后与阴影影像一起训练，进而恢复无阴影的影像。这样的网络在训练时可以专注于MNF变换后的单独特征嵌入，而非传统的跨任务共享嵌入。实验结果表明，在指定数据集上，所提算法的结构相似性（SSIM）的平均值达0.9780，像素均方根误差（RMSE）的平均值减小到9.8717。在主观感知和客观评价指标上，所提算法的实验结果均优于对比算法。     

基于动态感受野的自适应多尺度信息融合的图像转换

为提高图像转换模型生成图像的质量,该文针对转换模型中的生成器进行改进,同时探究多样化的图像转换,拓展转换模型的生成能力。在生成器的改进方面,利用选择性(卷积)核模块(SKBlock)的动态感受野机制获取和融合生成器中每个上采样特征的多尺度信息,借助特征的多尺度信息和动态感受野构造选择性(卷积)核的生成式对抗网络(SK-GAN)。与传统生成器相比,SK-GAN以动态感受野获取多尺度信息的生成结构提高了生成图像的质量。在多样化图像转换方面,基于SK-GAN在草图合成真实图像任务提出带引导图像的选择性(卷积)核的生成式对抗网络(GSK-GAN)。该模型利用引导图像指导源图像的转换,通过引导图像编码器提取引导图像特征,然后由参数生成器(PG)和特征转换层(FT)将引导图像特征的信息传递至生成器。此外,该文还提出双分支引导图像编码器以提高转换模型的编辑能力,以及利用引导图像的隐变量分布实现随机样式的图像生成。实验表明,改进后的生成器有助于提高生成图像质量,SK-GAN在多个数据集中获得合理的生成结果。GSK-GAN不仅保证了生成图像的质量,还能生成更多样式的图像。     

基于动态感受野的自适应多尺度信息融合的图像转换

为提高图像转换模型生成图像的质量,该文针对转换模型中的生成器进行改进,同时探究多样化的图像转换,拓展转换模型的生成能力.在生成器的改进方面,利用选择性(卷积)核模块(SKBlock)的动态感受野机制获取和融合生成器中每个上采样特征的多尺度信息,借助特征的多尺度信息和动态感受野构造选择性(卷积)核的生成式对抗网络(SK-GAN).与传统生成器相比,SK-GAN以动态感受野获取多尺度信息的生成结构提高了生成图像的质量.在多样化图像转换方面,基于SK-GAN在草图合成真实图像任务提出带引导图像的选择性(卷积)核的生成式对抗网络(GSK-GAN).该模型利用引导图像指导源图像的转换,通过引导图像编码器提取引导图像特征,然后由参数生成器(PG)和特征转换层(FT)将引导图像特征的信息传递至生成器.此外,该文还提出双分支引导图像编码器以提高转换模型的编辑能力,以及利用引导图像的隐变量分布实现随机样式的图像生成.实验表明,改进后的生成器有助于提高生成图像质量,SK-GAN在多个数据集中获得合理的生成结果.GSK-GAN不仅保证了生成图像的质量,还能生成更多样式的图像.     

基于MDGAN网络的数据集扩增方法

针对雷达辐射源数据集样本数量有限、样本多样性不足的问题,提出了一种无监督的由图像生成图像的网络—多样性最大化生成对抗网络(Maximum Diversity Generative Adversarial Network,MDGAN)。该网络在原始生成对抗网络的生成器目标函数基础上加上了一个额外的正则化项,该正则化项表示生成器中特征图之间的距离与生成特征图所用随机向量之间的距离的比值,通过最大化这个比值,可以让生成器尽量生成拥有不同特征的样本,以增加样本的多样性。对6种常见雷达信号进行仿真实验,证明了MDGAN在生成真实且多样的样本方面是有效的。     

基于改进深度卷积生成对抗网络的刺绣图像修复

目前中华传统刺绣工艺传承保护问题中的修复任务主要以人工为主，修复过程需要大量的人力、物力。随着深度学习的高速发展，不同类型的刺绣文物损伤可以利用生成对抗网络进行修复。针对上述问题，提出一种基于改进深度卷积生成对抗网络（DCGAN）的刺绣图像修复方法。首先，在生成器部分引入空洞卷积层扩大感受野，并添加卷积注意力机制模块，在通道与空间2个维度增强重要特征的指导作用；在判别器部分增加全连接层数提升网络解决非线性问题的能力；在损失函数部分联合均方误差损失与对抗损失通过网络训练相互博弈的过程实现刺绣图像修复。实验结果表明：引入空洞卷积层与注意力机制提升了网络性能与修复效果，最终得到修复图像的结构相似性高达0.955，能够得到较为自然的刺绣图像修复效果，可以为专家提供纹理、色彩等信息作为参考辅助后续的修复。     

基于多尺度特征聚合的图像超分辨率重建

针对图像超分辨率重建过程中,存在提取特征信息单一、图像细节缺失的问题,提出了一种新的生成式对抗网络(DAMFA-GAN),以获得更加逼真和自然的重建图像。在生成器方面,设计融合动态注意力机制的多尺度特征聚合模块(DAMFA)以获取低分辨率图像中每个上采样特征的多尺度高频信息,提高重建图像的质量;在判别器方面,设计ConvTrans Encoder模块以增强特征信息提取能力,提高判别的准确率。在Set5、Set14、BSD100和Urban100数据集上的实验结果表明,DAMFA-GAN在峰值信噪比(PSNR)和结构相似性(SSIM)上较于SRGAN分别平均提高了0.50 dB、0.015 2。同时,超分辨率重建图像的高频细节和视觉效果也得到了明显改善。     

改进生成对抗网络实现红外与可见光图像融合

红外与可见光图像融合技术能够同时提供红外图像的热辐射信息和可见光图像的纹理细节信息,在智能监控、目标探测和跟踪等领域具有广泛的应用。两种图像基于不同的成像原理,如何融合各自图像的优点并保证图像不失真是融合技术的关键,传统融合算法只是叠加图像信息而忽略了图像的语义信息。针对该问题,提出了一种改进的生成对抗网络,生成器设计了局部细节特征和全局语义特征两路分支捕获源图像的细节和语义信息;在判别器中引入谱归一化模块,解决传统生成对抗网络不易训练的问题,加速网络收敛;引入了感知损失,保持融合图像与源图像的结构相似性,进一步提升了融合精度。实验结果表明,提出的方法在主观评价与客观指标上均优于其他代表性方法,对比基于全变分模型方法,平均梯度和空间频率分别提升了55.84%和49.95%。