基于生成对抗网络的多聚焦图像融合

多聚焦图像融合能够融合同一场景下具有不同聚焦部分的一系列图像.为了克服多聚焦图像融合模糊特征提取中存在的不足,提出一种基于U-Net的生成对抗网络模型.首先,生成器采用U-Net和SSE对多聚焦图像的特征进行提取,并完成图像融合;其次,判别器采用卷积层对已知的融合结果和生成器生成的融合图像进行分辨;然后,损失函数采用生成器的对抗损失、映射损失、梯度损失、均方误差损失和判别器对抗损失对生成网络进行参数调节;最后,将生成器、判别器和损失函数组成生成对抗网络模型,并进行实验.Pascal VOC2012数据集作为生成对抗网络的训练集,包括近焦图像、远焦图像、映射图像和融合图像.实验结果证明,该生成对抗网络模型能够有效地提取多聚焦图像中的模糊特征,且融合图像在互信息、相位一致性和感知相似性等方面表现优异.     

多层次结构生成对抗网络的文本生成图像方法

近年来,生成对抗网络（GAN）在从文本描述到图像的生成中已经取得了显著成功,但仍然存在图像边缘模糊、局部纹理不清晰以及生成样本方差小等问题。针对上述不足,在叠加生成对抗网络模型（StackGAN++）基础上,提出了一种多层次结构生成对抗网络（MLGAN）模型,该网络模型由多个生成器和判别器以层次结构并列组成。首先,引入层次结构编码方法和词向量约束来改变网络中各层次生成器的条件向量,使图像的边缘细节和局部纹理更加清晰生动;然后,联合训练生成器和判别器,借助多个层次的生成图像分布共同逼近真实图像分布,使生成样本方差变大,增加生成样本的多样性;最后,从不同层次的生成器生成对应文本的不同尺度图像。实验结果表明,在CUB和Oxford-102数据集上MLGAN模型的Inception score分别达到了4.22和3.88,与StackGAN++相比,分别提高了4.45%和3.74%。MLGAN模型在解决生成图像的边缘模糊和局部纹理不清晰方面有了一定提升,其生成的图像更接近真实图像。     

一种基于生成对抗网络的图像修复算法

针对目前基于生成对抗网络(GAN)的图像修复算法存在修复效果的视觉连续性不佳、网络训练过程中模型崩溃等问题,提出一种基于双判别器的生成对抗网络的修复算法。该方法将WGAN-GP的损失函数引入全局判别器和局部判别器中,并结合改进的上下文内容损失来训练网络模型,修复破损区域。在CelebA数据集以峰值信噪比PSNR和结构相似性SSIM的标准下的实验结果证明,该算法提高了图像修复结果的质量和训练稳定性。     

基于改进生成对抗网络的图像自适应隐写模型

针对现有图像隐写模型存在网络训练不易收敛、梯度爆炸且生成样本质量差等问题,提出一种基于改进生成对抗网络的图像自适应隐写模型SWGAN-GP.将生成图像作为载体,使用HUGO自适应隐写算法进行信息隐藏;在损失函数中加入梯度惩罚,在网络结构中引入注意力机制,设置双判别器与生成器进行对抗训练.实验结果表明,该方法生成图像的IS值、PSNR值等均有提高,判别器分类效果明显改善.该模型可以提高收敛速度,使网络训练更稳定,载密图像更具安全性,有效抵御隐写分析算法的检测.     

基于深度卷积生成对抗网络的图像生成

图像生成是虚拟现实技术(virtual reality,VR)中的重要技术手段,针对传统图片生成方法需要大量的数据集进行训练,且生成的图片轮廓不清晰等问题,采用基于深度卷积神经网络和生成对抗网络来实现图片的生成。为了保证生成图片的真实性和完整性,在图片生成阶段引入变分自编码器,通过编码器获取到输入图片数据的均值和方差,将图片对应的隐藏变量转化为标准的高斯分布,然后通过生成器生成新的图片;在识别阶段,采用深度卷积神经网络训练判别器,将生成的新的图片输入到已经训练好的判别器中,运用梯度下降法计算损失函数,不断优化整体系统模型。通过对MNIST图像数据集的训练,实验表明该方法能生成质量较高的图片,它生成的图像无法用肉眼与真实数据区分开,并且在不同网络条件下都有较高的识别率。该方法提高了MNIST生成模型的技术水平。     

TCSNGAN:基于Transformer和谱归一化CNN的图像生成模型

生成对抗网络(generative adversarial network, GAN)已成为图像生成问题中常用的模型之一,但是GAN的判别器在训练过程中易出现梯度消失而导致训练不稳定,以致无法获得最优化的GAN而影响生成图像的质量。针对该问题,设计满足Lipschitz条件的谱归一化卷积神经网络(CNN with spectral normalization, CSN)作为判别器,并采用具有更强表达能力的Transformer作为生成器,由此提出图像生成模型TCSNGAN。CSN判别器网络结构简单,解决了GAN模型的训练不稳定问题,且能依据数据集的图像分辨率配置可调节的CSN模块数,以使模型达到最佳性能。在公共数据集CIFAR-10和STL-10上的实验结果表明,TCSNGAN模型复杂度低,生成的图像质量优;在火灾图像生成中的实验结果表明,TCSNGAN可有效解决小样本数据集的扩充问题。     

基于对抗网络遥感图像超分辨率重建研究

图像分辨率是衡量遥感图像质量的重要指标,受限于成像设备和传输条件,传统遥感图像的清晰度难以保证,针对上述问题,提出了一种基于条件生成对抗网络的遥感图像超分辨率重建的改进模型。为了加快模型的收敛速度,在生成器网络中使用内容损失和对抗损失相结合作为目标函数。另外为了提高了网络训练的稳定性,在判别器网络中引入梯度惩罚函数对判别器梯度进行限制。实验结果表明,改进后的模型相较于SRCNN、FSRCNN和SRGAN模型,主观视觉效果和客观评价指标均有显著提升。     

加入奖励的GRU对抗网络文本生成模型

针对目前生成对抗网络文本生成模型采用有监督形式造成的错误累计以及生成文本信息单一等问题,提出一种基于GRU生成对抗网络的文本生成模型,GRU生成器采用策略梯度进行参数更新,且该模型增加蒙特卡洛搜索推导生成样本序列。采用参数较少的GRU神经网络作为生成器和判别器,判别器的输出loss函数指导生成过程中的参数优化,以蒙特卡洛策略思想补充生成过程中的非完整序列,减少错误累计并增加文本生成信息的丰富性。引入门截断机制,用自定义函数替换GRU网络中的sigmoid函数,改进当前时刻的隐含变量的激活函数,改善原函数收敛速度较慢且容易产生梯度消失问题,使之更适应本文模型。仿真实验结果表明本文模型丰富了文本生成的多样性,提高了模型的收敛速度,验证了本模型的有效性。该模型有较好的应用性。     

结合Pix2Pix生成对抗网络的灰度图像着色方法

针对神经网络在进行图像着色时容易出现物体边界不明确、图像着色质量不高的问题,提出结合Pix2Pix生成对抗网络的灰度图像着色方法.首先改进U-Net结构,采用8个下采样层和8个上采样层对图像进行特征提取和颜色预测,提高网络模型对图像深层次特征的提取能力;然后使用L1损失和smooth L 1损失度量生成图像与真实图像之间的差距,对比不同损失函数下的图像着色质量;最后加入梯度惩罚,在生成图像和真实图像分布之间构造新的数据分布,对每个输入数据进行梯度惩罚,改变判别器网络梯度限制方法,提高网络在训练过程中的稳定性.在相同实验环境下,使用Pix2Pix模型和summer2winter数据进行对比分析.实验结果表明,改进后的U-Net和使用smooth L 1损失作为生成器损失可以生成更好的着色图像;而L1损失能更好地保持图像结构信息,使用梯度惩罚可以加速模型的收敛速度,提高模型稳定性和图像质量;该方法能更好地学习图像的深层次特征,减少图像着色模糊现象,在有效地保持图像结构相似性的同时提高图像着色质量.     

融合多感受野与注意力的太阳能电池缺陷生成算法

针对太阳能电池某些缺陷图像样本较少的问题,提出融合多感受野与注意力的太阳能电池缺陷生成算法,并将生成图像用于缺陷检测模型的训练.首先,构造双判别器的生成对抗网络,全局判别器与局部判别器分别关注图像中的全局信息与局部细节.然后,设计多感受野特征提取,与改进的注意力模块融合为多感受野注意力模块,用于设计生成器和判别器的网络结构.最后,在损失函数中加入结构相似性损失与峰值信噪比损失,用于训练生成器,并对生成图像进行均值滤波处理.在太阳能电池电致发光数据集上对3种不同尺度的缺陷图像进行生成实验,结果表明,3种缺陷生成图像的结构相似性指标与峰值信噪比指标都较高.此外,在利用生成的缺陷图像进行YOLOv7检测模型的训练后,3种缺陷的平均精度均值较高.     

结合频谱规范化与自注意力机制的DCGAN研究

针对基于深度卷积对抗式生成网络的图像生成方法存在训练过程稳定性亟待提高、图像生成质量效果欠佳等问题,提出一种将频谱规范化、自注意力机制与深度卷积对抗式生成网络结合的图像生成方法。在网络结构中,将频谱规范化的权重标准技术引入判别器,使判别器的参数矩阵满足Lipschitz约束,提高网络模型训练过程的稳定性;将自注意力机制引入生成器,使网络有目的地学习,得到质量更好的图像。实验结果证明,该方法相比目前的生成模型在CelebA、Cartooon数据集上能够有效地提高模型的收敛速度、训练稳定性和图像生成效果。     

融合自注意力机制和相对鉴别的无监督图像翻译

无监督图像翻译使用非配对训练数据能够完成图像中对象变换、季节转移、卫星与路网图相互转换等多种图像翻译任务.针对基于生成对抗网络(Generative adversarial network, GAN)的无监督图像翻译中训练过程不稳定、无关域改变较大而导致翻译图像细节模糊、真实性低的问题, 本文基于对偶学习提出一种融合自注意力机制和相对鉴别的无监督图像翻译方法.首先, 生成器引入自注意力机制加强图像生成过程中像素间远近距离的关联关系, 在低、高卷积层间增加跳跃连接, 降低无关图像域特征信息损失.其次, 判别器使用谱规范化防止因鉴别能力突变造成的梯度消失, 增强训练过程中整体模型的稳定性.最后, 在损失函数中基于循环重构增加自我重构一致性约束条件, 专注目标域的转变, 设计相对鉴别对抗损失指导生成器和判别器之间的零和博弈, 完成无监督的图像翻译.在Horse & Zebra、Summer & Winter以及AerialPhoto & Map数据集上的实验结果表明:相较于现有GAN的图像翻译方法, 本文能够建立更真实的图像域映射关系, 提高了生成图像的翻译质量.     

基于仲裁机制的生成对抗网络改进算法

针对深度卷积生成对抗网络（DCGAN）中的对抗训练缺乏灵活性以及DCGAN所使用的二分类交叉熵损失（BCE loss）函数存在优化不灵活、收敛状态不明确的问题,提出了一种基于仲裁机制的生成对抗网络（GAN）改进算法,即在DCGAN的基础上引入了所提出的仲裁机制。首先,所提改进算法的网络结构由生成器、鉴别器和仲裁器组成;然后,生成器与鉴别器会根据训练规划进行对抗训练,并根据从数据集中感知学习到的特征分别强化生成图像以及辨别图像真伪的能力;其次,由上一轮经过对抗训练的生成器和鉴别器与度量分数计算模块一起组成仲裁器,该仲裁器将度量生成器与鉴别器对抗训练的结果,并反馈到训练规划中;最后,在网络结构中添加获胜限制以提高模型训练的稳定性,并使用Circle loss函数替换BCE loss函数,使得模型优化过程更灵活、收敛状态更明确。实验结果表明,所提算法在建筑类以及人脸数据集上有较好的生成效果,在LSUN数据集上,该算法的FID指标相较于DCGAN原始算法下降了1.04%;在CelebA数据集上,该算法的IS指标相较于DCGAN原始算法提高了4.53%。所提算法生成的图像具有更好的多样性以及更高的质量。     

基于半监督对抗学习的图像语义分割

目的 将半监督对抗学习应用于图像语义分割,可以有效减少训练过程中人工生成标记的数量。作为生成器的分割网络的卷积算子只具有局部感受域,因此对于图像不同区域之间的远程依赖关系只能通过多个卷积层或增加卷积核的大小进行建模,但这种做法也同时失去了使用局部卷积结构获得的计算效率。此外,生成对抗网络（generative adversarial network,GAN）中的另一个挑战是判别器的性能控制。在高维空间中,由判别器进行的密度比估计通常是不准确且不稳定的。为此,本文提出面向图像语义分割的半监督对抗学习方法。方法 在生成对抗网络的分割网络中附加两层自注意模块,在空间维度上对语义依赖关系进行建模。自注意模块通过对所有位置的特征进行加权求和,有选择地在每个位置聚合特征。因而能够在像素级正确标记值数据的基础上有效处理输入图像中广泛分离的空间区域之间的关系。同时,为解决提出的半监督对抗学习方法的稳定性问题,在训练过程中将谱归一化应用到对抗网络的判别器中,这种加权归一化方法不仅可以稳定判别器网络的训练,并且不需要对唯一的超参数进行密集调整即可获得满意性能,且实现简单,计算量少,即使在缺乏互补的正则化技术的情况下,谱归一化也可以比权重归一化和梯度损失更好地改善生成图像的质量。结果 实验在Cityscapes数据集及PASCAL VOC 2012（pattern analysis,statistical modeling and computational learning visual object classes）数据集上与9种方法进行比较。在Cityscapes数据集中,相比基线模型,性能提高了2.3%~3.2%。在PASCAL VOC 2012数据集中,性能比基线模型提高了1.4%~2.5%。同时,在PASCAL VOC 2012数据集上进行消融实验,可以看出本文方法的有效性。结论 本文提出的半监督对抗学习的语义分割方法,通过引入的自注意力机制捕获特征图上各像素之间的依赖关系,应用谱归一化增强对抗生成网络的稳定性,表现出了较好的鲁棒性和有效性。     

基于Msmall-Patch训练的夜晚单幅图像去雾算法——MP-CGAN

针对基于暗通道先验（DCP）与大气散射模型方法实现夜晚图像去雾出现颜色失真及噪声等问题,提出一种基于Msmall-Patch训练的条件生成对抗网络（CGAN）去雾算法MP-CGAN。首先,将UNet与密集神经网络（DenseNet）网络结合成UDNet网络作为生成器网络结构;其次,对生成器与鉴别器网络使用Msmall-Patch训练,即通过对鉴别器最后Patch部分采取Min-Pool或Max-Pool方式提取多个小惩罚区域,这些区域对应退化严重或容易被误判的区域,与之对应提出重度惩罚损失,即在鉴别器输出中选取数个最大损失值作为损失;最后,将重度惩罚损失、感知损失与对抗感知损失组合成新的复合损失函数。在测试集上,与雾密度图预测算法（HDP-Net）相比,所提算法的峰值信噪比（PSNR）与结构相似性（SSIM）值分别提升了59%与37%;与超像素算法比,PSNR与SSIM值分别提升了59%与48%。实验结果表明,所提算法能够减少CGAN训练过程产生的噪声伪影,提高了夜晚图像去雾质量。     

基于Transformer实现文本导向的图像编辑

为方便非专业用户修图,提出一种基于Transformer的图像编辑模型TMGAN,使用户可通过自然语言描述自动修改图像属性。TMGAN整体框架采用生成对抗网络,生成器采用Transformer编码器结构提取全局上下文信息,解决生成图像不够真实的问题;判别器包含基于Transformer的多尺度判别器和词级判别器两部分,给生成器细粒度的反馈,生成符合文本描述的目标图像且保留原始图像中与文本描述无关的内容。实验表明,此模型在CUB Bird数据集上,IS（inception score）、FID（Fréchet inception distance）以及MP（manipulation precision）度量指标分别达到了9.07、8.64和0.081。提出的TMGAN模型对比现有模型效果更好,生成图像既满足了给定文本的属性要求又具有高语义性。