嵌入自注意力机制的美学特征图像生成方法

针对生成的图像结构单一,细节特征不够丰富,导致美观感不足等问题,提出了一种嵌入自注意力机制的美学特征图像生成方法.为了增加生成图像的美学特征,研究图像美学评价标准与生成模型之间的关联性,定义了基于美学分数的美学损失函数;为保证生成图像与真实图像在语义内容上的一致性,加入VGG网络,构造内容损失函数,采用Charbonnier损失代替L1损失,并将美学损失、内容损失和进化生成对抗网络的对抗损失以加权形式组合,引导与优化图像的生成.在生成器和判别器中引入自注意力机制模块,并将密集卷积块加入生成器自注意力机制模块之前,充分提取特征,有利于自注意力机制高效获取更多特征内部的全局依赖关系,促使生成图像细节清晰,纹理特征丰富.在Cifar10、CUHKPQ两个数据集上的实验结果表明该方法在提升图像美学效果方面是有效的,其弗雷歇距离值相较于进化生成对抗网络分别提高了3.21和5.44,图像美学分数值相较于进化生成对抗网络分别提高了0.75和0.88.     

基于单幅图像学习的生成对抗网络模型

将卷积神经网络引入生成对抗网络可提高所生成图像的质量,但网络的感受野较小且难以学习各个特征通道之间的重要关系。在SinGAN网络的基础上,提出一种能从单幅图像中学习的生成对抗网络模型。在SinGAN网络的生成器和鉴别器中引入Inception V2模块以增加网络宽度扩大感受野,采用多个卷积核提取图像特征并进行特征融合,利用SENet模块学习各个通道的重要程度以获取更好的图像表征。实验结果表明,与Bicubic和SinGAN模型相比,该模型峰值信噪比和结构相似性值更高,可有效提升图像生成质量。     

基于单阶段GANs的文本生成图像模型

针对目前生成以文本为条件的图像通常会遇到生成质量差、训练不稳定的问题,提出了通过单阶段生成对抗网络(GANs)生成高质量图像的模型.具体而言,在GANs的生成器中引入注意力机制生成细粒度的图像,同时通过在判别器中添加局部-全局语言表示,来精准地鉴别生成图像和真实图像;通过生成器和判别器之间的相互博弈,最终生成高质量图像...     

一种融合生成对抗网络的零样本图像分类方法

目前很多零样本图像分类方法是采用学习语义信息空间和图像特征空间之间的映射关系来实现图像分类,但是这些方法会产生枢纽化和域漂移问题。通过利用生成对抗网络实现图像特征生成可以缓解以上两种问题,但该方法容易产生模式崩溃从而导致生成的图像特征不真实。因此提出一种改进的生成对抗网络方法,通过在生成器网络上增加一个重构网络,将生成器生成的图像特征重构回语义信息,以此实现生成器网络生成的图像特征更加符合语义信息的图像特征。实验结果表明,该方法相较于原本的生成对抗网络模型而言,在AWA、CUB、FLO、SUN四个数据集上的分类准确率分别提升了1.0、0.1、1.2和0.9个百分点,证明了通过融合改进的生成对抗网络实现零样本图像分类方法的有效性和可行性。     

结合混合注意力的双判别生成对抗网络

图像生成任务中,如何提升生成图片的质量是一个关键问题。当前,生成对抗网络采用的多层卷积结构存在局部性归纳偏置的问题,无法准确聚焦关键信息,导致图像特征丢失严重,生成图像效果较差。为此,提出了结合混合注意力的双判别生成对抗网络（DDMA-GAN）。设计了一种混合注意力机制,利用通道注意力和空间注意力模块,从两个维度充分捕获图像特征信息;为解决单判别器存在判别误差的问题,提出一种双判别器结构,使用融合系数将判定结果融合,使回传参数更具客观性,并嵌入数据增强模块,进一步提升模型鲁棒性;采用铰链损失作为模型损失函数,最大化真假样本间的距离,明确决策边界。模型在公开数据集LSUN和CelebA上进行验证,实验结果表明,DDMA-GAN生成的图像更加真实,纹理细节更加丰富,其FID和MMD值均显著降低且优于其他常见模型,证明了模型的有效性。     

基于SAU-NetDCGAN的天气云图生成方法

天文台天气监测系统对天气云图存在巨大需求。为解决传统的生成对抗网络在扩充天气云图数据集时模型不稳定以及图像特征丢失等问题,提出一种基于SAU-NetDCGAN的双层嵌入式对抗网络天气云图生成方法,该方法由两层网络相互嵌套组成。首先,第一层嵌入式网络是将U型网络添加到生成对抗式网络的生成器中,该网络作为基础架构,利用编码器与解码器之间的跳跃连接增强图像的边缘特征恢复能力;接着,第二层嵌入式网络是将简化参数注意力机制（simplify-attention,SA）添加到U型网络中,该注意力机制通过简化参数降低了模型复杂度,有效地改善了图像暗部特征丢失的问题;最后设计了一种新的权重计算方式,加强了各特征之间的联系,增加了对图像细节纹理特征的提取。实验结果表明,该方法生成的图像在清晰度、色彩饱和度上与传统的生成对抗网络相比图像质量更好,在峰值信噪比、结构相似性的评价指标下分别提高了27.06 dB和 0.606 5。     

复杂场景下行人轨迹预测方法

为了预测行人在复杂场景中的行走轨迹,提出了一种基于生成对抗网络的可解释模型。该模型以场景中行人的历史轨迹信息和场景环境信息作为模型的输入,并在生成对抗网络中引入了物理注意力机制和社会注意力机制对行人轨迹进行预测。其中,物理注意力机制有助于建模复杂场景的整体布局并提取图像中与路径相关的显著特征,社会注意力机制能够建模不同行人之间的交互对未来轨迹的影响。在生成对抗网络的整体框架下,物理和社会注意力机制的结合使得该模型能够预测出符合物理限制和社会行为规范的多条可接受的未来路径。通过在仿真数据和真实的标准数据集上的实验,可以证明该模型能够实现对行人未来轨迹的有效预测。     

基于属性分解融合的可控人脸图像合成算法

在现实生活中，人脸图像受隐私或安全因素的限制难以直接采集，因此可以考虑采用图像生成方法。当使用生成对抗网络进行图像生成时，容易出现分辨率低、边缘模糊、身份信息特征丢失等问题。针对上述问题，提出了一种新的人脸特征生成模型：通过将关键信息作为独立编码嵌入隐式空间，再与全局特征进行融合插值实现对人脸关键特征的可控生成；引入改进的注意力模块，在生成过程中关注局部特征和全局特征的相关性；将色差损失和人脸分量损失联合引入整体损失函数中，负责约束像素颜色和人脸纹理特征。该算法可以在人脸局部区域生成自然真实的外观特征，保留原始身份信息，并生成平滑的面部轮廓。使用预处理后的CelebA数据集的实验表明，该算法在主观视觉效果上有显著提升，同时与现有方法相比在PSNR和SSIM上有稳定的提升。     

基于通道注意力机制的文本生成图像方法

针对文本生成图像任务中生成图像细节缺失及低分辨率阶段生成图像存在结构性错误的问题,基于动态注意力机制生成对抗网络（DMGAN）,引入内容感知上采样模块和通道注意力卷积模块,提出一种新的文本生成图像方法ECAGAN。在低分辨率图像生成阶段的特征图上采样过程中采用基于内容感知的上采样方法,通过输入特征图计算得到重组卷积核,使用重组卷积核和特征图进行卷积操作,确保上采样后的特征图和文本条件的语义一致性,使生成的低分辨率图像更加准确,利用通道注意力卷积模块学习特征图各个特征通道的重要程度,突出重要的特征通道,抑制无效信息,使生成图像的细节更丰富。此外在训练过程中结合条件增强和感知损失函数辅助训练,增强训练过程的鲁棒性,提高生成图像质量。在CUB-200-2011数据集上的实验结果表明,ECAGAN模型初始分数达到了4.83,R值达到了75.62,与DMGAN方法相比,分别提高了1.6%和4.6%,并且可改善生成图像结构错乱的问题,同时能够生成清晰的图像细节,语义一致性更高,更加接近真实图像。     

基于改进SRGAN模型的人脸图像超分辨率重建

传统生成对抗网络模型重建人脸图像时出现过多失真，难以在减少失真的情况下有效提高人脸图像真实感。针对该问题，在生成对抗网络SRGAN模型的基础上，提出一种改进的人脸图像超分辨率重建方法。为提高重建像素点与周围像素点的相关性，将双注意力机制模块嵌入到SRGAN模型的生成器和判别器中，在空间域和通道域中获取更精准的特征依赖关系。同时应用自适应激活函数ACON取代原SRGAN网络中的激活函数，通过动态学习ACON激活函数参数为每个神经元设计不同激活形式，从而提高网络特征表达能力。使用改进SRGAN的人脸图像超分辨率重建算法在CelebA测试集上进行重建实验，结果表明：该算法较原算法PSNR值提高0.675 dB,SSIM值提高0.016,LPIPS值优化0.036，有效减少了重建人脸图像中眼睛等重点部位的失真情况；与其他非生成对抗网络的主流算法相比，LPIPS值最低优化0.107，最高优化0.205，有效提高了重建人脸图像的真实感。     

关键人脸轮廓区域卡通风格化生成算法

针对人脸轮廓特征区域的局部化限定,结合关键特征点的提取和脸部邻近颜色区域的融合,并引入注意力机制,提出了一种基于CycleGAN的关键人脸轮廓区域卡通风格化生成算法,以此作为初始样本构建生成对抗网络(GAN)并获取自然融合的局部卡通风格化人脸图像.利用人脸轮廓及关键特征点进行提取,结合颜色特征信息限定关键人脸风格化区域...     

基于生成对抗模型及光路分解的全局光照绘制

针对现有全局光照图像重建高频特征效果模糊的问题,提出一种基于生成对抗模型及光路分解的全局光照绘制网络,以各类图形辅助属性（法线、深度、粗糙度等）为主要输入,学习光照传输的抽象表示并编码,用于推理光照图像。第一,将光照解耦为漫反射和镜面反射两部分,设计独立的生成对抗网络端到端地学习和推理光照子图,避免混频光照的相互干扰,保证高频细节的清晰重现。第二,使用自编码器作为绘制网络的基本结构,添加多尺度特征融合模块用于不同感受野下的特征合成,以促进阴影、镜面反射等复杂特效的有效表达。第三,使用旋转损失和特征损失两种增强的对抗损失函数,增加网络训练的稳定性。实验结果表明,与现有降噪或图像生成模型相比,该方法能够有效地生成视觉上更逼真的全局光照图像,保留更多高频细节,PSNR指标提升8%～20%。     

融合通道位置注意力机制和并行空洞卷积的人脸年龄合成

目的 人脸年龄合成旨在合成指定年龄人脸图像的同时保持高可信度的人脸,是计算机视觉领域的热门研究方向之一。然而目前主流人脸年龄合成模型过于关注纹理信息,忽视了与人脸相关的多尺度特征,此外网络存在对身份信息筛选不佳的问题。针对以上问题,提出一种融合通道位置注意力机制和并行空洞卷积的人脸年龄合成网络（generative adversarial network（GAN）composed of the parallel dilated convolution and channel-coordinate attention mechanism,PDA-GAN）。方法 PDA-GAN基于生成对抗网络提出了并行三通道空洞卷积残差块和通道—位置注意力机制。并行三通道空洞卷积残差块将3种膨胀系数空洞卷积提取的不同尺度人脸特征融合,提升了特征尺度上的多样性和总量上的丰富度;通道—位置注意力机制通过对人脸特征的长度、宽度和深度显著性计算,定位图像中与年龄高度相关的通道和空间位置区域,增强了网络对通道和空间位置上敏感特征的表达能力,解决了特征冗余问题。结果 实验在Flickr高清人脸数据集（Flickr-faces-high-quality,FFHQ）上训练,在名人人脸属性高清数据集（large-scale celebfaces attributes dataset-high quality,Celeba-HQ）上测试,将本文提出的PDA-GAN与最新的3种人脸年龄图像合成网络进行定性和定量比较,以验证本文方法的有效性。实验结果表明,PDA-GAN显著提升了人脸年龄合成的身份置信度和年龄估计准确度,具有良好的身份信息保留和年龄操控能力。结论 本文方法能够合成具有较高真实度和准确性的目标年龄人脸图像。     

基于GAN和U-Net的低光照图像增强算法

夜间、低光照等条件下的产生的图像数据,存在画面过暗、细节丢失的问题,对理解图像内容、提取图像特征造成阻碍.研究针对此类图像的增强方法,恢复图像的亮度、对比度和细节,在数字摄影、上游计算机视觉任务中有着重要的应用价值.本文提出一种基于U-Net的生成对抗网络,生成器采用带有混合注意力机制的U-Net模型,其中混合注意力模...     

基于生成对抗网络的图像动漫化

动漫风格的图像具有高度的简化和抽象等特征,为了解决将现实世界图像转化成动漫风格图像这一问题,提出一种基于生成对抗网络的图像动漫化方法。本文的生成网络是类U-Net的全卷积结构,对输入图像先下采样,并加上浅层的特征用双线性插值的方法进行上采样,判别网络则采用Patch GAN加谱归一化的结构,分别计算语义内容损失和风格损失以提高网络的稳定性。本文采用surface表征损失、structure表征损失和texture表征损失代替风格损失,使得生成动漫图像的效果更可控。写实图像选用train2014,人脸图像采用CelebA-HQ数据集。使用本文模型在这些数据集上进行实验,实验结果表明,本文模型能够有效地完成图像动漫化的过程,并生成较高质量的动漫化图像。     

基于自注意力机制的条件生成对抗网络

近年来,越来越多的生成对抗网络出现在深度学习的各个领域中.条件生成对抗网络(Conditional Generative Adver-sarial Networks,cGAN)开创性地将监督学习引入到无监督的GAN网络中,这使得GAN可以生成有标签数据.传统的GAN通过多次卷积运算来模拟不同区域之间的相关性,进而生成图...     

PSWGAN-GP:改进梯度惩罚的生成对抗网络

生成对抗网络的出现对解决深度学习领域样本数据不足的研究起到了极大的促进作用。为解决生成对抗网络生成的图像出现轮廓模糊、前景背景分离等细节质量问题,提出一种改进梯度惩罚的Wasserstein生成对抗网络算法(PSWGAN-GP)。该算法在WGAN-GP的Wasserstein距离损失和梯度惩罚的基础上,在判别器中使用从VGG-16网络的3个池化层中提取的特征,并通过这些特征计算得出风格损失(Style-loss)和感知损失(Perceptual-loss)作为原损失的惩罚项,提升判别器对深层特征的获取和判别能力,对生成图像的细节进行修正和提升。实验结果表明,在生成器和判别器网络结构相同,并保证超参数相同的情况下,PSWGAN-GP的IS评分和FID评分相对于参与对比的其他图像生成算法有所提升,且可有效改善生成图片的细节质量。     

基于注意力及生成对抗网络的遥感影像目标检测

针对传统目标检测算法在环境多变、背景复杂、目标聚集、小目标过多的航空遥感影像目标检测上效果不理想的问题, 本文提出了一种基于注意力机制及生成对抗网络的遥感影像目标检测模型Attention-GAN-Mask R-CNN. 该模型将注意力、生成对抗网络和Mask R-CNN结合起来, 用以解决遥感影像目标检测中存在的问题. 实验结果表明, 在复杂的遥感影像数据集中, 该方法提升了目标检测的效率和准确率.     

基于半监督编码生成对抗网络的图像分类模型

在实际应用中,为分类模型提供大量的人工标签越来越困难,因此,近几年基于半监督的图像分类问题获得了越来越多的关注.而大量实验表明,在生成对抗网络(Generative adversarial network,GANs)的训练过程中,引入少量的标签数据能获得更好的分类效果,但在该类模型的框架中并没有考虑用于提取图像特征的结构,为了进一步利用其模型的学习能力,本文提出一种新的半监督分类模型.该模型在原生成对抗网络模型中添加了一个编码器结构,用于直接提取图像特征,并构造了一种新的半监督训练方式,获得了突出的分类效果.本模型分别在标准的手写体识别数据库MNIST、街牌号数据库SVHN和自然图像数据库CIFAR-10上完成了数值实验,并与其他半监督模型进行了对比,结果表明本文所提模型在使用少量带标数据情况下得到了更高的分类精度.