基于生成对抗网络的文本两阶段生成高质量图像方法

为了解决传统文本生成图像方法生成图像质量差和文本描述与生成图像不一致问题,以多种损失函数为约束,提出深度融合注意力的生成对抗网络方法（DFA-GAN）.采用两阶段图像生成,以单级生成对抗网络（GAN）为主干,将第一阶段生成的初始模糊图像输入第二阶段,对初始图像进行高质量再生成,以提升图像的生成质量.在图像生成的第一阶段,设计视觉文本融合模块,深度融合文本特征与图像特征,将文本信息充分融合在不同尺度的图像采样过程中.在图像生成的第二阶段,为了充分融合图像特征与文本描述词特征,提出以改进后的Vision Transformer为编码器的图像生成器.定量与定性实验结果表明,对比其他主流模型,所提方法提高了生成图像的质量,与文本描述更加符合.     

基于生成对抗网络的图像风格迁移

生成对抗网络(Generative Adversarial Network, GAN)可以生成和真实图像较接近的生成图像.作为深度学习中较新的一种图像生成模型,GAN在图像风格迁移中发挥着重要作用.针对当前生成对抗网络模型中存在的生成图像质量较低、模型较难训练等问题,提出了新的风格迁移方法,有效改进了BicycleGAN模型实现图像风格迁移.为了解决GAN在训练中容易出现的退化现象,将残差模块引入GAN的生成器,并引入自注意力机制,获得更多的图像特征,提高生成器的生成质量.为了解决GAN在训练过程中的梯度爆炸现象,在判别器每一个卷积层后面加入谱归一化.为了解决训练不够稳定、生成图像质量低的现象,引入感知损失.在Facades和AerialPhoto&Map数据集上的实验结果表明,该方法的生成图像的PSNR值和SSIM值高于同类比较方法.     

基于注意力机制的生成对抗网络古诗插图生成方法

古诗插图自动生成是非常具有挑战性的任务。提出了一种新的方法,通过使用注意力机制的生成对抗网络,输入古诗文字和草绘图,经由网络输出古诗插图。该模型在利用编码与解码的图片生成结构的同时,结合注意力机制,将图像色彩及轮廓特征进行了提取,生成器中加入了残差网络模块,增加了网络深度,同时提高了网络模型的效果,最终生成图像质量更高的古诗插图。实验结果表明,所提方法相较于对比方法,在图像质量和色彩渲染方面均有优势,输入的古诗和草图经过网络模型,生成了较为符合古诗意境的插图。     

基于级联生成对抗网络的人脸图像修复

人脸图像修复技术为近年来图像处理领域的研究热点。该文提出一种基于级联生成对抗网络的人脸图像修复方法,从生成器、判别器、损失函数三个方面进行改良。生成器采用由粗到精的级联式模型,并结合密集连接模块使所修复区域更加精细;判别器采用局部与全局特征相融合的双重判别式模型以提升判别准确性;损失函数采用最小化重构损失和对抗网络损失相结合以获得更好训练效果。基于CelebA数据集的实验显示,该方法可实现面部区域丢失50%以上的人脸图像修复,在客观评价指标PSNR和SSIM上,较现有方法分别提高了1.1~7.5 dB和0.02~0.15。从主观效果来看,该方法修复的人脸图像拥有更丰富的细节、更显自然。     

基于改进生成对抗网络的书法字生成算法

针对生成对抗网络生成字体存在笔画缺失、字形结构错乱、图像模糊与质量差的问题，提出改进zi2zi生成对抗网络的书法字生成算法.在编码器中引入卷积核为1的残差块，提高生成器提取书法字体细节特征的能力，通过增加上下文感知注意力结构提取书法字体的风格特征.在判别器中利用谱归一化增强模型的稳定性，避免因模型训练不稳定而带来的模式崩塌.采用最小绝对误差L1范数约束生成字体边缘特征，使得字体轮廓更加清晰，最终生成2种风格的书法字.颜真卿楷书与赵孟頫行书目标风格数据集的测试结果表明，提出算法的主观客观评价结果均优于对比算法，与zi2zi相比，峰值信噪比分别提高了1.58、1.76 dB，结构相似性分别提高了5.66%、6.91%，感知相似性分别降低了4.21%、6.20%.     

基于文本句法的文本生成模型

本文引用语言学及符号学理论，综合自然语言文本生成所涉及的知识，构造了计算机文本生成的理论模型；探讨文本句法中的微观整合性和宏观整合性以及它们对文本生成的作用。这个以文本结构模型和文本意义模型为主体的文本生成理论框架，为进一步的计算机语言生成研究提供了方法依据。     

基于监督注意力机制的语义标签生成图像

由于卷积神经网络内部存在局部连接,通过学习局部特征,模型能够较好地生成纹理风格信息,但是对高级语义特征的学习能力较差,导致生成图像中语义目标出现模糊失真的现象.为提高神经网络的全局特征处理能力,使生成图像中的语义目标更清晰真实,本研究提出一种监督注意力机制应用于端到端结构的级联细化网络图像生成模型.对第一级精细化模块输...     

一种门控卷积生成对抗网络的图像修复算法

生成对抗网络图像修复算法在填充任意掩码区域时会经常出现错误,原因是其在进行卷积运算时将所有输入像素都视为有效像素.针对该问题,提出一种门控卷积生成对抗网络的图像修复算法,利用门控卷积替换网络残差块中的传统卷积,以有效地学习已知区域与掩码区域之间的关系.算法采用边缘修复加纹理修复的两阶段生成对抗修复网络.首先,用边缘检测...     

基于生成对抗网络的低光照图像增强算法

传统的基于深度学习的方法在低照度图像增强中已经有比较好的发挥,但是这些方法通常需要成对的数据集进行训练,而相对应的数据集正是目前难以收集的。目前的增强方法在真实的低照度图像增强中也会产生增强效果不完美和出现图像噪声等问题。针对这些问题,设计了无监督生成对抗网络,使其可以不用配对训练数据集进行训练,并且把网络分解为注意力机制网络和增强网络2个子网络。通过注意力机制网络把低照度图像中的低光区域和亮光区域区分开,并使用残差增强网络结合全局局部判别器,对图像进行增强。实验结果表明,本文的方法在低光照图像增强方面优于Enlighten-GAN、Cycle-GAN等方法。     

基于CNN-BiLSTM网络引入注意力模型的文本情感分析

为了解决单一卷积神经网络（CNN）缺乏利用文本上下文信息的能力和简单循环神经网络（RNN）无法解决长时依赖的问题,提出CNN-BiLSTM网络引入注意力模型的文本情感分析方法。首先利用CNN的特征强学习能力提取局部特征,再利用双向长短时记忆网络（BiLSTM）提取上下文相关特征的能力进行深度学习,最后,增加注意力层获取重要特征,使模型提取到有效的特征。在IMDB数据集上Accuracy值和均方根误差（RMSE）值分别达到90.34%和0.296 7,在Twitter数据集上Accuracy值和RMSE值分别达到76.90%、0.417 4,且模型时间代价小。结果表明,本文提出的模型有效提升了文本分类的准确率。     

基于生成对抗网络的无人机图像道路提取

该文基于TensorFlow开发平台,搭建了生成对抗网络模型,通过无人机遥感图像预处理、道路标签制作、网络训练和算法改进,完成了道路特征信息的深度学习,固化了生成网络参数,实现了基于无人机图像的低等级道路信息自动提取的科学目标,并通过形态学处理进一步增强了道路的提取效果。通过分析不同特征道路提取的信息,证明了本方法对利用高分辨率无人机图像提取低等级道路信息具有较好的借鉴作用。     

基于归因注意力的图像生成模型研究

为了解决生成与描述文本潜在语义信息配对的逼真图像这一问题,对传统的生成式模型AttnGAN中的注意力机制做出改进,即将AttnGAN模型生成器中的注意力机制进行归因,以归因注意力得分矩阵替代注意力得分矩阵在AttnGAN模型中作用,并用消融实验展示该文的DAMSM模块对于整个生成式网络的性能所产生的影响。将改进后的模型称为AttrGAN并与其他经典的生成式模型进行实验对比,从CUB鸟类数据集和Oxford-102flowers数据集的实验结果来看,改进后的AttrGAN模型生成图像的性能是优于其他经典的生成式模型的。     

基于生成对抗网络的遮挡图像修复算法

提出一种基于生成对抗网络的遮挡图像修复算法,能够在大量像素缺失的场景下复原出图像的本来面目.该算法不同于其他的样本块搜索复原算法,可直接生成并且填充可能的缺失元素,改进了生成对抗网络生成模型的结构和生成损失的计算方法,具有半监督学习的特点.实验结果表明,在满足图像整体轮廓的前提下,新算法优于其他算法.     

条件约束下的自我注意生成对抗网络

为了解决生成对抗网络中因生成图像的特征信息表示不足而导致生成效果特征不明显、图像的关键特征信息模糊的问题, 提出了一种条件自我注意生成对抗网络的图像生成方法。该网络结合自我注意生成对抗网络的优点,向生成器和判别器中添加附加条件特征,明确指示模型生成对应的标志性类别信息,将数据的具体维度与语义特征关联起来,用这种方法提取其中的生成模型,使生成特定类型的图像的特征表示更加贴合原始数据分布。实验结果表明,所提出的方法在CelebA和MNIST数据集上的弗雷歇距离值相比较于自我注意生成对抗网络分别约提高了1.26和2.47。验证了所提出的方法相比较于其他的监督类生成模型可以有效地提升图像的质量效果以及多样性,并且可以有效地加快网络的收敛速度。     

基于生成对抗网络的对抗防御系统

针对不断更新的对抗攻击,提出一个基于生成对抗网络的防御系统.系统利用生成对抗网络不断生成新的对抗样本,反复训练模型以增强其鲁棒性.具体过程为将预先训练的卷积神经网络和外部GAN(conditional GAN:Pix2Pix)相结合,自动流水线式地推断对抗样本和干净样本之间的转换关系,并合成新的对抗样本.根据分辨得到的...     

一种改进条件生成对抗网络的图像去雾算法

针对现有去雾算法存在的颜色失真、细节丢失和一些肉眼可见的薄雾残留等问题,提出了一种改进条件生成对抗网络的去雾算法。首先,为了能更好地保留图像的底层纹理信息和结构信息,共享浅层和深层图像之间的特征,设计了含对称层跳跃连接结构的生成器。其次,为了保留图像的细节并减少伪影,重新设计了损失函数,在原始网络损失的基础上引入L1损失和感知损失。提出的算法在HSTS数据集上的峰值信噪比可达27.306 4 dB,结构相似度达0.963 3,比其他算法的最优值分别提高了5.728 dB和0.058 1。去雾后目标检测的mAP提高了2.51%,召回率提高了4.31%。实验结果表明,所提出算法可以减少色差,解决薄雾残留问题,块效应基本消除,在主观效果和客观评价上均具有明显优势。     

基于多尺度特征融合注意力CNN的遥感图像语义分割方法

针对遥感图像目标尺度变化较大、分割不够准确的问题,提出了一种融合多尺度特征注意力卷积神经网络(CNN)的图像分割方法。该方法基于卷积块注意力模块提出了改进的有效注意力模块(ECBAM)。在通道注意力模块中加入空洞卷积以降低池化操作造成的特征损失,并在通道注意力模块后添加卷积层对通道注意力特征映射进行特征融合。然后,基于ECBAM设计了一种编码解码架构的卷积神经网络模型ECBAM-CNN,其中编码器主要由卷积层、ECBAM和空洞空间金字塔池化模块组成,解码器主要由卷积层和ECBAM组成,并且采用跳跃连接将编码阶段的多尺度信息融合到解码器。实验表明,提出的方法无需预训练和后处理,与SegNet等前沿方法相比取得了更好或相近的分割准确度,在DLRSD和WHDLD测试集上的mIoU分别为67.3%和62.0%。     

融合残差块注意力机制和生成对抗网络的海马体分割

研究一种基于改进的生成对抗网络的深度学习方法对海马体进行分割。提出不同的卷积配置,以捕获由分割网络获得的信息。提出以Pixel2Pixel为基本架构的生成对抗网络模型,生成模型结合残差网络以及注意力机制的编解码结构以捕获更多细节信息。判别网络采用卷积神经网络对生成模型的分割结果和专家分割结果进行判别。经过生成模型和对抗模型不断地传递其损失,使生成模型达到分割海马体的最优状态。使用来自ADNI数据集130名健康受试者的T1加权MRI扫描和相关海马标签作为训练和测试数据,以相似度系数作为评价指标,准确率达到89.46%。试验结果表明,该网络模型可以实现高效地自动分割海马体,对于阿尔茨海默症等疾病的正确诊断具有重要的现实意义。     

基于文本层级结构的图像描述生成算法

针对现有图像描述生成算法在解码阶段由于语言模型结构简单,解码表达能力较弱,容易造成语义缺失的问题,引入有序长短时记忆网络(ON-LSTM),改进现有模型解码器,构建双层LSTM架构,显式的提取描述文本层级结构,解码出更丰富的语义特征。在MSCOCO数据集上进行训练和测试,实验结果表明,改进的算法能够生成更加符合自然语言习惯的描述语句。     

融合残差块注意力机制和生成对抗网络的海马体分割

研究一种基于改进的生成对抗网络的深度学习方法对海马体进行分割。提出不同的卷积配置,以捕获由分割网络获得的信息。提出以Pixel2Pixel为基本架构的生成对抗网络模型,生成模型结合残差网络以及注意力机制的编解码结构以捕获更多细节信息。判别网络采用卷积神经网络对生成模型的分割结果和专家分割结果进行判别。经过生成模型和对抗模型不断地传递其损失,使生成模型达到分割海马体的最优状态。使用来自ADNI数据集130名健康受试者的T1加权MRI扫描和相关海马标签作为训练和测试数据,以相似度系数作为评价指标,准确率达到89.46%。试验结果表明,该网络模型可以实现高效地自动分割海马体,对于阿尔茨海默症等疾病的正确诊断具有重要的现实意义。