基于多尺度残差生成对抗网络的单图像盲去运动模糊方法

图像盲去运动模糊一直是计算机视觉领域的一个经典问题,它的目的是在模糊核未知的情况下恢复清晰图像。考虑到更大的感受野以及多尺度信息对恢复清晰图像中的全局信息以及局部细节信息具有重要作用,因此提出的方法对DeblurGAN方法进行改进,提出一种基于条件生成对抗网络的GR-DeblurGAN(granular resi-dual DeblurGAN)的单图像盲去运动模糊方法,采用细粒度残差模块(granular residual block)作为骨干网络,以此在不增加参数量的情况下,扩大感受野,获得多尺度信息。最后在两个广泛使用的数据集:GoPro数据集以及Kohler数据集上进行算法性能评估,并与代表性算法进行对比。从实验结果可以看出,提出的方法改进效果明显,并且在计算开销上面优于其他算法。     

基于Transformer的多轨音乐生成对抗网络

符号音乐的生成在人工智能领域中仍然是一个尚未解决的问题,面临着诸多挑战。经研究发现,现有的多音轨音乐生成方法在旋律、节奏及和谐度上均达不到市场所要求的效果,并且生成的音乐大多不符合基础的乐理知识。为了解决以上问题,提出一种新颖的基于Transformer的多音轨音乐生成对抗网络（Transformer-GAN）,以乐理规则为指导来产生具有高音乐性的音乐作品。首先,采用Transformer的译码部分与在Transformer基础之上改编的Cross-Track Transformer（CT-Transformer）分别对单音轨内部及多音轨之间的信息进行学习;然后,使用乐理规则和交叉熵损失相结合的方法引导生成网络的训练,并在训练鉴别网络的同时优化精心设计的目标损失函数;最后,生成具有旋律性、节奏性及和谐性的多音轨音乐作品。实验结果表明,与其他多乐器音乐生成模型相比,在钢琴轨、吉他轨及贝斯轨上,Transformer-GAN的预测精确度（PA）最低分别提升了12%、11%及22%,序列相似度（SS）最低分别提升了13%、6%及10%,休止符指标最低分别提升了8%、4%及17%。由此可见,Transformer-GAN在加入了CT-Transformer及音乐规则奖励模块之后能有效提升音乐的PA、SS等指标,使生成的音乐质量整体上有较大的提升。     

基于主动判别机制的自适应生成对抗网络图像去模糊算法

针对现有图像去模糊算法在处理边缘丢失时出现弥散和伪影以及在视频处理中使用全帧去模糊方式导致不满足实时性需求的问题,提出一种基于主动判别机制的自适应生成对抗网络图像去模糊（ADBGAN）算法。首先,提出一种自适应模糊判别机制,开发了自适应模糊处理网络模块对输入图像进行模糊先验判断。在采集到输入时提前判断输入图像的模糊程度,从而剔除足够清晰的输入帧以提升算法运行效率。然后,在精细特征提取过程中引入注意力机制中的激励环节,从而在特征提取的流程中进行权重归一化来提升网络对精细特征的恢复能力。最后,在生成器架构中改进了特征金字塔精细特征恢复结构,并采用更轻量化的特征融合流程提高运行效率。为验证算法的有效性,在开源数据集GoPro和Kohler上进行了详细的对比实验。实验结果显示,在GoPro数据集中ADBGAN的视觉保真度是尺度循环网络（SRN）算法的2.1倍,并在峰值信噪比（PSNR）上较SRN算法提升了0.762 dB,具有良好的图像信息恢复能力;在视频数据处理时间上ADBGAN大幅超越了测试的所有算法,实测处理时间较SRN减少了85.9%。ADBGAN能够高效生成信息质量更高的去模糊图像。     

生成对抗网络文字生成图像算法综述

生成对抗网络是图像合成的重要方法,也是目前实现文字生成图像任务最多的手段。随着跨模态生成研究不断地深入,文字生成图像的真实度与语义相关性得到了巨大提升,无论是生成花卉、鸟类、人脸等自然图像,还是生成场景图和布局,都取得了较好的成果。同时,文字生成图像技术也存在面临着一些挑战,如难以生成复杂场景中的多个物体,以及现有的评估指标不能准确地评估新提出的文字生成图像算法,需要提出新的算法评价指标。回顾了文字生成图像方法自提出以来的发展状况,列举了近年提出的文字生成图像算法、常用数据集和评估指标。最后从数据集、指标、算法和应用方面探讨了目前存在的问题,并展望了今后的研究方向。     

基于生成对抗网络的遥感图像去云算法

计算机视觉中的许多问题可以抽象为将输入图像“转换”成对应的输出图像,图像转换算法是许多计算机视觉问题的通用解决方案,例如语义分割、风格转换等。本文将以遥感图像去云作为图像转换的特例,研究基于生成对抗网络的图像转换算法。提出基于残差模块的生成模型可以对单幅遥感图像进行厚云和薄云的去除;同时提出的多尺度判别网络以及VGG损失函数,有效地解决了复杂场景的云雾遮挡问题。实验结果表明,本文提出的图像转换算法在遥感图像薄云数据集上峰值信噪比提升了1.64 dB,在厚云数据集上峰值信噪比提升了1.92 dB,同时生成的无云遥感图像和真实的无云图像具有较高的结构相似性。     

基于条件Wassertein生成对抗网络的图像生成

生成对抗网络(GAN)能够自动生成目标图像,对相似地块的建筑物排布生成具有重要意义.而目前训练模型的过程中存在生成图像精度不高、模式崩溃、模型训练效率太低的问题.针对这些问题,提出了一种面向图像生成的条件Wassertein生成对抗网络(C-WGAN)模型.首先,该模型需要识别真实样本和目标样本之间特征对应关系,然后,...     

基于生成对抗网络的运动模糊图像复原

针对相机成像时相机抖动、物体运动等导致图像产生运动模糊这一十分具有挑战性的问题，提出基于生成对抗网络的深度卷积神经网络来复原模糊图像的解决方案。该方案省略了模糊核估计的过程，采用端对端的方式直接获取复原图像；通过引入生成对抗网络思想的对抗损失和对残差网络进行改进，有效地复原了图像的细节信息。最后通过训练此深度卷积神经网络模型并在相关模糊复原基准数据集上测试，证明了该方案取得了较好的结果。     

TCSNGAN:基于Transformer和谱归一化CNN的图像生成模型

生成对抗网络(generative adversarial network, GAN)已成为图像生成问题中常用的模型之一,但是GAN的判别器在训练过程中易出现梯度消失而导致训练不稳定,以致无法获得最优化的GAN而影响生成图像的质量。针对该问题,设计满足Lipschitz条件的谱归一化卷积神经网络(CNN with spectral normalization, CSN)作为判别器,并采用具有更强表达能力的Transformer作为生成器,由此提出图像生成模型TCSNGAN。CSN判别器网络结构简单,解决了GAN模型的训练不稳定问题,且能依据数据集的图像分辨率配置可调节的CSN模块数,以使模型达到最佳性能。在公共数据集CIFAR-10和STL-10上的实验结果表明,TCSNGAN模型复杂度低,生成的图像质量优;在火灾图像生成中的实验结果表明,TCSNGAN可有效解决小样本数据集的扩充问题。     

基于条件生成对抗网络的光场图像透视视图生成算法

光场图像新视图生成算法在视点内插和外插方面已经取得了良好的研究成果,但在视点位置平移和旋转一定角度情形下的透视视图生成仍然是一项具有挑战性的任务。针对上述问题,提出了一种基于条件生成对抗网络的光场图像透视视图生成算法LFIPTNet（light field image perspective transformation network）,利用相机的位姿信息作为条件来引导条件生成对抗网络学习新视图的内容。提出了多个模块,充分利用相机位姿信息和光场宏像素图像（macro pixel image,MPI）记录空间信息、角度信息、深度信息来生成预测视图。提出的方法在构建的数据集上与最新的三种方法进行了比较,相比于性能第二的StereoMag模型,PSNR提高了7.77 dB,SSIM提高了0.35。消融实验部分对提出的模块进行了评估,验证了创新点的有效性。充分的实验结果表明LFIPTNet相比于现有算法,生成的预测视图更加准确。     

基于生成对抗网络的文本生成图像算法

文本生成图像算法对生成图像的质量和文本匹配度有很高的要求. 为了提高生成图像的清晰度, 在现有算法的基础上改进生成对抗网络模型. 加入动态记忆网络、细节校正模块(DCM)、文本图像仿射组合模块(ACM)来提高生成图片的质量. 其中动态记忆网络可以细化模糊图像并选择重要的文本信息存储, 以提高下一阶段生成图像的质量. DCM纠正细节, 完成合成图像中缺失部分. ACM编码原始图像特征, 重建与文本描述无关的部分. 改进后的模型实现了两个目标, 一是根据给定文本生成高质量的图片, 同时保留与文本无关的内容. 二是使生成图像不再较大程度依赖于初始图像的生成质量. 通过在CUB-200-2011鸟类数据集进行研究实验, 结果表明相较之前的算法模型, FID (Frechet inception)有了显著的改善, 结果由16.09变为10.40. 证明了算法的可行性和先进性.     

基于生成对抗网络的眼底图像生成方法

提出一种带出血病症的眼底图像生成方法,该方法可以丰富眼底图像样本,提升眼底出血检测系统的准确率。该方法用图像分割技术从现有图像中分割出血管树和出血块,利用GAN生成大量血管树和出血块,并经过预处理合并,把合并后的图片和真实眼底图片一起输入到改进的CycleGAN中,生成大量眼底图片。其中对CycleGAN进行改进：改进模型结构,引入Wassertein距离,并加入同一映射损失和感知损失。实验表明,用该方法生成图像的PSNR值比现有技术提高9.82%,SSIM值提高4.17%且收敛速度更快。把生成图像添加到出血检测系统的训练集中,系统的AUC值提升3.51%,证明该方法优于现有技术。     

基于信道注意结构的生成对抗网络医学图像去模糊

清晰的医学图像可以有效地帮助医生进行病理分析和病情诊断.针对医学图像中的显微图像在采集过程中因失焦产生的图像模糊问题,文中以生成对抗网络去模糊模型DeblurGAN作为基本框架,提出了一种新的图像去模糊网络.该网络在生成器结构中引入信道注意结构(Channel Attention,CA),有效地提取了图像的细节特征.图...     

基于二分生成对抗网络的图像翻译

翻译算法自从提出以来受到研究者的广泛关注,基于生成对抗网络的图像翻译方法在图片风格转化、图像修复、超分辨率生成等领域得到广泛应用。针对生成对抗网络图像翻译方法框架过于庞大的缺点,提出了一种改进的生成对抗网络算法:二分生成对抗网络(BGAN)。BGAN引入二分生成器结构代替双生成器-判别器结构,神经网络模型相比以往方法资源消耗更少。实验结果表明,BGAN与其他图像翻译算法相比而言,生成的图样样本更清晰、质量更好。     

基于生成对抗网络的维语场景文字修改网络

通过对维语的场景文字检测与识别研究发现,人工采集标注自然场景文字图像是耗时耗力的,因此人工合成的数据是作为训练数据的主要来源。为获得更加真实的数据,本文提出一种基于生成对抗网络的维语场景文字修改网络,利用高效的Transformer模块构建网络,充分提取图像全局与局部特征来完成维语场景文字图像修改,并添加微调模块,对最终结果进行微调。采用WGAN思想策略训练模型,可有效应对模型崩溃以及梯度爆炸等问题。通过在英文-英文,英文-维文的文字修改实验来验证模型的泛化能力和鲁棒性,无论在客观评价指标（SSIM、PSNR）还是视觉上均取得不错效果,并在真实场景数据集SVT以及ICDAR 2013上进行了验证。     

基于改进生成对抗网络的动漫人物头像生成算法

针对已有的动漫人物头像生成方法中生成结果的多样性较差,且难以准确地按照用户想法按类生成或按局部细节生成的问题,基于含辅助分类器的对抗生成网络(ACGAN),结合互信息理论、多尺度判别等提出了一种改进模型LMV-ACGAN(Latent label attached Multi scale ACGAN with impr...     

基于生成对抗网络的图像去雾算法

与基于图像增强的去雾算法和基于物理模型的去雾算法相比,基于深度学习的图像去雾方法在一定程度上提高计算效率,但在场景复杂时仍存在去雾不彻底及颜色扭曲的问题.针对人眼对全局特征和局部特征的感受不同这一特性,文中构建基于生成对抗网络的图像去雾算法.首先设计多尺度结构的生成器网络,分别以全尺寸图像和分割后的图像块作为输入,提取图像的全局轮廓信息和局部细节信息.然后设计一个特征融合模块,融合全局信息和局部信息,通过判别网络判断生成无雾图像的真假.为了使生成的去雾图像更接近对应的真实无雾图像,设计多元联合损失函数,结合暗通道先验损失函数、对抗损失函数、结构相似性损失函数及平滑L1损失函数训练网络.在合成数据集和真实图像上与多种算法进行实验对比,结果表明,文中算法的去雾效果较优.     

基于注意力生成对抗网络的单幅图像去雨方法

下雨是一种常见的天气现象,而滞留在图像上的雨条纹降低了图像的清晰度以及影响了基于该图像的后续图像处理.从图像中去除雨的关键是如何准确、鲁棒地识别图像中的雨区域.使用导向滤波器和Haar小波变换组成的雨线提取模块来增强雨条纹特征提取,然后通过空间关注模块生成雨线注意力图,以准确定位雨条纹的位置.两者结合后,获得降雨条纹的...     

基于复合生成对抗网络的对抗样本生成算法研究

对抗样本能够作为训练数据辅助提高模型的表达能力,还能够评估深度学习模型的稳健性.然而,通过在一个小的矩阵范数内扰乱原始数据点的生成方式,使得对抗样本的规模受限于原始数据.为了更高效地获得任意数量的对抗样本,探索一种不受原始数据限制的对抗样本生成方式具有重要意义.鉴于此,提出一种基于生成对抗网络的对抗样本生成模型(multiple attack generative adversarial networks, M-AttGAN).首先,将模型设计为同时训练2组生成对抗网络,分别对原始数据样本分布和模型潜在空间下的扰动分布进行建模;然后,训练完成的M-AttGAN能够不受限制地高效生成带有扰动的对抗样本,为对抗训练和提高深度神经网络的稳健性提供更多可能性;最后,通过MNIST和CIFAT-10数据集上的多组实验,验证利用生成对抗网络对数据分布良好的学习能力进行对抗样本生成是可行的.实验结果表明,相较于常规攻击方法,M-AttGAN不仅能够脱离原始数据的限制生成高质量的对抗样本,而且样本具备良好的攻击性和攻击迁移能力.     

基于生成对抗网络的CT图像数据扩增

训练基于深度学习的计算机辅助诊断系统可以有效地从肺部CT图像中检测出是否受到COVID-19感染, 但目前面临的主要问题是缺乏高质量带标注的CT图像用于训练. 为了有效的解决该问题, 本文提出了一种基于生成对抗网络来扩增肺部CT图像的方法. 新方法通过生成不同感染区域的标签并通过泊松融合以增加生成图像的多样性; 通过训练对抗网络模型实现图像的转换生成, 以达到扩增CT图像的目的. 为验证生成数据的有效性, 基于扩增数据进一步做了分割实验. 通过图像生成实验和分割实验, 结果都表明, 本文提出的图像生成方法取得了较好的效果.     

基于生成对抗网络的图像修复算法

为解决当前基于生成对抗网络的深度学习网络模型在面对较复杂的特征时存在伪影、纹理细节退化等现象, 造成视觉上的欠缺问题, 提出了连贯语义注意力机制与生成对抗网络相结合的图像修复改进算法. 首先, 生成器使用两阶段修复方法, 用门控卷积替代生成对抗网络的普通卷积, 引入残差块解决梯度消失问题, 同时引入连贯语义注意力机制提升生成器对图像中重要信息和结构的关注度; 其次, 判别器使用马尔可夫判别器, 强化网络的判别效果, 将生成器输出结果进行反卷积操作得到最终修复后的图片. 通过修复结果以及图像质量评价指标与基线算法进行对比, 实验结果表明, 该算法对缺失部分进行了更好地预测, 修复效果有了更好的提升.