基于改进循环生成式对抗网络的图像风格迁移

图像间的风格迁移是一类将图片在不同领域进行转换的方法。随着生成式对抗网络在深度学习中的快速发展,其在图像风格迁移领域中的应用被日益关注。但经典算法存在配对训练数据较难获取,生成图片效果差的缺点。该文提出一种改进循环生成式对抗网络(CycleGAN++),取消了环形网络,并在图像生成阶段将目标域与源域的先验信息与相应图片进行纵深级联;优化了损失函数,采用分类损失代替循环一致损失,实现了不依赖训练数据映射的图像风格迁移。采用CelebA和Cityscapes数据集进行实验评测,结果表明在亚马逊劳务平台感知研究(AMT perceptual studies)与全卷积网络得分(FCN score)两个经典测试指标中,该文算法比CycleGAN, IcGAN, CoGAN, DIAT等经典算法取得了更高的精度。

     

生成对抗网络在医学图像中的应用研究

生成对抗网络(generative adversarial network,GAN)作为深度学习下无监督学习的典型方法,使用深度学习的计算机辅助诊断系统目前已经覆盖病灶检测、病理诊断、放疗规划和术后预测等各临床阶段,在医学图像领域取得了许多显著的成果.首先介绍了医学图像领域存在的基本问题,并简单介绍了生成对抗网络模型的...     

融合注意力的生成式对抗网络单图像超分辨率重建

基于深度学习的单图像超分辨率重建方法已经比较完善,重建图像具有较高的客观评价值或具有较好的视觉效果,但是图像感知效果和客观评价值不能均衡提升.针对这一问题,提出一种融合注意力的生成式对抗网络单图像超分辨率重建方法.首先去掉残差网络中会破坏图像原本的对比度信息、影响图像生成质量的批归一层,其次是构造注意力卷积神经网络残差块,可有效地在特征映射中进行自适应特征细化,改善重建结果在大尺度因子下缺乏高频信息和纹理细节的问题,最后构造像素损失函数,使用鲁棒性较好的Charbonnier损失函数替代均方差损失函数,用总变差正则项平滑训练结果.实验结果表明,在4倍放大因子下,与其他方法在Set5、Set14、Urban100、BSDS100测试集上进行测试比较,本文方法峰值信噪比平均值提升2.88 dB,结构相似性平均值提升0.078.实验数据和效果图表明,该方法主观上具有丰富的细节,客观上具有较高的峰值信噪比值和结构相似性值,实现了视觉效果和客观评价指标值的均衡提升.     

基于生成式对抗网络的遥感图像半监督语义分割

高分辨率遥感图像的语义分割问题是目前遥感图像处理领域中的研究热点之一。传统的有监督分割方法需要大量的标记数据,而标记过程又较为困难和耗时。针对这一问题,提出一种基于生成式对抗网络的半监督高分辨率遥感图像语义分割方法,只需要少量样本标签即可得到较好的分割结果。该方法为分割网络添加全卷积形式的辅助对抗网络,以助于保持高分辨率遥感图像分割结果中的标签连续性;更进一步,提出一种新颖的能够进行注意力选择的对抗损失,以解决分割结果较好时判别器约束的分割网络更新过程中存在的难易样本不均衡问题。在ISPRS Vaihingen 2D语义标记挑战数据集上的实验结果表明,与现有其它语义分割方法相比,所提出方法能够较大幅度地提高遥感图像的语义分割精度。     

基于注意力-生成式对抗网络的异常行为检测

为了满足对大规模视频数据的异常行为检测的需求,基于视频帧重建和帧预测的方法被广泛研究.但由于监控视角下背景环境是几乎不变的,因此会浪费大量的资源在不变的背景上,同时也不利于检测目标信息的提取.为了解决这个问题,本文使用无监督学习的视频帧预测策略,利用生成对抗网络学习正常行为的特征以生成效果较好的预测帧,并且拟采用注意力驱动损失来缓解异常行为检测中前景目标与背景环境失衡的问题,同时使用空间-通道注意力机制(CBAM)来增强模型生成器的预测效果.经在公共数据集UCSD Ped1和UCSD Ped2的测试和验证,在Ped1数据集上的检测精度达到了83.5%,在Ped2数据集上的检测精度达到了95.8%.与经典的异常行为检测算法以及原始基于生成式对抗网络异常检测算法比较,本文所采用的方法进一步提高了异常行为检测的准确率.     

改进生成式对抗网络下多端柔性直流输电系统

针对新能源在实施并网时,多端柔性直流输电系统运行过程中并网电力数据存在的噪声过多问题,会直接影响多端柔性直流输电系统的直流输电效果,为提升系统直流输电效果,采用改进生成式对抗网络设计多端柔性直流输电系统。根据直流输电系统结构建立系统整体框架,并对框架中的模块设计具体功能;通过基于改进生成式对抗网络去噪模块滤除系统直流输电时产生的噪声,提升系统直流输电时的输电效果;根据系统硬件模块功能设计结果,设计多端柔性直流输电系统模块控制器以及系统整体控制器,通过控制器的稳定控制,完成多端柔性直流输电系统的安全直流输出,实现系统的软件设计。实验结果表明,利用所设计系统在开展电力直流输电时,控制效果较好,电流在0 kA附近波动,电压最终控制为500 kV。     

生成对抗网络介绍及应用

生成对抗网络是机器学习的研究方向之一,广泛应用在图像生成上,如图像超分辨率.首先介绍了生成对抗网络的起源,简述了其概念和组成部分,回顾了各种生成对抗网络改进模型,如深度卷积生成对抗神经网络、无监督式生成对抗网络;然后介绍了生成对抗网络在图像生成、超分辨率、风格迁移方面的应用,如超分辨率生成对抗网络在图像超分辨率上的应用...     

改进生成式对抗网络的图像数据集增强算法

针对现有深度学习中图像数据集缺乏的问题,提出了一种基于深度卷积生成式对抗网络(Deep Convolutional Generative Adversarial Network, DCGAN)的图像数据集增强算法。该算法对DCGAN网络进行改进,首先在不过多增加计算量的前提下改进现有的激活函数,增强生成特征的丰富性与多样性;然后通过引入相对判别器有效缓解模式坍塌现象,从而提升模型稳定性;最后在现有生成器结构中引入残差块,获得相对高分辨率的生成图像。实验结果表明,将所提方法应用在MNIST、SAR和医学血细胞数据集上,图像数据增强效果与未改进的DCGAN网络相比显著提升。     

一种生成对抗网络用于图像修复的方法

近年来基于深度学习的图像修复方法相比于传统方法,表现出明显优势,前者能更好的生成视觉上合理的图像结构和纹理.但现有的标准卷积神经网络方法,通常会造成颜色差异过大和图像纹理缺失与失真的问题.本文提出了一种新型图像修复深度网络模型,该模型由两个相互独立的生成对抗式网络模块组成.其中,图像修复网络模块旨在解决图像缺失区域的修复问题,其生成器基于部分卷积网络;图像优化网络模块旨在解决修复后图像存在局部色差的问题,其生成器基于深度残差网络.通过两个网络模块的协同作用,图像的视觉效果与图像质量得到提高.与其他先进方法进行定性和定量比较的实验结果表明,本文提出的方法在图像修复质量上表现更好.     

基于改进深度生成对抗网络的心电信号重构算法

心冲击图(BCG)信号中含有睡眠时期的心跳等生理参数,采用非接触式测量,但易受干扰影响应用受限;心电图(ECG)信号应用很广,但采用接触式测量,操作不便。为了实现非接触式测量并监测心电信号,该文将无参数尺度空间法(PSA)引入并与经验小波变换(EWT)算法结合,从BCG信号中分解得到心跳分量,结果表明所提分解方法能有效地从BCG信号中最大限度地分解出心跳信号;并在此基础上通过改进的深度卷积生成对抗网络(DCGAN)重构出ECG信号。实验结果表明,该文所提信号重构算法能从心跳分量重构恢复出ECG信号,均方根误差为–16.8422 dB。     

基于扩散生成对抗网络的文本生成图像模型研究

文本生成图像是一项结合计算机视觉(CV)和自然语言处理(NLP)领域的综合性任务。以生成对抗网络(GANs)为基础的方法在文本生成图像方面取得了显著进展,但GANs方法的模型存在训练不稳定的问题。为解决这一问题,该文提出一种基于扩散Wasserstein生成对抗网络(WGAN)的文本生成图像模型(D-WGAN)。在D-WGAN中,利用向判别器中输入扩散过程中随机采样的实例噪声,在实现模型稳定训练的同时,生成高质量和多样性的图像。考虑到扩散过程的采样成本较高,引入一种随机微分的方法,以简化采样过程。为了进一步对齐文本与图像的信息,提出使用基于对比学习的语言-图像预训练模型(CLIP)获得文本与图像信息之间的跨模态映射关系,从而提升文本和图像的一致性。在MSCOCO,CUB-200数据集上的实验结果表明,D-WGAN在实现稳定训练的同时,与当前最好的方法相比,FID分数分别降低了16.43%和1.97%,IS分数分别提升了3.38%和30.95%,说明D-WGAN生成的图像质量更高,更具有实用价值。     

基于生成对抗网络的轴承失效信号生成研究

在基于数据驱动的机械系统故障诊断领域中,关于特征提取和诊断模型已经取得了一定的进展。但在整套诊断进程中,失效信号的缺失一直是诊断中不可避免的问题。结合在图像处理领域卓有成效的GAN模型,文中以生成信号和真实信号间的概率分布对比作为部分超参数的选择依据,以轴承正常阶段信号作为模型的输入信号,以轴承仿真信号作为生成的目标,同时结合正常阶段的机械特性和仿真信号的故障特性进行失效信号的生成。通过概分布、包络谱、峭度及裕度特征的全寿命拟合曲线等方法验证了生成的信号比仿真信号更接近真实失效信号。     

Modelling spatio-temporal ageing phenomena with deep Generative Adversarial Networks

Deterioration modelling of ageing phenomena on materials is an actively researched topic in computer graphics and vision, with a wide range of applications in domains such as cultural heritage, game programming, material science and virtual reality. As a result significant progress has been accomplished and existing methods are able to produce visually pleasing results that appear realistic. However, there is a very limited connection to comprehensive measurements that actually capture the ageing process of a material. This paper focuses on this gap, aiming to provide a link between physical measurements and deterioration modelling. Based on extensive measurements of texture and surface geometry of artificially aged reference materials, a Deep Learning (DL) framework is proposed that models spatio-temporal variations on the 3D surface geometry and the 2D colour–image appearance. Concretely, the problem of material degradation over time is formulated as an 2D/3D material-to-material translation problem, where the goal is, given an input material and a target degradation time, to output the degraded material at that time. At the core of the method lies a modified conditional Generative Adversarial Network (cGAN), which maps input materials to degraded materials over time. In order to train and deploy the proposed cGAN model, proper data parameterization and augmentation steps are introduced. As shown through extensive experimentation on real data coming from materials commonly found in artwork and from actual artworks, the proposed approach produces high quality results.     

Generative Adversarial Networks Based Digital Twin Channel Modeling for Intelligent Communication Networks

Integration of digital twin(DT) and wireless channel provides new solution of channel modeling and simulation, and can assist to design, optimize and evaluate intelligent wireless communication system and networks. With DT channel modeling, the generated channel data can be closer to realistic channel measurements without requiring a prior channel model, and amount of channel data can be significantly increased. Artificial intelligence(AI)based modeling approach shows outstanding performance to ...     

利用生成对抗网络的时频图像去噪和增强处理

针对雷达信号时频图像的去噪和增强问题,提出了利用生成对抗网络二次生成时频图像的方法。首先利用时频分析产生雷达信号的时频图像作为原始数据集1;接着利用生成对抗网络对数据集1进行学习之后生成新的数据集2,数据集2相对于数据集1拥有着去噪和增强的效果;最后提取时频图像奇异值特征检验生成的数据集2的有效性。对6种常见的雷达信号的时频图像进行了仿真实验,结果证明了该方法在时频图像去噪和增加样本多样性方面是有效的。     

分层级联生成对抗网络用于手背静脉图像修复

为解决在识别过程中因手背静脉图像信息缺失而造成识别效率低下的问题,本文提出了分层级联生成对抗网络的手背静脉图像修复框架。该网络框架分别以级联与并行分层的方式进行修复操作,通过并行分层结构创新性的融合了不同静脉图像的特征信息;为有效地利用静脉图像的上下文信息对缺失的静脉图像信息进行预测与补全,在网络中创新性的引入了空洞卷积核与非局部注意力网络;为保证修复静脉图像质量与其真实图像的一致性,创新性的结合对抗损失与感知损失进行优化。实验结果表明,本文算法在视觉效果、峰值信噪比（Peak Signal to Noise Ratio,PSNR）和结构相似性（Structural Similarity Index,SSIM）等方面表现优于已有算法,并在两个公开的掌纹与指纹数据集上进行了有效的泛化验证。此外,修复图像相较于缺失图像在身份识别效率方面有了一定的提高。      

基于双通道生成对抗网络的镜片缺陷数据增强

针对小样本条件下深度学习缺陷检测算法识别率较低的问题,提出一种基于双通道生成对抗网络的数据增强方法.由全局鉴别层和局部鉴别层两通道组成生成对抗网络,其中局部鉴别器可以增加缺陷类型的置信度损失,实现对局部信息的增强.采用所提方法在镜片缺陷图像数据集上进行实验.实验结果表明,所提方法的最近邻留一指标、最大均值差异和Wasserstein距离分别达到0.52、0.15和2.81;对于麻点、划痕、气泡和异物的缺陷类型图像,生成的图像质量优于条件生成对抗网络、Wasserstein距离生成对抗网络和马尔科夫判别器.双通道生成对抗网络生成的镜片图像有着多样性的全局信息和高质量的细节特征,可以有效增强镜片缺陷数据集.