基于生成对抗网络的模仿学习综述

模仿学习研究如何从专家的决策数据中进行学习,以得到接近专家水准的决策模型.同样学习如何决策的强化学习往往只根据环境的评价式反馈进行学习,与之相比,模仿学习能从决策数据中获得更为直接的反馈.它可以分为行为克隆、基于逆向强化学习的模仿学习两类方法.基于逆向强化学习的模仿学习把模仿学习的过程分解成逆向强化学习和强化学习两个子过程,并反复迭代.逆向强化学习用于推导符合专家决策数据的奖赏函数,而强化学习基于该奖赏函数来学习策略.基于生成对抗网络的模仿学习方法从基于逆向强化学习的模仿学习发展而来,其中最早出现且最具代表性的是生成对抗模仿学习方法(Generative Adversarial Imitation Learning,简称GAIL).生成对抗网络由两个相对抗的神经网络构成,分别为判别器和生成器.GAIL的特点是用生成对抗网络框架求解模仿学习问题,其中,判别器的训练过程可类比奖赏函数的学习过程,生成器的训练过程可类比策略的学习过程.与传统模仿学习方法相比,GAIL具有更好的鲁棒性、表征能力和计算效率.因此,它能够处理复杂的大规模问题,并可拓展到实际应用中.然而,GAIL存在着模态崩塌、环境交互样本利用效率低等问题.最近,新的研究工作利用生成对抗网络技术和强化学习技术等分别对这些问题进行改进,并在观察机制、多智能体系统等方面对GAIL进行了拓展.本文先介绍了GAIL的主要思想及其优缺点,然后对GAIL的改进算法进行了归类、分析和对比,最后总结全文并探讨了可能的未来趋势.     

基于生成对抗网络的最大熵逆强化学习

针对逆强化学习算法在训练初期由于专家样本稀疏所导致的学习速率慢的问题,提出一种基于生成对抗网络（Generative Adversarial Networks,GAN）的最大熵逆强化学习算法。在学习过程中,结合专家样本训练优化生成对抗网络,以生成虚拟专家样本,在此基础上利用随机策略生成非专家样本,构建混合样本集,结合最大熵概率模型,对奖赏函数进行建模,并利用梯度下降方法求解最优奖赏函数。基于所求解的最优奖赏函数,利用正向强化学习方法求解最优策略,并在此基础上进一步生成非专家样本,重新构建混合样本集,迭代求解最优奖赏函数。将所提出的算法与MaxEnt IRL算法应用于经典的Object World与Mountain Car问题,实验表明,该算法在专家样本稀疏的情况下可以较好地求解奖赏函数,具有较好的收敛性能。     

最小二乘迁移生成对抗网络

现有的生成对抗网络（Generative Adversarial Networks，GAN）损失函数已经被成功地应用在迁移学习方法中。然而，发现这种损失函数在学习过程中可能会出现梯度消失的问题。为了克服该问题，提出了一种学习领域不变特征的新方法，即最小二乘迁移生成对抗网络（Least Squares Transfer Generative Adversarial Networks，LSTGAN）。LSTGAN采用最小二乘生成对抗网络（Least Squares Generative Adversarial Networks，LSGAN）损失函数，通过单领域判别的训练方式来减少领域分布之间的差异。通过研究表明，所提方法与其他有竞争力的算法相比较具有一定的优越性。     

基于条件能量对抗网络的肝脏和肝肿瘤分割

从图像中分割出肝脏和肝肿瘤是肝部疾病诊断重要手段之一,现有基于卷积神经网络（Convolutional Neural Network,CNN）方法通过为输入图像中每个像素分配类别标签来实现肝脏和肝肿瘤分割。CNN在对每个像素分类过程中没有使用邻域内其他像素类别信息,容易出现小目标漏检和目标边界分割模糊问题。针对这些问题,提出了条件能量对抗网络用于肝脏和肝肿瘤分割。该方法基于能量生成对抗网络（Energy-Based Generative Adversarial Network,EBGAN）和条件生成对抗网络（Conditional Generative Adversarial Network,CGAN）,使用一个基于CNN的分割网络作为生成器与一个自编码器作为判别器,通过将判别器作为一种损失函数来度量并提升分割结果与真实标注之间的相似度。在对抗训练过程中,判别器将生成器输出的分割结果作为输入并将原始图像作为条件约束,通过学习像素类别之间的高阶一致性提高分割精度,使用能量函数作为判别器避免了对抗网络训练中容易出现的梯度消失或梯度爆炸,更易于训练。在MICCAI 2017肝肿瘤分割（LiTS）挑战赛的数据集和3DIRCADb数据集上对提出的方法进行验证,实验结果表明,该方法不仅实现了肝脏与肝肿瘤的自动分割,还利用像素类别之间的高阶一致性提升了肿瘤和肝脏边界的分割精度,减少了小体积肿瘤的漏检。     

不平衡数据集下的水下目标快速识别方法

水下目标的准确识别是水下机器人实现抓取、捕捞等安全作业的前提,针对水下图像质量差、样本数量少及类不平衡而导致目标识别精确度低的问题,提出了一种基于生成对抗网络（Generative Adversarial Networks, GAN）的水下目标快速识别算法。利用GAN理论搭建了深度卷积神经网络的水下图像生成模型,通过生成器与判别器的零和博弈生成特定水下目标图像;设计生成目标的中心坐标计算函数和边界融合函数,将生成目标与背景图像融合后训练水下目标识别模型。实验结果表明,所提方法能够显著提高水下目标识别精确度,对实现水下目标准确抓取、促进水下作业及海洋资源的开发具有重要意义。     

一种基于强化学习的口令猜解模型

口令猜解是口令安全研究的重要方向之一。基于生成式对抗网络(Generative Adversarial Network, GAN)的口令猜解是近几年提出的一种新方法，其通过判别器对生成口令的评判结果来指导生成器的更新，进而生成口令猜测集。然而由于判别器对生成器的指导不足，现有的基于GAN的口令猜解模型的猜解效率较低。针对这个问题，提出了一种基于强化学习Actor-Critic算法改进的GAN口令猜解模型AC-Pass。AC-Pass模型通过Critic网络和判别器输出的奖赏共同指导Actor网络每一时间步生成策略的更新，实现了对口令序列生成过程的强化指导。将AC-Pass模型应用到RockYou, LinkedIn和CSDN口令集进行实验，并与PCFG模型、已有基于GAN的口令猜解模型PassGAN和seqGAN进行比较。实验结果表明，无论是同源测试集还是异源测试集，AC-Pass模型在9×10⁸猜测集上的口令破解率均高于PassGAN和seqGAN;且当测试集与训练集之间的口令空间分布差异较大时，AC-Pass表现出了优于PCFG的口令猜解性能；另外，AC-Pa...     

基于映射关系的GAN网络实现图像去雾

图像去雾是图像处理中的一个重要研究方向。为了提高对图像的去雾效率,文章通过改进大气散射模型,基于生成对抗网络(Generative Adversarial Network,GAN)算法实现图像去雾。该方法实现步骤如下,首先将有雾图像分解为无雾图像和经过雾散射后的环境自然光叠加,其次通过生成器网络生成大气散射光图像,估算透射率从而求解无雾图像,最后利用GAN网络的生成器和判别器网络进行对抗训练,得到接近真实的大气环境光和透射率,达到对图像快速去雾的目的。实验结果表明,设计方法在合成雾天图像和真实雾天图像中均取得了较好的去雾效果,虽然在客观评价指标上与经典的去雾算法保持相同水平,但时间消耗远少于其他算法。     

GP-WIRGAN:梯度惩罚优化的Wasserstein图像循环生成对抗网络模型

通常情形下,现有的图像生成模型都采用单次前向传播的方式生成图像,但实际中,画家通常是反复修改后才完成一幅画作的;生成对抗模型(Generative Adversarial Networks,GAN)能生成图像,但却很难训练.在保证生成图像质量的前提下,效仿作画时的不断更新迭代,以提升生成样本多样性并增强样本语义,同时引入Wasserstein距离,提出了Wasserstein图像循环生成对抗网络模型,简称WIRGAN(Wasserstein Image Recurrent Generative Adversarial Networks Model).WIRGAN定义了生成模型和判别模型,其中,生成模型是由一系列结构相同的神经网络模型组成的循环结构,用时间步骤T控制生成模型的循环次数,用于迭代式生成图像,并以最后一个循环结构的生成图像作为整个生成模型的输出;判别模型也由神经网络构建,结合权重剪枝技术,用来判别输入图像是生成的还是真实的.WIRGAN利用Wasserstein距离作为目标函数,将生成模型和判别模型进行博弈对抗训练.另外,由于模型存在难以优化的问题,本文引入了梯度惩罚来解决此类问题,进一步提出了梯度惩罚优化的Wasserstein图像循环生成对抗网络模型(Gradient Penalty Optimized Wasserstein Image Recurrent Generative Adversarial Networks Model,GP-WIRGAN).最后,WIRGAN和GP-WIRGAN在MNIST、CIFAR10、CeUN四个数据集上进行了基础学习能力、模型间GAM自比较、模型内GAM自比较、初始得分比较、图像生成可视化、时间效率比较等6组实验,采用生成对抗矩阵(Generative Adversarial Metric,GAM)和起始分数(Inception Scores)进行评估,结果表明,本文提出的WIRGAN、GP-WIRGAN具有良好的稳定性,可以生成高质量的图像.     

基于全局和局部判别对抗自编码器的异常检测方法

生成式对抗神经网络(Generative Adversarial Nets,GAN)和对抗自编码器(Adversarial Autoencoder,AAE)被成功地应用于图像生成中.此外,对抗网络能够无监督地对样本中所包含的数据特征进行学习.然而,将传统的对抗网络应用于异常检测时取得的分类效果较差,有两个方面的原因:一是GAN属于生成式模型,但异常检测模型往往被归入判别式模型的范畴;二是现有的AAE以自编码器的中间向量作为判别输入,对数据的重构效果不够理想.基于此,提出了一种基于双判别器的AAE,并将其应用于解决异常检测问题.所提方法中的双判别器具有不同的判别能力,即局部判别能力和全局判别能力.在MNIST,Fashion-MNIST和CIFAR-10数据集上的实验结果表明,所提方法能够有效避免训练过程中出现模式崩溃的问题.此外,与相关方法进行对比,所提方法取得了更优的检测性能.     

基于生成对抗网络的图像修复算法

为解决当前基于生成对抗网络的深度学习网络模型在面对较复杂的特征时存在伪影、纹理细节退化等现象, 造成视觉上的欠缺问题, 提出了连贯语义注意力机制与生成对抗网络相结合的图像修复改进算法. 首先, 生成器使用两阶段修复方法, 用门控卷积替代生成对抗网络的普通卷积, 引入残差块解决梯度消失问题, 同时引入连贯语义注意力机制提升生成器对图像中重要信息和结构的关注度; 其次, 判别器使用马尔可夫判别器, 强化网络的判别效果, 将生成器输出结果进行反卷积操作得到最终修复后的图片. 通过修复结果以及图像质量评价指标与基线算法进行对比, 实验结果表明, 该算法对缺失部分进行了更好地预测, 修复效果有了更好的提升.     

基于球形矩匹配与特征判别的图像超分辨率重建

由于网络训练不稳定,基于生成对抗网络（GAN）的图像超分辨率重建存在模式崩溃的现象。针对此问题,提出了一种基于球形几何矩匹配与特征判别的球面双判别器超分辨率重建网络SDSRGAN,通过引入几何矩匹配与高频特征判别来改善网络训练的稳定性。首先,生成器对图像提取特征并通过上采样生成重建图像;接着,球面判别器将图像特征映射至高维球面空间,充分利用特征数据的高阶统计信息;然后,在传统判别器的基础上增加特征判别器,提取图像高频特征,重建特征高频分量和结构分量两方面;最后,对生成器与双判别器进行博弈训练,提高生成器重建图像质量。实验结果表明,所提算法能有效收敛,其网络能够稳定训练,峰值信噪比（PSNR）为31.28 dB,结构相似性（SSIM）为0.872,而与双三次差值、超分辨率残差网络（SRResNet）、加速的卷积神经网络超分辨率（FSRCNN）、基于GAN的单图像超分辨率（SRGAN）和增强型超分辨率生成对抗网络（ESRGAN）算法相比,所提算法的重建图像具有更加逼真的结构纹理细节。所提算法为基于GAN的图像超分辨率研究提供了球形矩匹配与特征判别的双判别方法,在实际应用中可行且有效。     

基于仲裁机制的生成对抗网络改进算法

针对深度卷积生成对抗网络（DCGAN）中的对抗训练缺乏灵活性以及DCGAN所使用的二分类交叉熵损失（BCE loss）函数存在优化不灵活、收敛状态不明确的问题,提出了一种基于仲裁机制的生成对抗网络（GAN）改进算法,即在DCGAN的基础上引入了所提出的仲裁机制。首先,所提改进算法的网络结构由生成器、鉴别器和仲裁器组成;然后,生成器与鉴别器会根据训练规划进行对抗训练,并根据从数据集中感知学习到的特征分别强化生成图像以及辨别图像真伪的能力;其次,由上一轮经过对抗训练的生成器和鉴别器与度量分数计算模块一起组成仲裁器,该仲裁器将度量生成器与鉴别器对抗训练的结果,并反馈到训练规划中;最后,在网络结构中添加获胜限制以提高模型训练的稳定性,并使用Circle loss函数替换BCE loss函数,使得模型优化过程更灵活、收敛状态更明确。实验结果表明,所提算法在建筑类以及人脸数据集上有较好的生成效果,在LSUN数据集上,该算法的FID指标相较于DCGAN原始算法下降了1.04%;在CelebA数据集上,该算法的IS指标相较于DCGAN原始算法提高了4.53%。所提算法生成的图像具有更好的多样性以及更高的质量。     

Finger vein image inpainting using neighbor binary-wasserstein generative adversarial networks (NB-WGAN)

Traditional inpainting methods obtain poor performance for finger vein images with blurred texture. In this paper, a finger vein image inpainting method using Neighbor Binary-Wasserstein Generative Adversarial Networks (NB-WGAN) is proposed. Firstly, the proposed algorithm uses texture loss, reconstruction loss, and adversarial loss to constrain the network, which protects the texture in the inpainting process. Secondly, the proposed NB-WGAN is designed with a coarse-to-precise generator network and a discriminator network composed of two Wasserstein Generative Adversarial Networks with Gradient Penalty (WGAN-GP). The cascade of a coarse generator network and a precise generator network based on Poisson fusion can obtain richer information and get natural boundary connection. The discriminator consists of a global WGAN-GP and a local WGAN-GP, which enforces consistency between the entire image and the repaired area. Thirdly, a training dataset is designed by analyzing the locations and sizes of the damaged finger vein images in practical applications (i.e., physical oil dirt, physical finger molting, etc). Experimental results show that the performance of the proposed algorithm is better than traditional inpainting methods including Curvature Driven Diffusions algorithm without texture constraints, a traditional inpainting algorithm with Gabor texture constraints, and a WGAN inpainting algorithm based on attention mechanism without texture constraints.

     

基于生成对抗网络的CFA图像去马赛克算法

在单传感器数码相机图像采集系统的彩色滤波阵列中,每个像素仅捕获单一颜色分量,并且在彩色图像重构过程中图像边缘等高频区域的伪影现象尤为明显。提出一种基于生成对抗网络的图像去马赛克算法,通过设计生成对抗网络的生成器、鉴别器和网络损失函数增强学习图像高频信息的能力,其中使用的生成器为具有残差稠密块和远程跳跃连接的深层残差稠密网络,鉴别器由一系列堆叠的卷积单元构成,并且结合对抗性损失、像素损失以及特征感知损失改进网络损失函数,提升网络整体性能。数值实验结果表明,与传统去马赛克算法相比,该算法能更有效减少图像边缘的伪影现象并恢复图像高频信息,生成逼真的重建图像。     

基于EBGAN的图像风格化技术

为了解决传统图像风格化算法生成图像的多样性较差的问题,本文提出一种基于EBGAN(Energy-Based Generative Adversarial Net)的网络模型,即在鉴别器中引入能量函数思想,设计Autoencoder使其能分别针对真假输入产生不同重构结果,计算输入图像重构前后的误差值,以此误差值作为能量概念用来鉴别输入图像。在Autoencoder的编码阶段,对于编码后的向量引入正交控制,控制同一batch中的两两向量最大正交化,推动生成器生成朝着不同方向发展的图像。使用该模型在Facades和Cityscapes数据集上进行实验,实验结果表明本文的网络模型能有效完成图像风格化过程,较传统图像风格化网络模型能生成更加多样化的图像。     

面向恶意网页训练数据生成的GAN模型

针对基于机器学习算法识别恶意网页时恶意网页样本收集困难的问题,提出了一种基于生成对抗网络（GAN）的扩展恶意网页样本数据集的方法（WS-GAN）,使用少量的原始样本数据训练生成对抗网络,利用生成器模拟生成网页样本。同时在原有生成对抗网络的结构中加入了多个判别器：全局判别器判别整体样本的真伪,控制生成样本整体的质量;各特征判别器判别其对应类别特征数据的真伪,控制生成样本细节部分的质量。实验结果表明,WS-GAN生成的网页特征样本可用于恶意网页分类器的训练,并且其生成样本的质量优于条件生成对抗网络和条件变分自编码器生成样本的质量。