基于集成生成对抗网络的视频异常事件检测方法

视频中的异常检测是一个具有挑战性的计算机视觉问题。现有的最先进视频异常检测方法主要集中在深度神经网络的结构设计上,以获得性能改进。与主要研究趋势不同,本文侧重于将集成学习和深度神经网络相结合,提出了一种基于集成生成对抗网络（Generative Adversarial Networks,GAN）的方法。在所提出的方法中,一组生成器和一组判别器一起训练,因此每个生成器可以从多个判别器获得反馈,反之亦然。与单个GAN相比,集成GAN可以更好地对正常数据的分布进行建模,从而更好地检测异常。在两个公开数据集上测试了所提出的方法性能。结果表明,集成学习显著提高了单个检测模型的性能,在两个数据集上比现有最近方法分别超过0.4%和0.3%的帧级AUC。     

面向医学图像生成的鲁棒条件生成对抗网络

医学图像生成是计算机辅助诊断技术的关键组成,具有广泛的应用场景.当前基于生成对抗网络的端对端学习模型,依靠生成器和判别器两者对抗训练,获取真实数据的概率分布,从而指导图像生成.但标注有限的医学图像及其高分辨率特点,加大了模型训练难度,影响图像生成质量;同时,模型未纳入数据扰动因素,鲁棒性有限,容易被恶意攻击.为此,本文提出一个基于鲁棒条件生成对抗网络的医学图像生成模型——MiSrc-GAN.该模型包括精度渐进生成器、多尺度判别器以及对抗样本配对构造模块,有效融合GAN框架和对抗样本,改善判别器鲁棒性,有利于学习原始图像与待生成图像的联合概率分布.在真实数据集CSC和REFUGE上的实验表明,MiSrc-GAN生成的图像质量优于现有模型.     

改进生成式对抗网络的图像数据集增强算法

针对现有深度学习中图像数据集缺乏的问题,提出了一种基于深度卷积生成式对抗网络(Deep Convolutional Generative Adversarial Network, DCGAN)的图像数据集增强算法。该算法对DCGAN网络进行改进,首先在不过多增加计算量的前提下改进现有的激活函数,增强生成特征的丰富性与多样性;然后通过引入相对判别器有效缓解模式坍塌现象,从而提升模型稳定性;最后在现有生成器结构中引入残差块,获得相对高分辨率的生成图像。实验结果表明,将所提方法应用在MNIST、SAR和医学血细胞数据集上,图像数据增强效果与未改进的DCGAN网络相比显著提升。     

基于对抗和梯度的无参考图像质量评价算法

由于现有的生成对抗网络（GAN）很难完全获取细节上的失真,生成高质量图像仍旧比较困难。为了提高基于GAN的无参考图像质量评价（NR-IQA）方法的性能,提出一种基于对抗和梯度的NR-IQA方法。通过改进网络模型结构和引入基于梯度和色度相似性的平均偏差相似指数（MDSI）来提升模型的整体性能,整个模型由GAN和质量预测网络组成。首先,为了增强对抗训练,设计了双判别器的GAN,将失真图像和参考图像分别输入到网络中,利用WED数据集对GAN进行训练;其次,利用GAN生成相应失真图像的虚拟图像,并分析两者之间的差异,得到失真差异图和MDSI图;最后,为了从多个方面测量图像的感知质量,设计了多流质量预测网络,将失真图像、虚拟图像、失真差异图、MDSI图分别输入到网络中,输出图像质量预测分数。在LIVE、CISQ、TID2013数据集上进行训练和测试,所提算法在三个数据集上都表现出较好的性能,尤其在TID2013上。实验结果表明,该算法与人的主观评价具有较高的一致性。     

生成式对抗网络在自然语言处理中的应用

生成式对抗网络(Generative Adversarial Networks,GAN)是一种非常简单易行的生成式模型,不依赖任何先验假设,通过采样的方式生成似真数据,且生成速度快.近年来,生成式对抗网络在图像处理及自然语言处理任务中得到了广泛的应用.但是,生成式对抗网络同样存在缺点,比如训练过程中不稳定、生成数据过程...     

基于最小噪声分离和生成对抗网络的影像阴影去除

为了提高影像阴影去除的效果，提出一种基于最小噪声分离（MNF）和生成对抗网络（GAN）的影像阴影去除算法。它以GAN作为基本框架，在生成器和判别器中分别引入条件信息，采用端到端共同学习的多任务模式。生成网络采用编码解码结构，判别网络采用马尔可夫判别器结构。此外，此算法使用MNF，将消除噪声的影像灰度化后与阴影影像一起训练，进而恢复无阴影的影像。这样的网络在训练时可以专注于MNF变换后的单独特征嵌入，而非传统的跨任务共享嵌入。实验结果表明，在指定数据集上，所提算法的结构相似性（SSIM）的平均值达0.9780，像素均方根误差（RMSE）的平均值减小到9.8717。在主观感知和客观评价指标上，所提算法的实验结果均优于对比算法。     

面向非均衡类别的半监督辐射源识别方法

针对辐射源个体识别(SEI)中样本标签不完整和数据类别分布不平衡导致分类准确率下降的问题,该文提出了一种基于代价敏感学习和半监督生成式对抗网络(GAN)的特定辐射源分类方法。该方法通过半监督训练方式优化生成器和判别器的网络参数,并向残差网络中添加多尺度拓扑模块融合时域信号的多维分辨率特征,赋予生成样本额外标签从而直接利用判别器完成分类。同时设计代价敏感损失缓解优势样本导致的梯度传播失衡,改善分类器在类不平衡数据集上的识别性能。在4类失衡仿真数据集上的实验结果表明,存在40%无标记样本的情况下,该方法对于5个辐射源的平均识别率相比于交叉熵损失和焦点损失分别提高5.34%和2.69%,为解决数据标注缺失和类别分布不均条件下的特定辐射源识别问题提供了新思路。      

一种基于生成对抗网络的三维目标生成方法

文章提出了一种基于生成对抗网络(Generative Adversarial Networks, GAN)的三维目标生成算法,能从符合高斯正态分布的随机数中生成目标的三维图像。首先,将随机噪声输入生成器,经过一系列的卷积和Transformer块运算后,生成器生成对应目标的三维图像,然后判别器对生成的目标图像和真实的目标图像进行二值判别。通过生成器和判别器的交替训练,不断提升生成器生成三维目标的质量,最终达到准确的生成性能。     

生成对抗网络的发展与挑战

生成对抗网络（Generative adversarial network, GAN）由生成模型和判别模型构成,生成模型获取真实数据的概率分布,判别模型判断输入是真实数据还是生成器生成的数据,二者通过相互对抗训练,最终使生成模型学习到真实数据的分布,使判别模型无法准确判断输入数据的来源。生成对抗网络为视觉分类任务的算法性能的提升开辟了新的思路,自诞生之日起至今已经在各个领域产生了大量变体。本文的主要内容包括：生成对抗网络的研究现状、应用场景和基本模型架构,并列举了生成对抗网络本身所存在的弊端;从网络架构、损失函数和训练方式这三方面对生成对抗网络的各种主要典型发展进行归纳;详细总结和分析了生成对抗网络在人脸图像生成和编辑、风格迁移、图像超分辨率、图像修复,序列数据生成、视频生成等各个应用领域的算法以及对应算法的优缺点;介绍了生成对抗网络的常用评价指标并且分析了这些指标的适用场景和不足之处;最后从多个方面对生成对抗网络所面临的挑战进行了讨论,并指出了对其可能的改进方向。     

基于空间特征的生成对抗网络数据生成方法

传统的生成对抗网络(GAN)在特征图较大的情况下，忽略了原始特征的表示和结构信息，并且生成图像的像素之间缺乏远距离相关性，从而导致生成的图像质量较低。为了进一步提高生成图像的质量，该文提出一种基于空间特征的生成对抗网络数据生成方法(SF-GAN)。该方法首先将空间金字塔网络加入生成器和判别器，来更好地捕捉图像的边缘等重要的描述信息；然后将生成器和判别器进行特征加强，来建模像素之间的远距离相关性。使用CelebA,SVHN,CIFAR-10等小规模数据集进行实验，通过定性和盗梦空间得分(IS)、弗雷歇距离(FID)定量评估证明了所提方法相比梯度惩罚生成对抗网络(WGAN-GP)、自注意力生成对抗网络(SAGAN)能使生成的图像具有更高的质量。并且通过实验证明了该方法生成的数据能够进一步提升分类模型的训练效果。     

Stable self-attention adversarial learning for semi-supervised semantic image segmentation

The application of adversarial learning for semi-supervised semantic image segmentation based on convolutional neural networks can effectively reduce the number of manually generated labels required in the training process. However, the convolution operator of the generator in the generative adversarial network (GAN) has a local receptive field, so that the long-range dependencies between different image regions can only be modeled after passing through multiple convolutional layers. The present work addresses this issue by introducing a self-attention mechanism in the generator of the GAN to effectively account for relationships between widely separated spatial regions of the input image with supervision based on pixel-level ground truth data. In addition, the adjustment of the discriminator has been demonstrated to affect the stability of GAN training performance. This is addressed by applying spectral normalization to the GAN discriminator during the training process. Our method has better performance than existing full/semi-supervised semantic image segmentation techniques.     

Saliency detection using adversarial learning networks

This paper proposes a novel model for saliency detection using the adversarial learning networks, in which the generator is used to generate the saliency map and the discriminator is deployed to guide the training process of overall network. Concretely, the training procedure of our model consists of three steps including the training of generator, the training of discriminator, and the training throughout the overall network. The key point of training process lies in the discriminator, which is designed to provide the feedback information for the acceleration of the generator and the refinement of saliency map. Therefore, during the training stage of overall network, the output of the generator, i.e. the coarse saliency map, is fed into the discriminator, yielding the corresponding feedback information. Following this way, we can obtain the final generator with a higher performance. For testing, the obtained generator is employed to perform saliency detection. Extensive experiments on four challenging saliency detection datasets show that our model not only achieves the favorable performance against the state-of-the-art saliency models, but also possesses the faster convergence speed when training the proposed model.     

基于ICNN和IGAN的SAR目标识别方法

近年来,卷积神经网络(CNN)已广泛应用于合成孔径雷达(SAR)目标识别。由于SAR目标的训练数据集通常较小,基于CNN的SAR图像目标识别容易产生过拟合问题。生成对抗网络(GAN)是一种无监督训练网络,通过生成器和鉴别器两者之间的博弈,使生成的图像难以被鉴别器鉴别出真假。本文提出一种基于改进的卷积神经网络(ICNN)和改进的生成对抗网络(IGAN)的SAR目标识别方法,即先用训练样本对IGAN进行无监督预训练,再用训练好的IGAN鉴别器参数初始化ICNN,然后用训练样本对ICNN微调,最后用训练好的ICNN对测试样本进行分类。MSTAR实验结果表明,提出的方法不仅能够在训练样本数降至原样本数30%的情况下获得高达96.37%的识别率,而且该方法比直接采用ICNN的方法具有更强的抗噪声能力。     

基于生成对抗网络的盾构隧道渗漏水检测

渗漏水是盾构隧道安全危害最大的病害之一,对盾构隧道渗漏水快速精准的检测,是有效控制及整治盾构隧道渗漏水的基础。现有的渗漏水检测方法在自动化程度方面均取得一定的成效,但存在数据采集效率低、现场采集环境要求高、训练数据样本量大等问题。针对上述问题,文章将移动LiDAR采集的盾构隧道强度图像作为数据源,提出了基于生成对抗网络的盾构隧道渗漏水检测方法,从现有的生成对抗网络V GAN模型出发,在标注少量样本的基础上,建立了Dense块作为编码器,残差块作为解码器的Unet模型作为生成器网络,运用改进的深度残差Unet(Improve ResUnet)作为判别器网络,组成DRUnet IRUnet GAN生成对抗网络用于盾构隧道LiDAR强度图像渗漏水检测。实验结果表明,当输入500张、200张、100张少量样本时,文章构建的DRUnet IRUnet GAN生成对抗网络能够达到优于V GAN的盾构隧道强度图像渗漏水检测效果,表明了所改进的网络具有良好的性能。     

基于双判别器加权生成对抗网络的图像去模糊方法

原始生成对抗网络(generative adversarial network,GAN)在训练过程中容易产生梯度消失及模式崩溃的问题,去模糊效果不佳.由此本文提出双判别器加权生成对抗网络(dual discriminator weighted generative adversarial network,D2WGAN)...     

基于自注意力特征融合的半监督生成对抗网络用于SAR目标识别

与具有大量标注数据的光学图像相比,合成孔径雷达(Synthetic Aperture Radar,SAR)图像缺乏足够的标记样本,限制了监督学习的SAR目标识别算法的性能.而无监督识别方法又难以满足实际需求,因此本文提出了基于自注意力特征融合的半监督生成对抗网路.首先,在构建生成器和判别器时引入自注意力层,克服卷积算子...     

基于GAN指纹库的卷积神经网络室内可见光信道模型

提出一种神经网络算法实现室内可见光信道模型,解决Lambert模型难以计算室内可见光信道的噪声和误差问题。针对指纹库数据量大、难以采集和训练参数多导致迭代速度慢的问题,提出使用生成式对抗网络(generative adversarial network,GAN)生成仿真数据集融合原有的稀疏指纹库,生成满足训练要求数量的指纹库;使用一维的卷积神经网络(convolutional neural network, CNN)提取数据特征,降低训练参数,提高迭代速度。在室内5 m×5 m×3 m环境下采集稀疏指纹库,分别用反向传播 神经网络(back propagation netural network, BPNN)和一维CNN室内可见光信道模型进行对比。仿真结果表明:使用GAN生成指纹库的平均绝对误差为0.04,对数据量增广300%;在同一指纹库下,BPNN信道模型误差为3.81,迭代500次收敛;而CNN信道模型误差为0.79,迭代100次收敛。本文提出的GAN指纹库融合CNN的可见光信道模型具有精度高、误差小、速度快、泛化性强等优点,为室内可见光信道模型提供新的研究方案。     

基于DAWGAN-GP的磁共振图像重构方法研究

本文提出了一种基于改进Wasserstein生成式对抗网络（De-aliasing Wasserstein Generative Adversarial Network with Gradient Penalty,DAWGAN-GP）的磁共振图像重构算法,该方法利用Wasserstein生成式对抗网络代替传统的生成式对抗网络,并结合梯度惩罚的方法提高训练速度,解决WGAN收敛缓慢问题.此外,为了有更好的重构效果,我们将感知损失,像素损失和频域损失引入至损失函数中进行网络训练.实验结果表明,对比现有的基于深度学习的磁共振图像重构算法,基于DAWGAN-GP的磁共振图像重构方法具有更好的重构效果,可获得更高的峰值信噪比（Peak Signal to Noise Ratio,PSNR）和更好的结构相似性（Structural Similarity Index Measure,SSIM）.     

Generative adversarial networks for hyperspectral image spatial super-resolution

It is becoming increasingly easier to obtain more abundant supplies for hyperspectral images ( HSIs). Despite this, achieving high resolution is still critical. In this paper, a method named hyperspectral images super-resolution generative adversarial network ( HSI-RGAN ) is proposed to enhance the spatial resolution of HSI without decreasing its spectral resolution. Different from existing methods with the same purpose, which are based on convolutional neural networks ( CNNs) and driven by a pixel-level loss function, the new generative adversarial network (GAN) has a redesigned framework and a targeted loss function. Specifically, the discriminator uses the structure of the relativistic discriminator, which provides feedback on how much the generated HSI looks like the ground truth. The generator achieves more authentic details and textures by removing the place of the pooling layer and the batch normalization layer and presenting smaller filter size and two-step upsampling layers. Furthermore, the loss function is improved to specially take spectral distinctions into account to avoid artifacts and minimize potential spectral distortion, which may be introduced by neural networks. Furthermore, pre-training with the visual geometry group (VGG) network helps the entire model to initialize more easily. Benefiting from these changes, the proposed method obtains significant advantages compared to the original GAN. Experimental results also reveal that the proposed method performs better than several state-of-the-art methods.     

基于谱约束的生成对抗网络图像数据生成研究

数据匮乏是深度学习面临的一大难题。利用生成对抗网络(GAN)能够基于语义生成新的图像数据这一特性,提出一种基于谱约束的生成对抗网络图像数据生成方法,该方法针对卷积生成对抗网络模型易崩溃不收敛的问题,从每层神经网络的参数矩阵W的谱范数角度出发,引入谱范数归一化网络参数矩阵,将网络梯度限制在固定范围内,减缓判别网络收敛速度,从而提高GAN的训练稳定性。实验表明,通过该方法生成的数据相比原始GAN以及DCGAN、WGAN等生成的图像样本数据在图像识别网络中具有更高的准确率,能够对少量样本数据进行有效扩充。