基于多模态生成对抗网络的多元时序数据异常检测

针对传统多元时序数据异常检测模型未考虑时空数据的多模态分布问题，提出了一种多模态生成对抗网络多元时序数据异常检测模型。利用滑动窗口分割时间序列并构造特征矩阵来捕获数据的多模态特征，将其与原始数据分别作为模态信息输入多模态编码器及多模态生成器中，输出具有时空信息的多模态特征矩阵，并将真实数据编码成特征矩阵，将两类特征矩阵作为判别器输入，利用梯度惩罚方法并拟合真实分布与生成分布之间的Wasserstein距离，取代二分类交叉熵损失训练判别器，结合生成器重构误差及判别器评分实现异常检测。基于安全水处理(SWaT)及水量分布(WADI)等数据集的测试结果表明，所提模型相比基准模型在F1-分数性能指标上分别提升了0.11和0.19,能够较好地识别多元时序数据异常，具有较好的鲁棒性以及泛化能力。     

基于条件生成对抗网络的CT图像去噪方法

医学图像在重建过程中总会受到噪声干扰,对于此问题,本文提出了一种基于条件生成对抗网络(CGAN)的去噪方法,算法以完整图像作为网络的输入及输出,使生成的图像信息更加稳定可靠。为了适应CT图像的特点,本文对CGAN结构进行了改进,使其能够适应不同噪声水平下的加性高斯白噪声,为了提高效率,在判别器进行训练时采用了损失判别,且在Tensorflow环境下训练网络模型。实验结果表明,与其他传统图像去噪算法相比,本方法能在保留特征信息的同时有效减少图像中的噪声。     

生成对抗网络研究综述

生成对抗网络(GAN)是一种基于深度学习的强大生成模型,目前广泛应用于计算机视觉、自然语言处理、半监督学习等领域,并取得了显著的成果。随后研究人员通过对GAN的生成器、判别器做结构上的改进或对目标函数等进行优化,提出了更多种的GAN。首先介绍GAN的研究进展和基本思想,其次对一些经典的GAN,如深度卷积生成对抗网络(DCGAN)、条件生成对抗网络(CGAN)、WGAN和超分辨率生成对抗网络(SRGAN)等进行综述,最后对GAN的相关工作进行总结与展望。     

基于生成对抗网络的大规模路网交通流预测算法

对大规模路网交通流进行准确预测,能够应用于区域交通协同控制与管理,提高路网运行效率.针对如何高精度地拟合大规模路网交通流时空分布并对其进行准确预测,提出基于梯度惩罚的Wasserstein生成对抗网络(Wasserstein generative adversarial network with gradient penalty,WGAN-GP)的大规模路网交通流预测算法.根据大规模路网交通流数据特点,为了增加模型对时间相关性和远距离空间相关性特征的抽象能力,采用残差U型网络作为生成器来增加网络深度;采用多重判别器分别从时间和空间特征来对生成数据进行判别,从而提高判别器的判别能力.所提算法能够解决判别型深度学习模型仅能针对路网整体误差最小化,而忽略各交通流观测点预测误差最小化原则的问题,能够更好地满足现实交通场景需求.实验结果表明,所提算法能够有效地学习路网交通流数据内部多因素耦合特性,具有更高的预测精度.     

自适应序列生成的建筑能耗预测

提出一种基于强化学习的生成对抗网络(Reinforcement learning-based Generative Adversarial Networks,Re-GAN)能耗预测方法.该算法将强化学习与生成对抗网络相结合,将GAN(Generative Adversarial Nets)中的生成器以及判别器分别构建为强化学习中Agent(生成器)以及奖赏函数.在训练过程中,将当前的真实能耗序列作为Agent的输入状态,构建一组固定长度的生成序列,结合判别器及蒙特卡洛搜索方法进一步构建当前序列的奖赏函数,并以此作为真实样本序列后续第一个能耗值的奖赏.在此基础之上,构建关于奖赏的目标函数,并求解最优参数.最后使用所提算法对唐宁街综合大楼公开的建筑能耗数据进行预测试验,实验结果表明,所提算法比多层感知机、门控循环神经网络和卷积神经网络具有更高的预测精度.     

基于VAE-CGAN的牦牛等级评定算法

在牦牛高效养殖过程中, 牦牛等级评定是牦牛育种工作中的重要环节. 为了在牦牛等级评定研究中, 降低数据集分布不平衡对牦牛等级预测结果的影响, 提出一种基于改进条件生成对抗网络模型的牦牛等级评定模型VAE-CGAN. 首先, 为获取高质量生成样本, 模型通过引入变分自编码器取代条件生成对抗网络输入中的随机噪声, 降低了随机变量带来的不确定性. 此外, 模型将牦牛标签作为条件信息输入到生成对抗模型中来获取指定类别的生成样本, 生成样本及训练样本则会被用于训练深度神经网络分类器. 实验结果显示, 模型整体预测准确率达到了97.9%. 而且与生成对抗网络相比较, 在数量较少的特级牦牛等级预测上的精准率、召回率和F1值分别提升了16.7%、16.6%和19.4%. 实验结果表明该模型可以实现高精准度和低误分类率的牦牛等级分类.     

生成对抗网络在各领域应用研究进展

随着深度学习的快速发展, 生成式模型领域也取得了显著进展. 生成对抗网络(Generative adversarial network, GAN)是一种无监督的学习方法, 它是根据博弈论中的二人零和博弈理论提出的. GAN具有一个生成器网络和一个判别器网络, 并通过对抗学习进行训练. 近年来, GAN成为一个炙手可热的研究方向. GAN不仅在图像领域取得了不错的成绩, 还在自然语言处理(Natural language processing, NLP)以及其他领域崭露头角. 本文对GAN的基本原理、训练过程和传统GAN存在的问题进行了阐述, 进一步详细介绍了通过损失函数的修改、网络结构的变化以及两者结合的手段提出的GAN变种模型的原理结构, 其中包括: 条件生成对抗网络(Conditional GAN, CGAN)、基于Wasserstein 距离的生成对抗网络(Wasserstein-GAN, WGAN)及其基于梯度策略的WGAN (WGAN-gradient penalty, WGAN-GP)、基于互信息理论的生成对抗网络(Informational-GAN, InfoGAN)、序列生成对抗网络(Sequence GAN, SeqGAN)、Pix2Pix、循环一致生成对抗网络(Cycle-consistent GAN, Cycle GAN)及其增强Cycle-GAN (Augmented CycleGAN). 概述了在计算机视觉、语音与NLP领域中基于GAN和相应GAN变种模型的基本原理结构, 其中包括: 基于CGAN的脸部老化应用(Face aging CGAN, Age-cGAN)、双路径生成对抗网络(Two-pathway GAN, TP-GAN)、表示解析学习生成对抗网络(Disentangled representation learning GAN, DR-GAN)、对偶学习生成对抗网络(DualGAN)、GeneGAN、语音增强生成对抗网络(Speech enhancement GAN, SEGAN)等. 介绍了GAN在医学、数据增强等领域的应用情况, 其中包括: 数据增强生成对抗网络(Data augmentation GAN, DAGAN)、医学生成对抗网络(Medical GAN, MedGAN)、无监督像素级域自适应方法(Unsupervised pixel-level domain adaptation method, PixelDA). 最后对GAN未来发展趋势及方向进行了展望.     

结合降噪卷积神经网络和条件生成对抗网络的图像双重盲降噪算法

针对图像降噪中降噪效果差、计算效率低的问题,提出了一种结合降噪卷积神经网络（DnCNN）和条件生成对抗网络（CGAN）的图像双重盲降噪算法。首先,使用改进的DnCNN模型作为CGAN的生成器来对加噪图片的噪声分布进行捕获;其次,将剔除噪声分布后的加噪图片和标签一同送入判别器进行降噪图像的判别;然后,利用判别结果对整个模型的隐层参数进行优化;最后,生成器和判别器在博弈中达到平衡,且生成器的残差捕获能力达到最优。实验结果表明,在Set12数据集上,当噪声水平分别为15、25、50时：所提算法与DnCNN算法相比,基于像素点间误差评价指标,其峰值信噪比（PSNR）值分别提升了1.388 dB、1.725 dB、1.639 dB;所提算法与三维块匹配（BM3D）、加权核范数最小化（WNNM）、DnCNN、收缩场级联（CSF）和一致性神经网络（CSNET）等现有算法相比,结构相似性（SSIM）评价指标值平均提升了0.000 2~0.104 1。实验结果验证了所提算法的优越性。     

基于CNN-WaveNet的滚动轴承剩余寿命预测

为保证设备正常运行并准确预测轴承剩余寿命,提出二维卷积神经网络与改进WaveNet组合的寿命预测模型.为克服未优化的递归网络在预测训练过程中易出现梯度消失问题,该模型引入了WaveNet时序网络结构.针对原始WaveNet结构不适用滚动轴承振动数据情况,将WaveNet结构改进与二维卷积神经网络结合应用于滚动轴承寿命预测.模型利用二维卷积网络提取一维振动序列的特征,随后特征输入WaveNet并进行滚动轴承的预测寿命.改进模型相比于深度循环网络计算效率更高、结果更准确,相比于原始CNN-WaveNet-O模型预测结果更准确.相比于深度长短期记忆网络模型,改进方法预测结果均方根误差降低了11.04％,评分函数降低了11.34％.     

基于条件生成对抗网络的手语样本骨架缺失关节点修复EI北大核心CSCD

计算机视觉技术由于受到遮挡、视角和光照等因素的影响,对手语样本骨架关节点的检测通常存在缺失,导致手语识别准确率降低.为此,提出基于条件生成对抗网络(CGAN)的手语样本骨架缺失关节点修复方法.首先,通过分析手语样本残缺骨架中关节点的缺失分布情况,构建缺失关节点分布概率模型;其次,对完整骨架引入分布概率模型生成的缺失关节点,将这些残缺骨架用于CGAN框架中生成器和判别器的训练,通过CGAN框架训练好的生成器能够以残缺骨架为条件生成没有缺失的骨架;最后,用生成骨架去补全残缺骨架,即完成了修复.在中国手语数据集CSL上开展实验,生成器迭代训练80次后,生成骨架与完整骨架的平均均方根误差从0.019减小到0.001;在修复骨架缺失关节点的手语样本上,搭建手语识别网络迭代训练120次,与未进行修复相比,其识别准确率从90.6%提升为99.6%.实验结果表明,该方法能够有效地修复缺失关节点,极大地提升手语识别准确率.     

基于条件生成式对抗网络的数据增强方法

深度卷积神经网络（CNN）在大规模带有标签的数据集训练下,训练后模型能够取得高的识别率或好的分类效果,而利用较小规模数据集训练CNN模型则通常出现过拟合现象。针对这一问题,提出了一种集成高斯混合模型（GMM）及条件生成式对抗网络（CGAN）的数据增强方法并记作GMM-CGAN。首先,通过围绕核心区域随机滑动采样的方法增加数据集样本数量;其次,假定噪声随机向量服从GMM描述的分布,将它作为CGAN生成器的初始输入,图像标签作为CGAN条件,训练CGAN以及GMM模型的参数;最后,利用已训练CGAN生成符合样本真实分布的新数据集。对包含12种雾型386个样本的天气形势图基准集利用GMM-CGAN方法进行数据增强,增强后的数据集样本数多达38600个,将该数据集训练的CNN模型与仅使用仿射变换增强的数据集及CGAN方法增强的数据集训练的CNN模型相比,实验结果表明,前者的平均分类正确率相较于后两个模型分别提高了18.2%及14.1%,达到89.1%。     

基于条件生成对抗网络的侧信道攻击技术研究

近年来,深度学习技术广泛应用于侧信道攻击（side channel attack,SCA）领域。针对在基于深度学习的侧信道攻击中训练集数量不足的问题,提出了一种用于侧信道攻击的功耗轨迹扩充技术,使用条件生成对抗网络（conditional generate against network,CGAN）实现对原始功耗轨迹的扩充,并使用深度神经网络进行侧信道攻击。通过选择密码运算中间值的汉明重量（hamming weight,HW）作为CGAN的约束条件,将CGAN生成模拟功耗轨迹作为多层感知器（multi-layer perceptron,MLP）神经网络的训练数据,构建模型实现密钥恢复。通过实验对不同类型训练集的攻击效果进行比较,结果表明,使用CGAN生成的功耗轨迹和原始功耗轨迹具有相同的特征,使用扩充后的功耗轨迹对MLP神经网络进行训练和测试,训练精度和测试精度分别提高15.3%和14.4%。     

Error correction method based on data transformational GM(1,1) and application on tax forecasting

Accurate tax forecast is very important to carry on the macroscopic regulation efficiently under the market economy. However, experience shows that it is very difficult to improve the accuracy of forecasting by setting up a single forecasting model. This article describes the deficiencies of the present forecasting methods and puts forward a new approach to improve the accuracy of prediction by introducing error correction. First, this paper carries out initial prediction of tax revenue by using the LS-SVR model. Second, the accelerated translation transform and weighting mean value generating transform are introduced to process the error sequence. On the basis of the processed data, the error predictive method based on data transformational GM(1,1) is constructed and predicts the subsequent error. Third, the correction of preliminary prediction values is calibrated. The case study based on Chinese tax revenue during the last 30 years shows that the presented approach improves the accuracy of forecasting significantly compared with the prediction accuracy before correction, and then the validity of the model is verified.     

基于条件对抗网络的单幅霾图像深度估计模型

针对霾环境中图像降质导致的传统深度估计模型退化问题,提出了一种融合双注意力机制的基于条件生成对抗网络（CGAN）的单幅霾图像深度估计模型。首先,对于模型的生成器的网络结构,提出了融合双注意力机制的DenseUnet结构,其中DenseUnet将密集块作为U-net编码和解码过程中的基本模块,并利用密集连接和跳跃连接在加强信息流动的同时,提取直接传输率图的底层结构特征和高级深度信息。然后,通过双注意力模块自适应地调整空间特征和通道特征的全局依赖关系,同时将最小绝对值损失、感知损失、梯度损失和对抗损失融合为新的结构保持损失函数。最后,将霾图像的直接传输率图作为CGAN的条件,通过生成器和鉴别器的对抗学习估计出霾图像的深度图。在室内数据集NYU Depth v2和室外数据集DIODE上进行训练和测试。实验结果表明,该模型具有更精细的几何结构和更丰富的局部细节。在NYU Depth v2上,与全卷积残差网络相比,对数平均误差（LME）和均方根误差（RMSE）分别降低了7%和10%;在DIODE上,与深度有序回归网络相比,精确度（阈值小于1.25）提高了7.6%。可见,所提模型提高了在霾干扰下深度估计的准确性和泛化能力。     

基于循环互相关系数的CGAN温度值图像扩增

针对变电设备红外图像温度值样本少、不均衡等问题,本文提出了一种基于循环互相关系数的条件生成对抗网络(conditional generative adversarial network, CGAN)温度值图像扩增方法。根据图像相似度提出了循环互相关系数,改进了CGAN模型的损失函数;使用改进后的CGAN模型在原始温度值图像数据集的基础上进行图像扩增,得到了包含11种标签的新数据集;采用卷积神经网络对传统图像扩增方法、原始CGAN模型和改进的CGAN模型扩增的图像进行对比和测试。结果表明,改进的CGAN模型收敛速度更快,训练过程稳定,扩增的图像轮廓清晰、细节丰富,客观评价指标最高,温度值识别准确率达到99.4%,实现了图像扩增的目的。     

Learning regularity in an economic time-series for structure prediction

Although an economic time-series has an apparently random fluctuation over time, there exists certain regularity in the functional behavior of the series. This paper attempts to identify the regularly occurring structures in an economic time-series with an aim to represent the series as a specific sequence of such structures for forecasting applications. The applications include prediction of the most probable structure with its expected duration, along with predicted values lying thereon. Representation of a time-series by a set of regularly recurring structures is undertaken by invoking three main steps: (i) non-uniform length segmentation of the series, (ii) identification of the recurrent patterns by clustering of the generated segments, and (iii) representing the sequence of regular structures using a specially designed automaton. The automaton is used here to both encode the sequence of structures representing the time-series and also to act as an inference engine for stochastic forecasting about the time-series. Experiments undertaken on large (28 years’) daily economic time-series data sets confirm the success in automated structure prediction with an average prediction accuracy of 88.05%, average precision of 91.24% and average recall of 93.42%.     

保护数据隐私的深度学习训练数据生成方案

深度学习模型训练存在缺少大量带标签训练数据和数据隐私泄露等问题.为了解决这些问题,借由生成对抗网络可生成大量与真实数据同分布的对抗样本的特点,提出了一个基于条件生成对抗网络的深度学习模型训练数据生成方案.该方案采用条件生成对抗网络生成数据,满足了生成大量带标签训练数据的需求;结合数据变形方法实现数据隐私保护,解决了数据隐私泄露的问题.实验结果表明该方案是高效可行的,而且与其他方案相比,其在数据可用性和保护隐私方面具有优势.     

Long-time gap crowd prediction using time series deep learning models with two-dimensional single attribute inputs

Crowd prediction is a crucial aspect of modern life with innumerable applications. By predicting future human occupancy in advance, crowd prediction can support the decision-making processes of facility stakeholders, e.g., the campus operator can schedule facility maintenance during the period of lowest pedestrian flow to eliminate any disturbance. Conventional crowd prediction utilizes statistical models and rule-based data mining techniques, which are tedious in data processing and error-prone. Hence, this study formulates crowd prediction into a time-series analysis based on deep learning. Despite its wide adaptability in various research fields, deep learning-based time series analysis is seldom adopted in crowd prediction. There are two major limitations in previous studies: firstly, the prediction accuracy notably degrades with increased prediction length, and secondly only the temporal pattern along a single time dimension is exploited, i.e., the consecutive time steps in the most recent input data. Therefore, a Long-Time Gap Two-Dimensional method, entitled LT2D-method, is proposed to increase the crowd prediction length of with high accuracy. The LT2D-method is composed of two parts, (1) long-time gap prediction, which extends the prediction length to 240 time steps (1 day) with high accuracy, and (2) 2D inputs method, which exploits the prior knowledge from different time dimensions to further improve the prediction accuracy of long-time gap prediction. The proposed LT2D-method can be generally adapted to deep learning models, such as LSTM, BiLSTM, and GRU, to improve the prediction accuracy. By incorporating the proposed LT2D-method into different baseline models, the accuracy is generally improved by around 22%, demonstrating the robustness and generalizability of our method.     

智慧农业中时序数据组合预测模型

智慧农业是实现农业精准化的技术解决方案,智慧农业系统可以实时监测植物生长的各类环境参数,并可以应用相应的预测模型来模拟农作物生长环境的变化趋势,为科学决策提供依据。近年来有很多学者提出了时间序列的预测模型算法,在预测稳定性方面取得了不错的效果。为了进一步提升时间序列的预测精度,提出一种基于差分整合移动平均自回归模型和小波神经网络的组合预测模型。该组合模型结合2个单项模型优点,用差分整合移动平均自回归模型来拟合序列的线性部分,用小波神经网络来校正其残差,使其拟合曲线更接近于实际值,采用温室内的历史温度数据来验证该组合模型的精确度,最后将组合模型与传统预测模型的预测结果进行对比。结果表明,该组合模型用于温室温度预测的精确度更高,拟合效果更好,相比于传统模型预测算法计算效能提高了20%左右。     

Fault detection based on one-class deep learning for manufacturing applications limited to an imbalanced database

Despite extensive studies for the industrial applications of deep learning, its actual usage in manufacturing sites has been extremely restrained by the difficulty in obtaining sufficient industrial data, especially for production failure cases. In this study, we introduced a fault-detection module based on one-class deep learning for imbalanced industrial time-series data, which consists of three submodules, namely, time-series prediction based on deep learning, residual calculation, and one-class classification using one-class support vector machine and isolation forest. Four different networks were used for the time-series prediction: multilayer perception (MLP), residual network (ResNet), long–short-term memory (LSTM), and ResNet–LSTM, each trained with the one-class data having only the production success cases. We adopted the residuals of the deep-learning prediction as an elaborated feature for the construction of the one-class classification. We also tested the fault-detection module with the actual mass production data of a die-casting process. By adopting the features elaborated by the deep-learning time-series prediction, we showed that the total accuracy of the one-class classification significantly improved from 90.0% to 96.0%. Especially for its capability to detect production failures, the accuracy improved from 84.0% to 96.0%. The area under the receiver operating characteristics (AUROC) also improved from 87.56% to 98.96%. ResNet showed the best performance for detecting production failures, whereas ResNet–LSTM produced better results for ensuring the production success. Our results suggest that the one-class deep learning is a promising approach for extracting important features from time-series data to realize a one-class fault-detection module.