基于改进生成对抗网络的飞参数据异常检测方法

针对民用飞行器安全性、可靠性要求严苛,实际民航运营中飞行参数的异常样本稀少,整体样本不平衡且缺少标注的问题,研究深度学习与生成对抗网络技术,提出基于改进生成对抗网络的飞参数据飞行级异常检测方法. 该方法不依赖样本数量与标签,实现无监督学习的检测方法. 针对飞参数据,输入正常数据样本,应用易收敛的WGAN-GP改进型生成对抗网络模型,模拟生成正常数据样本,计算输入数据与模拟正常数据的巴氏距离,实现对异常数据的检测. 通过美国国家航空航天局模拟飞参数据的人工合成数据集以及真实运营环境下采集的快速存取记录器数据构建的飞参数据集,开展试验验证. 结果表明,与常用无监督模型相比,提出方法在部分异常检测性能指标上有显著提升.     

基于VQ-VAE与Do-Conv层的无监督语音表示学习

针对在无监督条件下,对语音信号提取语音表示的问题,提出了Do-VQVAE模型。提出的Do-VQVAE模型主要基于矢量量化变分自编码器的结构进行实现,并在此基础上,引入深度方向超参数化卷积层构成编码器。该模型通过编码器-解码器的结构,以无监督的方式提取语音信号的特征,将编码器的输出通过码书的映射进行量化,得到离散的语音表示。在实验过程中还引入了互信息神经估计,旨在提高学习到的语音表示的说话人不变性。提出的模型在ZeroSpeech 2019挑战的数据集上进行了训练和测试,经过测试,模型的ABX错误率相比于基线和卷积VQ-VAE模型都有明显降低,并取得了与最好系统相媲美的结果。     

融合表示学习的中医面部穴位检测框架

现有智能穴位检测方法存在依赖红外等外部设备、特征表示挖掘不足、穴位检测精度较低等问题。在分析穴位检测需求的基础上,将其定义为基于视觉图像的关键点检测任务,提出融合特征表示学习的中医面部穴位检测模型框架FADbR。首先,构建基于自监督学习机制的对抗自编码网络模型,通过人脸图像重建任务实现特征表示学习,利用神经网络提取人脸隐性知识,深度挖掘面部抽象特征。随后,基于自监督学习对抗自编码器构建监督学习面部穴位检测模型,充分利用学习到的人脸隐性知识提高智能面部穴位检测精度。最后,基于现有人脸数据库构建稠密人脸穴位数据集FAcupoint并用于方法验证。实验结果表明,FADbR可以通过表示学习挖掘面部关键特征支撑穴位检测任务,即使在少量训练样本的情况下也能够获得较好的检测性能。     

高阶互信息最大化与伪标签指导的深度聚类

针对现有聚类方法未充分探索图的拓扑结构和节点关系，且无法受益于模型预测的不精确标签的问题，提出一种高阶互信息最大化与伪标签指导的深度聚类模型HMIPDC.该模型采用高阶互信息最大化策略来最大化图的全局表示、节点表示、节点属性信息之间的互信息.通过一种结合多跳邻近矩阵的自注意力机制更加合理地提取节点的低维表征.使用基于深度散度的聚类损失函数（DDC）迭代优化聚类目标，抽取高置信度的预测标签对低维表征的学习进行监督.在4个基准数据集上的聚类任务、实验时间分析和聚类可视化分析充分表明，HMIPDC的聚类性能始终优于大多数的深度聚类方法.通过消融研究和参数敏感性分析验证了该模型的有效性和稳定性.     

基于点分布模型的3D模型拟合方法

针对传统方法构建的患者病患部位的3D解剖结构模型与测试样本拟合效果较差的问题,提出基于点分布模型的3D模型拟合方法（3DMFB-PDM）. 对训练样本集进行数据处理,使模板样本与目标样本对齐,减小训练样本由于旋转及尺度变化产生的不利影响;在训练样本间建立对应关系,用正态分布表示患者的点分布模型;计算测试样本中的特征点与点分布模型中对应点间的距离,通过引入Mahalanobis距离和转换非线性方程组,使点间距最小.根据最小间距不断调整点分布模型的形状参数,使点分布模型与测试样本拟合.选取30组左侧股骨作为训练样本集实验验证3DMFB-PDM的有效性,结果表明引入附加项后的拟合误差小于未引入附加项的拟合误差. 将 3DMFB-PDM与其他3种方法进行对比,结果显示3DMFB-PDM的拟合误差最小,表明3DMFB-PDM能够有效地将患者病患部位的3D解剖结构模型与测试样本拟合.     

基于多变量时序数据的对抗攻击与防御方法

为了保证时序数据攻击检测模型的安全性,提出了基于多变量时间序列数据的对抗攻击与对抗防御方法. 首先,针对基于自编码器的攻击检测模型,设计了在测试阶段实施的逃逸攻击. 其次,针对设计的对抗攻击样本,提出了一种基于雅克比(Jacobian)正则化方法的对抗攻击防御策略,将模型训练过程中的Jacobian矩阵作为目标函数中的正则项,提高了深度学习模型对对抗攻击的防御能力. 在工业水处理数据集BATADAL上进行实验,验证了所提出的对抗攻击方法和对抗防御方法的有效性.     

基于对偶对抗学习的多维时间序列异常检测

时间序列中异常点的无监督检测是一个具有挑战性的问题,要求模型能够快速准确地发现异常数据。VAE类深度神经网络模型能在数据压缩和恢复中学习数据的特征,但由于训练过程中缺乏对抗性,无法更好地区分正常数据和异常数据特征,导致模型训练困难。针对该问题,本文提出一种基于对偶对抗思想的改进多维时间序列异常检测方法。首先利用滑动窗口将数据集划分为合适的长度的序列,使用正常序列数据训练模型。继而利用对偶结构加强两组编码器解码器之间的对抗性,以更好地学习正常数据特征,减少训练难度。最后,将含有异常数据的待测数据放入训练好的模型,根据待测序列在模型中的异常得分,结合阈值技术进行异常判定,并从待测数据中获得异常序列片段,计算评价指标。实验表明,本文方法Dual-AE具有模型容易训练且稳定性强的特点,并且相对于USAD方法,在水文数据集SWa T上F1分数提升了0.01,召回率提升了0.01,在WADI数据集上F1分数提升了0.09,召回率提升了0.02。异常检测性能指标上,比现有的生成式异常检测模型有明显提升。     

结合互信息最大化的文本到图像生成方法

在堆叠式文本到图像生成模型的基础上,针对其生成样本分布不均匀导致多样性不足的问题,提出了一种结合局部-全局互信息最大化的堆叠式文本到图像的生成对抗网络模型。首先利用生成模型将全局向量解耦得到不同尺度特征图;然后通过最大化特征图与全局向量间的互信息,对图像全局特征与文本描述的相关性进行增强;最后,将特征图提取为局部位置特征向量,通过最大化局部位置特征向量与全局向量之间的平均互信息,加强局部位置特征与文本描述的相关性,得到更紧密的文本到图像的映射关系。在CUB数据集上的实验验证了该方法能有效地提高生成样本的多样性,同时在主观评价上能生成语义精确度更高的样本,更接近自然图像。     

基于DCGANs的二维页岩图像重构方法

利用现代物理实验技术可以有效获取真实的页岩孔隙图像,但是成本高昂。采用数值模拟方法重构页岩,提出了利用深度卷积生成对抗网络重构页岩图像,且该对抗网络允许隐式描述二维图像数据集所表示的概率分布。实验结果证明,该方法能够生成与真实样本更相似的页岩二维图像。     

基于生成对抗网络的异常行为模拟算法研究

信息技术飞速发展导致了网络上的信息日益增加,随之而来的网络攻击日渐频繁,其频率和破坏力都在不断上升,攻击的隐匿性也越来越高。隐藏在大量信息下的网络攻击和异常行为,亟需有效的检测方法。训练机器学习检测算法时,对异常样本的数量要求较高。当异常样本在训练数据集中比例较小时,获得的模型检测效果较差。本文提出一种基于生成式对抗网络(Generative Adversarial Network,GAN)的异常数据模拟算法,用于提高训练样本中异常数据集的比例,解决了训练样本数据不均衡的问题,并利用K-means算法验证了生成样本数据的质量。     

Unsupervised adversarial learning method for hard disk failure prediction

In order to solve the problem of over-fitting of traditional supervised learning methods in anomaly detection of unbalanced datasets, an unsupervised adversarial learning method is proposed for hard disk failure prediction. This method uses the long short-term memory neural network and fully connected layer to design an Autoencoder that can be used for secondary coding. Only normal samples are used for training. By reducing the reconstruction error and the distance between potential vectors, the model can learn the data distribution of normal samples, thus improving the generalization ability of the model. The model also introduces the generative adversarial network to enhance the effect of unsupervised learning. Experiments on several datasets show that the recall rate and precision of the proposed method are higher than those of traditional supervised learning and semi-supervised learning classifiers, and that its generalization ability is stronger. Therefore, the unsupervised adversarial learning method is effective in hard disk failure prediction.     

结合主动学习和半监督学习的网络入侵检测算法

为提高网络入侵检测的分类效率,提出一种结合主动学习和半监督学习的入侵检测算法。结合入侵检测实际,对主动学习算法进行简化,用有标记样本训练生成2个分类器,实现对未标记样本的预测;将2个分类器预测不一致的未标记样本作为信息量丰富的样本,使用半监督学习算法进行标记;最后, 把新增加的新标记样本添加到主动学习和半监督学习的训练集中,训练各自分类器, 反复迭代直到未标记样本集为空, 并用最新的有标记样本集训练形成最终的分类器。使用KDD CUP 99数据集进行入侵检测实验,其结果表明,与SVM方法相比,其分类率提高了4.3%,且较好地缩减了问题规模。       

基于生成对抗网络的太阳能电池缺陷增强方法

为了解决太阳能电池样本不均衡问题,提出负样本引导生成对抗网络的太阳能电池缺陷样本增强方法. 通过在生成对抗模型中引入大量负样本和增加负样本引导损失,促进模型对正样本特征的表达,提升生成样本的多样性;设计自适应的权值约束方法,平衡生成器和判别器的表达能力,提升生成样本的质量. 实验结果表明,在太阳能电池电致发光(EL)缺陷数据集上,提出方法的生成质量和检测精度优于深度卷积生成对抗网络（DCGAN）、梯度惩罚Wasserstein距离生成对抗网络（WGAN-GP）和一阶导数生成对抗网络（FOGAN）;该方法的F测度较DCGAN、WGAN-GP和FOGAN分别最高提升了10%、8%和5%,具有较好的数据增强性能. 在带钢表面缺陷数据集及DAGM 2007公共数据集上,提出方法的性能优于DCGAN、WGAN-GP和FOGAN,具有一定的泛化能力.     

融合对抗训练与ERNIE 的短文本情感分析模型

使用深度学习技术进行文本情感分类是近年来自然语言处理领域的研究热点,好的文本表示是提升深度学习模型分类性能的关键因素。由于短文本蕴含情感信息较少、训练时易受噪声干扰,因此提出一种融合对抗训练的文本情感分析模型PERNIE RCNN。该模型使用ERNIE预训练模型对输入文本进行向量化,初步提取文本的情感特征。随后在ERNIE预训练模型的输出向量上添加噪声扰动,对原始样本进行对抗攻击生成对抗样本,并将生成的对抗样本送入分类模型进行对抗训练,提高模型面临噪声攻击时的鲁棒性。实验结果表明, PERNIE RCNN模型的文本分类性能更好,泛化能力更优。     

基于上下文生成对抗网络的时间序列异常检测方法

时间序列的异常检测是网络服务保障、数据安全检测、系统监控分析等应用中所依赖的一项关键技术。为解决在实际场景的时间序列异常检测中由于时间序列上下文的模糊性、数据分布的复杂性以及异常检测模型的不确定性所带来的异常检测结果的有效性、合理性、稳定性等不足的问题,本文提出了一种新的基于上下文生成对抗网络的时间序列异常检测方法AdcGAN。首先,通过处理历史数据,提取用于生成时序数据的条件上下文;然后,采用条件生成对抗网络的设计策略,使用条件上下文,构建上下文生成对抗网络,实现对任意时刻数据的条件分布预测,同时AdcGAN采用Dropout近似模型不确定性,使用概率分布代替点估计作为预测结果;接着,从观测的差异(用期望偏差表示)和模型的不确定性(用预测方差表示)两个方面来衡量异常;最后,提出基于数据统计信息的异常阈值自动设置方法,减少手动调节的参数量。实验结果表明,与同类基准算法进行对比,在NAB数据集中的47个真实时序数据上,本文提出的AdcGAN可以有效地检测出时序数据中的异常,在大多数评价指标上都优于其他基准方法,并且具有更好的稳定性。     

基于半监督学习的脑电信号特征提取及识别

针对有监督学习容易造成未标记样本的浪费和手动特征提取容易导致信息丢失的问题,提出一种基于深层堆叠网络（DSN）的半监督特征学习方法,无监督特征学习的过程由多个受限玻尔兹曼机（RBM）的并行训练完成,将训练得到的参数用于DSN的输入权值初始化,再采用批量模式的梯度下降法进行监督微调。将所提方法用于运动想象脑电信号特征提取及识别,实验结果表明本文方法能够充分利用未标记样本中的隐含信息,有效提取脑电信号特征,识别结果优于共同空间模式（CSP）和深度信念网络（DBN）等算法,该方法可用于提高BCI系统中脑电信号的识别准确率。     

基于Co-training方法的车辆鲁棒检测算法

针对复杂交通场景车辆检测算法自适应能力差的问题,提出了基于Co-training半监督学习方法的车辆鲁棒检测算法.首先,针对手工标记的少量样本,分别训练基于Haar-like特征的AdaBoost分类器和基于HOG(histograms of oriented gradients)特征的SVM(support vector machines)分类器,使其具有一定的识别能力;然后,基于Co-training半监督学习框架,将利用2种算法进行分类得到的新样本分别加入到对方的样本库中,增加训练样本数量,再次进行分类器的训练.由于这2类特征具有冗余性,各自检测出的正负样本包含对方漏检和误检的图像.由于样本数的增加,再次训练所得到的新分类器的鲁棒性得到了很大提高,能更加准确地检测出车辆,而且由算法对未标记样本进行分类标记,不再需要人为标记,提高了车辆检测算法的自适应能力.     

基于域对抗网络和BERT的跨领域文本情感分析

跨领域文本情感分析时,为了使抽取的共享情感特征能够捕获更多的句子语义信息特征,提出域对抗和BERT(bidirectional encoder representations from transformers)的深度网络模型。利用BERT结构抽取句子语义表示向量,通过卷积神经网络抽取句子的局部特征。通过使用域对抗神经网络使得不同领域抽取的特征表示尽量不可判别,即源领域和目标领域抽取的特征具有更多的相似性;通过在有情感标签的源领域数据集上训练情感分类器,期望该分类器在源领域和目标领域均能达到较好的情感分类效果。在亚马逊产品评论数据集上的试验结果表明,该方法具有良好的性能,能够更好地实现跨领域文本情感分类。