基于双自编码器和Transformer网络的异常检测方法

基于自编码器（AE）的异常检测方法利用重构误差判断待测样本是正常数据还是异常数据。然而,上述方法在正常数据与异常数据上产生的重构误差非常接近,导致部分异常数据很容易被错分为正常数据。为解决上述问题,提出一种由两个并行的AE和一个Transformer网络组成的异常检测方法——DATN-ND。首先,Transformer网络利用输入样本的瓶颈特征生成伪异常数据的瓶颈特征,从而在训练集中增加异常数据信息;其次,双AE将带有异常数据信息的瓶颈特征尽可能地重构为正常数据,增加异常数据与正常数据的重构误差差别。与记忆增强自编码器（MemAE）相比,DATN-ND在MNIST、Fashion-MNIST、CIFAR-10数据集上ROC曲线下面积（AUC）分别提升6.8、12.0和2.5个百分点。实验结果表明,DATN-ND能够有效扩大正常数据和异常数据在重构误差上的差别。     

基于机器学习的计算机网络节点漏洞检测方法

为提高计算机网络的使用安全,引进机器学习算法改进计算机网络节点漏洞检测方法。将节点流量熵值作为识别计算机网络节点异常流量的关键依据,根据窗口大小计算节点流量熵值;提取计算机网络环境中软件定义网络（Software Defined Network,SDN）控制器的运行参数,识别计算机网络节点异常流量;引进机器学习（Machine Learning,ML）算法,将流通节点的数据输入到机器学习网络层中,训练计算机网络节点数据;利用自编码技术将高维非线性数据转换为低维数据,在网络节点之间建立双向映射关系,以自底向上的方式检测节点漏洞。进行对比实验,结果表明,设计的方法可以精准检测网络环境中的异常数据与漏洞节点。     

基于深度信念网络的异常点集间的匹配算法

在存在异常值、噪声或缺失点的情况下,损坏的点集中很难区分异常点与正常点,并且点集之间的匹配关系也会受到这些异常点的影响。基于正常点之间存在某种联系以及正常点与异常点之间存在差异的先验知识,提出将点集间匹配关系的估计问题模型化为机器学习的过程。首先,考虑到两个正常点集之间的误差特征,提出了一种基于深度信念网络（DBN）的学习方法来训练具有正常点集的网络;然后,使用训练好的DBN测试损坏的点集,根据设置的误差阈值在网络输出端就可以识别异常值和不匹配的点。对存在噪声和缺失点的2D、3D点集所做的匹配实验中,利用模型预测样本的结果定量评估了点集间的匹配性能,其中匹配的精确率可以达到94%以上。实验结果表明,所提算法可以很好地检测点集中的噪声,即使在数据缺失的情况下,该算法也可以识别几乎所有的匹配点。     

基于去噪自编码器的极限学习机

针对极限学习机算法（ELM）参数随机赋值降低算法鲁棒性及性能受噪声影响显著的问题，将去噪自编码器（DAE）与ELM算法相结合，提出了基于去噪自编码器的极限学习机算法（DAE-ELM）。首先，通过去噪自编码器产生ELM的输入数据、输入权值与隐含层参数；然后，以ELM求得隐含层输出权值，完成对分类器的训练。该算法一方面继承了DAE的优点，自动提取的特征更具代表性与鲁棒性，对于噪声有较强的抑制作用；另一方面克服了ELM参数赋值的随机性，增强了算法鲁棒性。实验结果表明，在不含噪声影响下DAE-ELM相较于ELM、PCA-ELM、SAA-2算法，其分类错误率在MNIST数据集中至少下降了5.6%，在Fashion MNIST数据集中至少下降了3.0%，在Rectangles数据集中至少下降了2.0%，在Convex数据集中至少下降了12.7%。     

融合梯度差信息的稀疏去噪自编码网络在异常行为检测中的应用

本文是在稀疏去噪自编码网络的基础上,增加梯度差约束条件改进了自编码网络的解码效果,并成功地应用于全局异常行为检测的领域.基于稀疏自编码网络异常行为的检测过程是通过训练非异常行为的视频帧数据得到自编码网络模型,将待测视频帧输入模型,根据前向传播算法得到模型的输出,计算输出与输入之间的损失值,当该值高于某个阈值时,判定该视频帧中存在异常行为.通过在标准异常行为库开展的实验表明融合梯度差信息的稀疏去噪自编码网络算法较传统的稀疏去噪自编码网络算法在全局异常行为检测中更加有效.     

基于资源分配网络的小数据集并行集成学习方法

机器学习领域中,如何在小规模的训练数据集上获得一个具有稳定的高计算精度的算法模型,一直以来都是一个棘手而富有挑战的问题。从算法模型出发,提出了一种基于扩展卡尔曼滤波器的资源分配网络并行集成学习方法。该集成系统由多个带有扩展卡尔曼滤波器的资源分配网络（RANEKF）组成,并且每个RANEKF子网的输入由原始数据集中的输入经过随机权值的修正得到。通过和其他神经网络构成的集成学习算法的实验对比,发现提出的方法在小训练集上拥有更高的计算精度和稳定性。     

基于外观和动作特征双预测模型的视频异常行为检测

为了在视频异常行为检测中更加充分地运用外观和动作信息,设计出了一种能同时捕捉外观和动作信息的孪生网络模型。该网络的两个分支采用相同的自编码器结构,其中的外观子网络以连续几帧RGB图作为输入来预测下一帧,而动作子网络则输入RGB帧差图来预测未来帧差图。此外,考虑到影响基于预测的方法的检测效果的原因之一,即正常样本的多样性以及自编码器网络强大的“生成”能力,即对部分异常样本也有很好的预测效果,因此在编码器与解码器之间加入一个学习并存储正常样本的“原型”特征的记忆增强模块,从而使异常样本能获得更大的预测误差。在Avenue、UCSD-ped2和ShanghaiTech三个公共的异常数据集上进行了广泛的实验。实验结果表明,相较于其他基于重建或预测的视频异常行为检测方法,所提方法取得了更优异的表现。具体来说,该方法在Avenue、UCSD-ped2和ShanghaiTech数据集上的平均曲线下面积（AUC）分别达到了88.2%、97.5%和73.0%。     

基于改进的降噪自编码药物透血脑屏障预测*

药物透血脑屏障是新药研发的一个重要因素。在传统栈式降噪自编码(Stacked Denoising Autoencoder,SDAE)基础上,提出一种改进的SDAE药物透血脑屏障预测方法。首先利用主成分分析(Principal Components Analysis,PCA)无监督训练一组权值初始化SDAE,避免随机初始化权值造成模型收敛速度较慢;然后为降噪自编码(Denoising Autoencoder,DAE)增加一层隐藏层,构造双隐层DAE,提高单个DAE提取药物分子抽象特征的能力;其次融合SDAE最后两个DAE的第一层隐藏层输出作为softmax分类器的输入,最终实现药物透血脑屏障预测。实验表明,与传统的SDAE及浅层机器学习模型SVM相比,改进后的模型对药物透血脑屏障具有更好的预测效果。     

基于深度孪生自回归网络的无监督异常用电检测

异常用电检测旨在识别出不符合正常用电规律或者违反用电合约的用电行为。针对现有基于重构的检测方法依赖标记的正常样本和难以捕捉复杂时间依赖性的问题,提出一种基于深度孪生自回归网络的无监督异常用电行为检测模型（DSAD）。所提模型通过两个孪生自回归子网络来分别独立地对无标记的输入数据进行重构,再将两个子网络的重构误差相结合来预测数据中的正常样本,并利用多头自注意力机制来有效地捕捉时间依赖性、周期性和随机性等复杂特征。在大规模时序数据集和国家电网真实用电数据集上进行实验所获得的结果表明,所提模型在AUC以及AP等性能指标上取得了更好的检测效果。     

基于E2E DeepVAE-LSTM的轴承退化预测应用研究

针对额外提取数据特征的方法需要花费大量时间和人力成本,轴承退化的线性预测精度低等问题,以及时序数据具有时间依赖关系的特点,提出了端到端的结合长短时记忆网络的深度变分自编码器模型（E2E Deep VAE-LSTM）用于轴承退化预测。通过改进VAE的结构,并结合LSTM,该模型可以在含有异常值的数据集上直接进行训练和预测;使用系统重建误差表征轴承退化趋势,实现了轴承退化的非线性预测。在三个真实数据集上的实验结果表明,E2E Deep VAE-LSTM模型可以得到满意的预测结果,预测精度均高于现有的几种AE类模型及其他几种方法,且具有良好的泛化能力和抗过拟合能力。     

基于DAE和GRU组合的流量异常检测方法

流量异常检测能够有效识别网络流量数据中的攻击行为,是一种重要的网络安全防护手段。近年来,深度学习在流量异常检测领域得到了广泛应用,现有的深度学习模型进行流量异常检测存在两个问题:一是数据受噪声影响导致检测鲁棒性差、准确率低;二是数据特征维度高以及模型参数多导致训练和检测速度慢。为了在降低流量数据噪声影响的基础上提高检测速度和准确性,本文提出了一种基于去噪自编码器(Denoising Auto Encoder,DAE)和门控循环单元(Gated Recurrent Unit,GRU)组合的流量异常检测方法。首先设计了基于DAE的流量特征提取算法,采用小批量梯度下降算法对DAE进行训练,通过最小化含噪声数据的重构向量与原始输入向量间的差异,有效提取具有较强鲁棒性的流量特征,降低特征维度。然后设计了基于GRU的异常检测算法,利用提取的低维流量特征数据训练GRU,从而构建异常流量分类器,实现对攻击流量的准确检测。最后在NSL-KDD、UNSW-NB15、CICIDS2017数据集上的实验结果表明:与其他的机器学习、深度学习方法相比,本文所提方法的检测准确率最大提升了18.71%。同时,本文方法可以实现较高的精确率、召回率和检测效率,同时具有较低的误报率。在面对数据受到噪声破坏时,具有较强的检测鲁棒性。     

城市物流竞争力分析DAE-WMA优化算法

深入分析了城市物流竞争力的研究现状，结合深度学习相关理论，以深层自编码器（Deep Auto Encoder，DAE）标准模型与标准算法为基础，提出了基于Widrow函数的深层自编码器动量更新算法（DAE-WMA）。依据城市物流竞争力分析数据量特点，选取三种UCI数据集，对基于误差函数的标准算法（DAE-ESA）、基于交叉熵的标准算法（DAE-CSA）以及DAE-WMA的模式分类能力进行仿真，仿真结果表明后者的性能优于前两者。依据物流竞争实力与竞争潜力，基于层次分析法（Analytic Hierarchy Process，AHP）通过选取7个评估维度与19个评价指标构建城市物流竞争力指标体系，利用DAE-WMA方法与社会网络分析（Social Network Analysis，SNA）方法，对我国西北五省区13个主要城市的物流竞争力进行聚类分析与实证研究，仿真结果表明DAE-WMA方法相对于SNA方法，对核心节点城市的分类结果更加合理，更有利于对问题的分析。研究结果为确定新丝绸之路经济带沿线城市物流发展策略，促进国内物流业未来的协作与发展奠定了研究基础。     

生成对抗网络在数据异常检测中的研究

针对许多检测模型受到数据不平衡和异常数据的复杂性等因素影响问题,提出一种以生成对抗网络(gener-ative adversarial network,GAN)为基础的数据异常检测方法.该方法利用InfoGAN网络训练生成正常数据和异常数据,构造一个推理神经网络作为生成数据与原始数据的标签生成器,之后利用第二个GAN网...     

堆栈式混合自编码器的人脸表情识别方法

针对进一步提高人脸表情识别率的问题,采用了一种基于深度学习的堆栈式混合自编码器（Stacked Hybrid Auto-Encoder,SHAE）的人脸表情识别方法。该方法的结构是由去噪自编码器（Denoising Auto-Encoder,DAE）、稀疏自编码器（Sparse Auto-Encoder,SAE）以及自编码器（Auto-Encoder,AE）组合而成的5层网络结构。为了增加网络的鲁棒性以及泛化能力,采用去噪自编码器对样本进行提取特征,为了对提取的特征进行降维以及进一步提取更抽象的稀疏特征,采用稀疏自编码器进行级联,来对特征进一步处理。训练过程首先由无标签的数据进行预训练和整体微调,对整个结构的权重进行初始化和更新调整,然后使用有标签的数据进行测试训练。在JAFFE和CK+两个数据集上实验显示,相较于单纯的堆栈式去噪自编码或者单纯的堆栈式稀疏自编码,该方法具有更好的识别效果。     

基于Katz自动编码器的城市路网链路预测模型

城市交通道路网络（以下简称“路网”）是一种特殊的复杂网络,对路网进行链路预测在城市规划与城市结构演化方面有着重要的应用价值。针对路网的高度稀疏性、高度非线性特点,提出了一种基于Katz相似度自动编码器（Katz Auto Encoder Network Embedding,KAENE）的路网链路预测模型,它是一种基于自动编码器的深度学习网络嵌入模型,使用Katz相似度矩阵保存路网的结构特征,利用多层非线性自动编码器对路网进行网络表征学习,在模型训练阶段通过局部线性嵌入损失函数保存路网的局部特征,在此基础上引入L2范数来提高模型的泛化能力,最后结合路网的方向性特征提高路网的链路预测精确度。通过实验对比了KAENE模型与其他链路预测模型在国内外的不同城市路网数据上的表现以及不同嵌入维度对KAENE模型预测精度的影响,最后通过可视化了解了模型的网络表征学习过程。实验结果表明,KAENE在国内外6个具有代表性的路网数据集的链路预测任务中取得了良好的表现。     

基于ELM-LSSVM的网络流量预测

为了对网络流量进行准确预测,针对传统极限学习机的“过拟合”不足,提出一种极限学习机和最小二乘支持向量机相融合的网络流量预测模型（ELM-LSSVM）。该模型通过相空间重构获得网络流量的学习样本,引入最小二乘支持向量机对极限学习进行改进,并对网络流量训练集进行学习,采用仿真实验对模型性能进行测试。结果表明,ELM-LSSVM提高了网络流量的预测精度,实现了网络流量准确预测,并具有较强的实际应用价值。     

基于GAN-PSO-ELM的网络入侵检测方法

针对传统机器学习方法在处理非平衡的海量入侵数据时少数类检测率低的问题，提出一种融合生成式对抗网络（GAN）、粒子群算法（PSO）和极限学习机（ELM）的入侵检测（GAN-PSO-ELM）方法。对原始网络数据进行预处理，利用GAN并采用整体类扩充的方式对数据集进行少数类样本扩充。在扩充后的平衡数据集上，利用PSO算法优化ELM的输入权重与隐含层偏置，并建立入侵检测模型。在NSL-KDD数据集上进行仿真实验。实验结果表明，与SVM、ELM、PSO-ELM方法相比，GAN-PSO-ELM不仅具有较高的检测效率，而且在整体检测准确率上平均提高了3.74%，在少数类R2L和U2R上分别平均提高了28.13%和16.84%。     

基于深度自编码网络语音识别噪声鲁棒性研究

为了解决传统径向基（Radial basis function,RBF）神经网络在语音识别任务中基函数中心值和半径随机初始化的问题,从人脑对语音感知的分层处理机理出发,提出利用大量无标签数据初始化网络参数的无监督预训练方式代替传统随机初始化方法,使用深度自编码网络作为语音识别的声学模型,分析梅尔频率倒谱系数（Mel Frequency Cepstrum Coefficient,MFCC）和基于Gammatone听觉滤波器频率倒谱系数（Gammatone Frequency Cepstrum Coefficient,GFCC）下非特定人小词汇量孤立词的抗噪性能。实验结果表明,深度自编码网络在MFCC特征下较径向基神经网络表现出更优越的抗噪性能;而与经典的MFCC特征相比,GFCC特征在深度自编码网络下平均识别率相对提升1.87%。     

基于改进双重深度Q网络的入侵检测模型

入侵检测技术作为网络安全有效的防御手段,是网络安全体系中的重要组成部分。随着互联网的快速发展,网络数据量快速增加,网络攻击更加趋于复杂化和多元化,目前主流的入侵检测技术无法有效识别各种攻击。针对实际网络环境中正常流量和攻击流量数据不平衡,且对攻击类流量检测率低的问题,基于深度强化学习提出一种基于改进双重深度Q网络的CBL_DDQN网络入侵检测模型。该模型将一维卷积神经网络和双向长短期记忆网络的混合网络模型引入深度强化学习的DDQN框架,并使用深度强化学习中的反馈学习和策略生成机制训练智能体来对不同类别的攻击样本进行分类,在一定程度上减弱了训练模型过程中对数据标签的依赖性。采用Borderline-SMOTE算法降低数据的不平衡度,从而提高稀有攻击的检测率。通过NSL_KDD和UNSW_NB15数据集对模型的性能进行评估,结果表明：该模型在准确率、精确率、召回率这三项指标上均取得了良好的结果,检测效果远优于Adam-BNDNN、KNN、SVM等检测方法,是一种高效的网络入侵检测模型。