基于变分自编码器的不平衡样本异常流量检测

随着机器学习技术的快速发展,越来越多的机器学习算法被用于攻击流量的检测与分析,然而攻击流量往往只占网络流量中极小的一部分,在训练机器学习模型时存在训练集正负样本不平衡的问题,从而影响模型训练效果.针对不平衡样本问题,文中提出了一种基于变分自编码器的不平衡样本生成方法,其核心思想是在对少数样本进行扩充时,不是对全部进行扩...     

属性网络中基于变分图自编码器的异常节点检测方法

图神经网络为属性网络数据挖掘提供融合利用结构信息和属性信息的方法,但是在现阶段基于图自动编码器进行无监督属性网络异常节点检测时,常将正常节点子属性插值形成的节点误识别为异常节点,导致方法的假负率较高.针对上述问题,文中提出基于变分图自编码器的异常节点检测方法.模型包含两个编码器和一个解码器,利用一个编码器和一个解码器构...     

基于机器学习的工业控制网络异常检测方法

针对工业控制网络中常用的Modbus协议,提出了一种工业控制网络的异常检测方法。使用n-gram(n=0. 5,1,1. 5,2,2. 5)算法从Modbus正常报文帧的有效载荷中进行特征提取,确定出5组特征向量,并结合单类支持向量机(OCSVM)算法训练出5个初级学习器,对5个同质的初级学习器采用学习法进行集成,最终得出次级学习器,利用上述两层模型,即可完成异常识别。在气体管道网络原始数据集中进行试验,最终误报率为8%,漏报率为6%。     

基于端口注意力与通道空间注意力的网络异常流量检测

网络异常流量检测是网络安全保护重要组成部分之一。目前,基于深度学习的异常流量检测方法都是将端口号属性与其他流量属性同等对待,忽略了端口号的重要性。为了提高异常流量检测性能,借鉴注意力思想,提出一个卷积神经网络（CNN）结合端口注意力模块（PAM）和通道空间注意力模块（CBAM）的网络异常流量检测模型。首先,将原始网络流量作为PAM的输入,分离得到端口号属性送入全连接层,得到学习后的端口注意力权重值,并与其他流量属性点乘,输出端口注意力后的流量数据;其次,将流量数据转换成灰度图,利用CNN和CBAM更充分地提取特征图在通道和空间上的信息;最后,使用焦点损失函数解决数据不平衡的问题。所提PAM具有参数量少、即插即用和普遍适用的优点。在CICIDS2017数据集上,所提模型的异常流量检测二分类任务准确率为99.18%,多分类任务准确率为99.07%,对只有少数训练样本的类别也有较高的识别率。     

基于LSTM-VAE的电梯异常检测

为保障电梯的正常运行,传统的定期维保方式浪费了大量的人力物力,目前业界对于电梯的按需维保有迫切的需求。按需维保的核心技术是异常状态检测,为了有效解决电梯状态的时序数据异常检测问题,提出了LSTM (Long Short-Term Memory Networks,长短期记忆网络)与VAE(Variational Auto-Encoder,变分自编码器)结合的模型LSTM-VAE。基于电梯门机开合与垂梯升降的加速度时序数据,使用长短期记忆网络对加速度数据进行编码并提取加速度数据的时序特征,再通过变分自编码器重构模型,用重构的加速度数据与输入数据计算重构误差,找出异常数据的阈值。通过采集的真实垂梯和门机的加速度数据,实验发现LSTM-VAE在检测率上要优于LSTM和VAE方法。     

面向多维数据的异常点检测模型设计

为了在大数据环境下快速、精准地挖掘异常点,保障网络安全,提出了一种面向多维数据的异常点检测模型设计方案。该方案利用长短期记忆网络(LSTM)存储任意时间段的多维数据,并使用图卷积网络提取完整数据结构,同时加入惩罚参数和均方误差来缩小异常点出现范围。此外,还利用编码器和解码器构建变分自编码器函数模型,使其能够解读正常数据子特征,并通过编码重建损失函数来计算数据异常度量,从而实现异常点检测。经过实验验证,该方法表现出较高的检测正确率和运行效率,具有极高的应用价值。     

基于改进自编码模型的工业时序数据异常检测

针对传统异常检测模型在处理工业多维时序数据时特征提取不充分、抗干扰能力弱等问题,提出一种改进的自编码模型,有效结合了门控循环网络的时序信息记忆能力和收缩自编码器的鲁棒特征提取能力,能够同时捕获不同特征变量之间的非线性相关性和单个变量自身的时序相关性。采取半监督学习异常检测方法,使用正常数据训练模型收敛,并根据待检测数据输入模型后计算出的异常得分来判定异常样本。基于真实的工业传感器数据进行实验后的结果表明,该方法有效提高了异常检测的准确度和可靠性。     

基于自编码器的网络异常检测研究综述

网络入侵检测技术是指对危害计算机系统安全的行为进行检测的方法,它是计算机网络安全领域中的必不可少的防御机制。目前,基于有监督学习的网络异常入侵检测技术具有较高的效率和准确率,该类方法获得了广泛关注,取得了大量的研究成果。但是这类方法需要借助大量标注样本进行模型训练。为减少对标注样本依赖,基于无监督学习或半监督学习的网络入侵检测技术被提出,并逐渐成为该领域的研究热点。其中,基于自编码器的网络异常检测技术是这方面技术的典型代表。该文首先介绍了各类自编码器的基本原理、模型结构、损失函数和训练方法。然后在此基础上将其分为基于阈值和基于分类的方法。其中,基于阈值的方法用又可分为基于重构误差和基于重构概率两类。合适的阈值对异常检测技术的成败至关重要,该文介绍了三种阈值的计算方法。接着对比分析了多个代表性研究工作的方法、性能及创新点,最后对该研究中存在的问题做了介绍,并对未来的研究方向做了展望。     

基于改进自编码网络的轴承振动异常检测

近年来,自编码器和神经网络技术已被广泛研究并应用于轴承振动等工业数据的异常检测问题上,但仍存在着训练数据量大、网络参数初始化、训练效率较低、异常检测效果较差等问题。为解决上述问题,提出了一种结合马氏距离和自编码网络的异常检测方法。利用轴承振动数据特征之间具有一定相关性的特点,通过数据的马氏距离快速检测出部分异常数据,减少了自编码网络的训练数据量;用自编码器结合分类器构建自编码网络,解决了网络参数初始化问题并且显著提高了训练效率;将数据的马氏距离作为特征加入训练中提升了自编码网络的异常检测效果;在自编码器中加入稀疏性限制并构造先升维再编码的结构,增强了自编码器的特征学习能力和收敛性。实验结果表明,针对低维轴承振动数据,提出的方法较其他异常检测方法具有较好的检测效果且具有一定的稳定性和泛化能力。     

基于独立循环神经网络与变分自编码网络的视频帧异常检测

为了有效提取连续视频帧间的时间信息,提出一种融合独立循环神经网络（IndRNN）与变分自编码（VAE）网络的预测网络IndRNN-VAE。首先,利用VAE网络提取视频帧的空间信息,并通过线性变换得到视频帧的潜在特征;然后,将潜在特征作为IndRNN的输入以得到视频帧序列的时间信息;最后,通过残差块将获得的潜在变量与时间信息进行融合并输入到解码网络中来生成预测帧。通过在UCSD Ped1、UCSD Ped2、Avenue公开数据集上进行测试,实验结果表明,与现有的异常检测方法相比,基于IndRNN-VAE的方法性能得到了显著提升,曲线下面积（AUC）值分别达到了84.3%、96.2%和86.6%,错误率（EER）值分别达到了22.7%、8.8%和19.0%,平均异常得分的差值分别达到了0.263、0.497和0.293,且运行速度达到了每秒28帧。     

基于模糊相对熵的网络异常流量检测方法研究

基于模糊相对熵的网络异常流量检测方法可以在缺乏历史流量数据的情况下,通过对网络流量特征进行假设检验,实现对网络异常行为的检测发现。通过搭建模拟实验环境,设计测试用例对基于模糊相对熵的网络异常流量检测方法进行多测度测试验证,结果表明该方法在设定合理模糊相对熵阈值的情况下检测率可达84.36%,具有良好的检测效率。     

基于逆向习得推理的网络异常行为检测模型

针对网络异常行为检测中因数据不平衡而导致召回率低的问题，提出一种基于逆向习得推理（ALI）的网络异常行为检测模型。首先，去除数据集中用离散数据表示的特征项，并对处理后的数据集进行归一化以提高模型的收敛速度与精度；然后，提出改进的ALI模型，通过ALI训练算法用仅由正样本所构成的数据对其进行训练，并利用已训练完成的改进ALI模型处理检测数据以生成处理后的检测数据集；最后，依据异常检测函数计算检测数据与处理后的检测数据之间的距离来判断数据是否异常。与单类支持向量机（OC-SVM）、深层结构能量模型（DSEBM）、深度自编码高斯混合模型（DAGMM）和生成对抗网络异常检测模型（AnoGAN）的对比实验结果表明，所提模型的准确率提升了5.8~17.4个百分点，召回率提升了1.4~31.4个百分点，F₁值提升了14.18~19.7个百分点。可知所提出的基于逆向习得推理的网络异常行为检测模型在数据不平衡时仍具有较高的召回率和检测精度。     

基于双自编码器和Transformer网络的异常检测方法

基于自编码器（AE）的异常检测方法利用重构误差判断待测样本是正常数据还是异常数据。然而,上述方法在正常数据与异常数据上产生的重构误差非常接近,导致部分异常数据很容易被错分为正常数据。为解决上述问题,提出一种由两个并行的AE和一个Transformer网络组成的异常检测方法——DATN-ND。首先,Transformer网络利用输入样本的瓶颈特征生成伪异常数据的瓶颈特征,从而在训练集中增加异常数据信息;其次,双AE将带有异常数据信息的瓶颈特征尽可能地重构为正常数据,增加异常数据与正常数据的重构误差差别。与记忆增强自编码器（MemAE）相比,DATN-ND在MNIST、Fashion-MNIST、CIFAR-10数据集上ROC曲线下面积（AUC）分别提升6.8、12.0和2.5个百分点。实验结果表明,DATN-ND能够有效扩大正常数据和异常数据在重构误差上的差别。     

工控系统现场控制网络异常检测技术浅析

自2010年"震网"事件以来,工业控制系统网络安全逐渐成为一个重要议题,而入侵检测技术因其较强的适用性,在工业界和学术界都得到了广泛研究。现场控制网络异常检测是该领域近年来最为前沿的研究方向之一,可以按照检测目标分为两类,分别是基于过程变量的异常检测和基于通信行为的异常检测。随后对这两个方向最新的研究成果进行总结探讨,比较两种方法的特点和优势并做出展望。     

基于大数据的网络信息数据流量异常检测方法

网络结构日益复杂,网络故障出现的频率也逐渐增多,对网络管理带来了挑战。在网络管理中,最重要的任务是通过对网络信息数据流量异常情况进行检测,提前进行处置,将故障率降低到最低。对此,笔者提出基于大数据的网络信息数据流量异常检测方法。通过对比实验证明,该方法具有更高的准确率,且检测性能良好,能够满足目前大数据环境下对网络信息数据流量异常的检测要求。     

一种面向电商网络的异常用户检测方法

在电商网络中,异常用户往往表现出与正常用户截然不同的行为特征,检测异常用户并分析其行为模式对维护电商平台秩序具有十分重要的现实意义。通过分析异常用户的行为模式,将电商网络抽象为异质信息网络并转化为用户-设备二分图,然后在此基础上提出了一种面向电商网络的异常用户检测方法——自监督异常检测模型(Self-Supervised Anomaly Detection Model, S-SADM)。该方法具有自监督学习机制,采用自编码器编码获取用户节点表示,通过优化联合目标函数来完成反向传播,同时采用支持向量数据描述对用户节点表示进行异常检测。经过网络的自动迭代优化,不仅使用户节点表示具有监督信息,还获得了较稳定的检测结果。最后,在真实网络数据集和半合成网络数据集中对S-SADM进行实验,结果表明了该方法的有效性和优越性。     

基于NetFlow的网络异常流量检测

NetFlow可以提供网络中IP流的信息。这些流的信息有多种用途，包括网管、网络规划、ISP计费等。在网络安全领域，NetFlow提供的IP流信息可以用来分析网络中的异常流量，这是对现有的基于特征的NIDS的很好的补充。本文介绍了Net—Flow—based Anomaly Traffic Analyzer，一个基于NetFlow的网络异常流量检测系统，并通过一些实验证明了该系统的有效性。     

基于GAN-Cross的工控系统类不平衡数据异常检测

工业控制系统异常检测存在类不平衡问题,导致通用分类器很难实现异常数据的精准识别。目前,针对类不平衡数据,常用采样方法实现各类数据的平衡,以提高分类器性能。但传统采样方法对数据集特征敏感,采样效果稳定性差,异常检测精度波动大。文章基于生成式对抗网络（Generative Adversarial Network,GAN）,提出一种GAN-Cross采样模型,该模型可以学习目标数据的概率分布,并生成相似概率分布的数据,从而改善数据的平衡性。同时,文章在生成器和判别器中增加了交叉层,从而更好地实现特征提取。最后文章将该模型与随机森林、K-近邻、高斯朴素贝叶斯和支持向量机4种经典分类器进行组合,在4个公开类不平衡数据集上与其他4种常规采样方法进行比较。实验结果表明,与传统采样方法相比,该模型能够显著提高分类器对类不平衡数据的异常检测能力。     

基于CAE-OC-SVM的旋转电机异常检测

针对旋转电机异常检测问题,提出了一种基于卷积自编码器（Convolutional Autoencoder,CAE）和单分类支持向量机（One Class SVM,OC-SVM）的异常检测方法。首先使用旋转电机正常运行时的电流数据进行无监督的CAE训练,自适应地提取特征;然后使用该特征训练OC-SVM;最后结合二者对新的样本进行异常检测。实验结果表明,对比基于时域特征结合OC-SVM和基于CAE特征结合K-means聚类的异常检测算法,所提方法的误检率和漏检率均有降低,最少降低了43%,最多降低了74%,证明了所提方法的有效性。     

高斯混合生成模型检测健康数据异常

在智能穿戴设备普及的背景下,运动手环为全面地了解人们的身体状况提供了丰富的信息源,但是其提供的多维活动数据存在未知的异常值,因此需要进行异常值的检测.由于"维度灾难",通过传统的方法进行密度估计十分困难,导致检测效果不佳.针对该问题,使用了一种高斯混合生成模型(GMGM)健康数据检测方法.首先,该模型利用变分自编码器(...