时间序列不确定数据流中异常数据检测方法

结合小波分析和不确定聚类方法的优点,提出一种基时间序列不确定数据流的异常数据检测方法,该方法主要考虑数据流中元组的不确定性,同时平衡检测的计算代价与检测精度。仿真实验证明,该检测方法能够良好地适应数据流的不确定性。在一定条件下可获得相当好的检测效果。     

基于SDN的虚拟化网络流量异常检测系统

由于SDN虚拟网络产生的所有流量都在物理主机的内部而没有经过物理主机的网卡,所以传统的网络安全防护设备无法检测到SDN虚拟网络的异常情况。本设计通过Hurst R/S分析法对SDN虚拟网络中各节点产生的流量进行分析,从而判断该虚拟化网络的异常情况。首先在Mininet中搭建SDN网络拓扑,并与远程Floodlight控制器相连,然后对该网络中的节点进行配置,使它们都能与外网通信;接着让这些节点访问互联网,使该网络中产生真实的数据;然后用Wireshark来抓取Open Flow数据包,并调用编写的程序从这些数据包中提取出count值;最后利用Hurst R/S分析法对count值进行分析,求出Hurst值,再根据Hurst值的取值范围得出在统计时间段内该网络的安全情况。     

基于深度特征学习的网络流量异常检测方法

针对网络流量异常检测过程中提取的流量特征准确性低、鲁棒性差导致流量攻击检测率低、误报率高等问题,该文结合堆叠降噪自编码器(SDA)和softmax,提出一种基于深度特征学习的网络流量异常检测方法。首先基于粒子群优化算法设计SDA结构两阶段寻优算法：根据流量检测准确率依次对隐藏层层数及每层节点数进行寻优,确定搜索空间中的最优SDA结构,从而提高SDA提取特征的准确性。然后采用小批量梯度下降算法对优化的SDA进行训练,通过最小化含噪数据重构向量与原始输入向量间的差异,提取具有较强鲁棒性的流量特征。最后基于提取的流量特征对softmax进行训练构建异常检测分类器,从而实现对流量攻击的高性能检测。实验结果表明：该文所提方法可根据实验数据及其分类任务动态调整SDA结构,提取的流量特征具有更高的准确性和鲁棒性,流量攻击检测率高、误报率低。

     

基于数据挖掘的异常网络流量分析与检测研究

异常网络流量是指会对正常的网络应用造成不良影响的流量模式,早期网络规模小,数据量小,网络管理员就可分析出网络中的异常流量。随着网络规模的不断扩大,必须应用自动化、智能化技术处理网络异常流量,才能满足网络用户对网络应用安全的需求,在这种背景下出现了异常网络流量检测技术。文章提出一种基于数据挖掘技术的异常网络流量检测系统,给出系统的主要组成模块及主要设计流程,详细说明了数据挖掘模块,通过神经网络技术的应用提高了异常网络流量检测的效率及效果。     

基于时间序列分析的网络流量预测模型研究

通过对网络流量数据作为时间序列进行小波变换建模,应用于未来时间的网络流量数据预测.首先对流量数据序列进行多尺度分解,对分解到不同尺度上的数据分别利用不同的时间序列模型进行分析,然后进行预测数据的折衷处理,得到网络流量多尺度预测模型.仿真结果表明与单一应用RBF神经网络的时间序列预测模型相比,该模型预测效果良好,具有较高的预测精度和很好的模型适应性.     

基于PGM-NMF的网络流量异常检测研究

通过对网络流量数据进行采样,小波空间变化过滤噪声,构建了基于信息熵的网络流量矩阵,使用PGM-NMF算法对网络流量矩阵进行分解,构建的基于非负子空间方法的残余矩阵,应用Q 图实现网络流量的异常检测。理论分析及实验结果表明,与PCA方法相比,PGM-NMF算法在网络流量的异常检测中具有较好检测性能。     

基于大数据挖掘的网络流量异常检测算法

当前检测网络中存在的异常流量是防止异常流量攻击网络的有效策略之一。本文首先建立了网络流量稳态模型,挖掘并剔除了了网络流量中存在的坏数据。然后通过S变换及其逆变换重构网络流量数据,提高了检测精度。最后,提取网络流量特征,在此基础上完成了网络流量异常检测。实验结果表明,所提方法可适用于不同类型网络流量的异常检测,具有良好的检测性能。     

基于神经网络的异常检测

本文针对流量异常,提出了一种使用神经网络的检测方法。在仔细分析网络流量异常的基础上,提取流量特征数据,经预处理后供优化的BP神经网络分析,可准确检测出流量异常。测试结果表明,该模型对流量异常的检测有较高的准确性。     

大数据环境下的网络流量异常检测研究

针对传统模型的网络流量异常检测正确率低,检测时间长的难题,设计了一种大数据环境下的网络流量异常检测模型。首先,对网络流量异常检测的研究现状进行分析,找到引起当前检测模型不足的原因;然后,采用HDOOP平台设计基于最小二乘支持向量机的网络流量异常检测模型;最后,在Maltab 2014平台下进行网络流量异常检测实验。实验结果表明,该模型可以准确对网络流量异常现象进行检测,获得了比其他模型更优的网络流量异常检测结果,具有更高的实际应用价值。     

基于随机分形与马尔可夫模型的网络流量异常检测方法

随着网络带宽的增加,加密技术的应用和IPv6设备的普及,基于网络数据包和网络协议分析的入侵检测技术不可避免的存在漏检率高且系统资源消耗大的问题.文章分析网络流量所具有随机性、自相似性和平稳性的特征,运用自相似性的随机分形和简化的马尔可夫模型的原理,提出了一种新的基于网络流量的异常检测方法.实验证明该方法能从宏观和微观上发现网络流量的异常情况,有效地提高异常检测率,并降低系统资源消耗.     

Network traffic prediction based on a new time series model

Fast and accurate methods for predicting traffic properties and trend are essential for dynamic network resource management and congestion control. With the aim of performing online and feasible prediction of network traffic, this paper proposes a novel time series model, named adaptive autoregressive (AAR). This model is built upon an adaptive memory‐shortening technique and an adaptive‐order selection method originally developed by this study. Compared to the conventional one‐step ahead prediction using traditional Box–Jenkins time series models (e.g. AR, MA, ARMA, ARIMA and ARFIMA), performance results obtained from actual Internet traffic traces have demonstrated that the proposed AAR model is able to support online prediction of dynamic network traffic with reasonable accuracy and relatively low computation complexity. Copyright © 2005 John Wiley & Sons, Ltd.     

GAD:topology-aware time series anomaly detection

To solve the problems of anomaly detection,intelligent operation,root cause analysis of node equipment in the network,a graph-based gated convolutional codec anomaly detection model was proposed for time series data such as link delay,network throughput,and device memory usage.Considering the real-time requirements of network scenarios and the impact of network topology connections on time series data,the time dimension features of time series were extracted in parallel based on gated convolution and the spatial dependencies were mined through graph convolution.After the encoder composed of the spatio-temporal feature extraction module encoded the original input time series data,the decoder composed of the convolution module was used to reconstruct the time series data.The residuals between the original data and the reconstructed data were further used to calculate the anomaly score and detect anomalies.Experiments on public data and simulation platforms show that the proposed model has higher recognition accuracy than the current time series anomaly detection benchmark algorithm.     

基于机器学习的网络异常流量检测方法

研究一种基于机器学习的网络异常流量检测方法。使用改进型ANFIS算法作为建立的网络异常流量检测方法的核心算法。由于传统的神经网络算法使用的梯度下降算法在实际应用时,存在易陷入局部极小值,训练效率低下等问题,因此研究的改进型ANFIS算法使用附加动量算法修正模型参数,使系统能够越过误差曲面的局部最小值。最后使用KDD CUP99数据库以及LBNL实验室测试的数据对改进型ANFIS算法和BP神经网络算法的检测方法进行性能测试。结果表明,使用改进型ANFIS算法检测系统的训练效率以及检测准确率均优于使用BP神经网络算法建立的模型。     

基于时间序列分析的微博突发话题检测方法

针对微博信息噪音大、新颖度难以判断的问题,在动量模型的基础上进行优化,提出了基于时序分析的微博突发话题检测方法。通过动量模型提取候选突发特征后,对特征的动量时间序列分别借鉴信号频域分析理论和股票趋势分析理论进行建模,分析特征的频域特性来识别频繁伪突发特征,分析特征的新颖程度来识别间歇性伪突发特征,合并过滤后的有效突发特征形成突发话题。微博数据实验表明,该方法有效提高了突发话题检测的准确率和F值。     

一种基于流量聚类性和切分性的改进异常检测模型

针对链路层异常检测中,由固定反馈时间点而导致的计算量积压以及大量无意义的采样流量数据等现象,提出了一种基于流量特征值的改进异常检测模型,重点探讨如何通过反馈计算机制实现周期内计算任务的合理优化和缩减采样数据。一方面,在对流持续时间的聚类性进行了深入分析并给出其可能聚类的最优簇基础上,将统一的反馈时间分散到各个聚类时间点;另一方面,基于流时序的可切分性对流量数据进行周期划分,并设计拟合函数对周期内流量特征进行量化表达。在此基础上,设计了改进反馈机制和异常检测算法流程。仿真实验表明,所提出的模型和算法不仅通过优化反馈计算时间提高了检测精度,而且通过降低采样数据冗余提高了检测效率。     

基于入侵特征选择的网络异常数据检测模型

为了提高网络运动可靠性和安全性,针对传统的防火墙检测方法对网络异常数据检测准确性不高的问题,提出一种基于入侵特征选择的网络异常数据检测模型。对网络传输信道中的数据采用关联维求解方法进行特征挖掘提取,并对提取的关联维信息特征进行优选实现入侵信息识别和分类,结合模糊C均值聚类算法实现对网络异常数据的有效挖掘和检测。仿真结果表明,该检测模型能提高对网络异常数据和入侵信息的有效识别和检测能力。     

基于混合PSO小波网络的网络异常检测

提出一种用新型的进化学习算法训练的小波神经网络(WNN).这种新型的进化学习算法是基于粒子群算法(PSO)和共轭下降法(CG)提出的.以往,将粒子群算法用于神经网络的训练一般是可行的.因为粒子群算法相比于其他的优化算法,具有相对简单的结构和快速的收敛速度,然而,由于粒子的搜索坍塌速度过快而导致粒子停滞这种潜在的危险.粒子的持续停滞使搜索结果很难达到全局最优,甚至会陷入局部最优.为了克服粒子群算法缺点提出了改进的混合算法.通过对KDD 99数据集的实验表明,利用新型混合算法训练的小波神经网络对于异常检测具有很高的异常检测率并且又较低的误判率.可见,该方法对于网络异常检测是有效的.     

基于TCM-KNN和遗传算法的网络异常检测技术

提出了一种基于TCM．KNN的网络异常检测新方法，并采用遗传算法选择使用少量高质量的训练样本进行建模，从而有效地对入侵进行检测。大量基于著名的KDD Cup 1999数据集的实验表明：其相对于传统的异常检测方法在保证较高检测率的前提下，有效地降低了误报率；并且，在采用选择后的训练集优化处理后，其性能没有明显的削减，因而相对于传统方法更为适用于现实的网络应用环境。     

基于IPFIX的网络流量日志系统

针对高速网络海量数据采集、存储和管理问题,分析了传统IPFIX流量日志系统在高速网络中的性能问题,提出了基于IPFIX协议的用户网络流量日志系统体系结构的优化设计,改进了数据聚类和存储算法,包括二元归并方式采集数据以及多层结构的散列算法存储数据。经校园网部署应用证明,可提供万兆链路下用户网络日志详单及准确上网流量计量值。     

基于多尺度低秩模型的网络异常流量检测方法

现有刻画流量异常检测所需的流特征集通常是高维的,增加了检测和分类的复杂度。通过研究发现网络中异常通常是稀疏性分布的,单个异常仅仅表现在低维流特征中。基于这一现象提出了一种异常流量检测模型—多尺度低秩(MRLR,multi-resolution low rank)模型,该模型能够动态筛选出"合适的"特征集并准确分类异常。基于人工标记的实际网络流量异常和注入异常的数据集验证结果表明:MRLR对特征集的缩减率可达10%以下;并且基于MRLR的分类算法复杂度为O(n)。