大尺度IP网络流量异常特征的多时间序列数据挖掘方法*

降低漏报率和误检率是网络流量异常检测的难点问题之一。本文提出了一种大规模通信网络流量异常特征分析的多时间序列数据挖掘方法,把多个网络流量特征参数构成的时间序列作为一个整体进行分析研究,进行多时间序列数据挖掘产生网络流量异常相关的有效关联规则,对整个通信网络的安全威胁进行准确地描述。Abilene网络数据验证了本文的方法。     

基于时间序列图挖掘的网络流量异常检测

网络流量异常检测要解决的核心问题之一是获得信息的全面性和流量信息描述的准确性.针对现有网络异常流量检测方法分析多时间序列的不足,提出了一种基于图挖掘的流量异常检测方法.该方法使用时间序列图准确、全面地描述用于流量异常检测的多时间序列的相互关系;通过对项集模式进行支持度计数,挖掘各种频繁项集模式,有利于对各种异常流量的有效检测;通过挖掘各项集之间的关系,引入了项集的权重系数,解决了流量异常检测的多时间序列相互关系的量化问题.仿真结果表明,该方法能有效地检测出网络流量异常,并且对DDos攻击的检测效果明显优于基于连续小波变换的检测方法.     

基于指数平滑技术的网络异常监测方法研究

网络流量异常指的是网络的流量行为偏离其正常行为的情形,异常流量的特点是发作突然,先兆特征未知,以在短时间内给网络或网络上的计算机带来极大的危害.因此准确、快速地检测网络流量的异常行为,并做出合理的响应是保证网络有效运行的前提之一.探索网络流量异常的一种方法--基于指数平滑技术的网络异常检测方法.基于时间序列的流量模型是网络异常监测的一种方式,指数平滑技术正是建立在时间序列模型基础之上的网络异常监测方法,对该监测技术进行了研究,分析了这一方法的特点及其存在的不足.     

基于NetFlow的网络监控系统研究与设计

针对网络运营商IP城域网网络流量的监控与预警问题,提出了一种基于NetFlow技术的网络流量分析与预警方案。此系统能够分析和监控网络流量,检测网络异常流量并提供告警,同时还能提供报表分析功能。     

基于网络流量小波分析的异常检测研究*

网络流量是局域网和广域网的重要特征之一,小波分析能将复杂的非线性网络流量时间序列分解成不同频率的子序列.基于小波分解的思想,利用网络流量的自相似特性来对网络的异常行为进行检测,给出了根据网络流量自相似特征参数的偏差来检测攻击的方法,对不同分辨率下Hurst参数的变化进行了比较分析.在DARPA上的测试结果表明,该方法不仅能够发现网络中存在的突发性流量攻击,还能够确定异常发生的位置.     

一种网络异常实时检测方法

传统的网络管理工具通常根据预先设定的阈值来报警，这种方法虽然简单，但适应性不好．因此出现了网络异常检测技术，有时异常检测技术不但能发现网络故障，而且具有预警的效果[1]；该文介绍了一种新的实时网络流量异常检测方法，转换网络流量观测值序列并假定序列的局部是平稳的，然后建立AR模型，定义一个统计量来检测异常．结果表明，该检测方法具有GLR测试方法所没有的优点．     

基于流量波动规律的校园网络异常发现算法及实现

网络异常与故障发现是校园网管理中一直没有很好解决的难题.通过对一个具体网络的长期监控发现,一个具体网络的流量呈规律性波动.提出了按照网络流量波动规律划分网络运行区间,通过历史数据获得区间流量阈值,然后通过比较网络流量与其区间域值,来发现网络异常与故障的方法.实际运行结果表明,该方法对一个具体的网络有较好的效果.     

基于流量模板检测网络异常流量

当前的网络异常流量检测技术侧重于采用机器学习和统计学方法,两者适用于通用网络环境。本文针对受控网络环境通信特征,提出了一种基于流量模板的网络异常流量检测方法,该方法实时抓取分析网络流量,提取网络流量头部特征和行为特征,基于网络八元组信息建立流量模板,通过匹配流量模板检测网络异常流量。实验结果表明该方法在受控网络环境下能准确检测出网络异常流量。     

基于流分解的异常检测算法*

通过研究网络异常检测,提出了一种基于流分解消除网络噪声的异常检测算法。该算法从高维、非平稳流量中分离出包含异常的随机部分,通过计算随机部分参数的边缘分布和残差,揭示了流量异常对随机部分参数的影响,并提出判断网络流量异常的参数标准。实验表明,由于不必将整个时间序列进行分片和单独拟合,算法可以直接处理非稳态流量数据,实现了真正意义上的网络异常检测功能。     

一种基于统计的网络流量异常检测方法

异常的网络环境往往可以通过观察网络流量的变化而提前发现,因此,如何实时准确地判定流量异常便成为网络异常检测中的重点。本文将自适应滤波理论引入网络流量异常检测,提出一种基于自适应AR模型的网络流量异常检测方法,该方法收敛快、精度高,能降低误报率,从而使异常检测更准确。     

基于信息熵的大规模网络流量异常分类

本文提出了基于信息熵的大规模网络流量异常分类方法。该方法综合运用子空间方法和k-means分类方法,并以校园网为实验环境实现了网络流量异常分类实验。实验结果表明,基于信息熵的大规模网络流量异常分类实现简单、计算量小,分类准确性高。     

基于信息熵的大规模网络流量异常检测

提出了基于信息熵的大规模网络流量异常检测方法。该方法吸收了子空间方法的思想，并结合了K-means分类方法。以校园网为实验环境，应用基于信息熵的方法实现了网络流量异常检测的全过程。通过实验结果与应用标准子空间方法对测量数据分析结果的对比，证明了基于信息熵的大规模网络流量异常检测有着更高的检测精度。     

基于迁移学习和D-S理论的网络异常检测

对于分布不同或分布相似的未知类型的网络攻击,目前的异常检测技术往往不能达到预期的效果。针对上述问题,研究了一种基于迁移技术和D-S证据理论的网络异常检测方法,首先用迁移学习方法对已知网络攻击进行建模,此模型在构建时考虑了不同分布的异常攻击间的差异,而后用其训练得到的分类器对未知的网络行为进行分析,结合D-S证据理论,可以检测出分布不一致的未知攻击类型。实验结果表明,所提方法泛化了传统的网络异常检测技术,对未知的网络异常有着较高的检测率。     

基于概要数据结构可溯源的异常检测方法

提出一种基于sketch概要数据结构的异常检测方法.该方法实时记录网络数据流信息到sketch数据结构,然后每隔一定周期进行异常检测.采用EWMA(exponentially weighted moving average)预测模型预测每一周期的预测值,计算观测值与预测值之间的差异sketch,然后基于差异sketch采用均值均方差模型建立网络流量变化参考.该方法能够检测DDoS、扫描等攻击行为,并能追溯异常的IP地址.通过模拟实验验证,该方法占用很少的计算和存储资源,能够检测骨干网络流量中的异常IP地址.     

基于iForest和LOF的流量异常检测

异常检测在现代大规模分布式系统的安全管理中起着重要作用,而网络流量异常检测则是组成异常检测系统的重要工具。网络流量异常检测的目的是找到和大多数流量数据不同的流量,并将这些离群点视为异常。由于现有的基于树分离的孤立森林（iForest）检测方法存在不能检测出局部异常的缺陷,为了克服这个缺陷,提出一种基于iForest和局部离群因子（LOF）近邻集成的无监督的流量异常检测方法。首先,改进原始的iForest与LOF算法,在提升检测精度的同时控制算法时间;然后分别使用两种改进算法进行检测,并将结果进行融合以得到最终的检测结果;最后在自制数据集上对所提方法进行有效性验证。实验结果表明,所提方法能够有效地隔离出异常,获得良好的流量异常检测效果。     

Detecting anomalies from high-dimensional wireless network data streams: a case study

In this paper, we study the problem of anomaly detection in wireless network streams. We have developed a new technique, called Stream Projected Outlier deTector (SPOT), to deal with the problem of anomaly detection from multi-dimensional or high-dimensional data streams. We conduct a detailed case study of SPOT in this paper by deploying it for anomaly detection from a real-life wireless network data stream. Since this wireless network data stream is unlabeled, a validating method is thus proposed to generate the ground-truth results in this case study for performance evaluation. Extensive experiments are conducted and the results demonstrate that SPOT is effective in detecting anomalies from wireless network data streams and outperforms existing anomaly detection methods.     

Finding anomalous periodic time series

Catalogs of periodic variable stars contain large numbers of periodic light-curves (photometric time series data from the astrophysics domain). Separating anomalous objects from well-known classes is an important step towards the discovery of new classes of astronomical objects. Most anomaly detection methods for time series data assume either a single continuous time series or a set of time series whose periods are aligned. Light-curve data precludes the use of these methods as the periods of any given pair of light-curves may be out of sync. One may use an existing anomaly detection method if, prior to similarity calculation, one performs the costly act of aligning two light-curves, an operation that scales poorly to massive data sets. This paper presents PCAD, an unsupervised anomaly detection method for large sets of unsynchronized periodic time-series data, that outputs a ranked list of both global and local anomalies. It calculates its anomaly score for each light-curve in relation to a set of centroids produced by a modified k-means clustering algorithm. Our method is able to scale to large data sets through the use of sampling. We validate our method on both light-curve data and other time series data sets. We demonstrate its effectiveness at finding known anomalies, and discuss the effect of sample size and number of centroids on our results. We compare our method to naive solutions and existing time series anomaly detection methods for unphased data, and show that PCAD’s reported anomalies are comparable to or better than all other methods. Finally, astrophysicists on our team have verified that PCAD finds true anomalies that might be indicative of novel astrophysical phenomena.     

基于IP监控和非高斯统计的网络异常流量检测

为保障网络和信息系统安全,需要对网络实施有效的监控,确保能及时检测出网络异常(蠕虫爆发、DDoS攻击等)等流量,进而为后续的动态量化风险评估、主动防御提供有力支持。为此,本文提出了一种基于IP监控和非高斯统计的网络异常流量检测方法(IPM-NGSD)。该方法包括两个关键部分:常用IP地址库FIPD和非高斯统计建模。前者,通过利用Bloomfilter技术和FIPD,将网络流量快速分流为常见和非常见IP网络流量:S0和S1;后者,在不同聚合层次上,提取S0和S1的非高斯边缘分布的轮廓值Porfile0和Porfile1,并通过计算Porfile0和Porfile1之间的统计距离,来检测是否存在异常。通过理论分析和两组统计实验验证了该方法的有效性:在缺少有关目标流量先验知识的前提下,该方法能快速、准确地发现短期突发攻击流量和长期低密度攻击流量。     

Diagnosing Traffic Anomalies Using a Two-Phase Model

Network traffic anomalies are unusual changes in a network,so diagnosing anomalies is important for network management.Feature-based anomaly detection models (ab)normal network traffic behavior by analyzing packet header features.PCA-subspace method (Principal Component Analysis) has been verified as an efficient feature-based way in network-wide anomaly detection.Despite the powerful ability of PCA-subspace method for network-wide traffic detection,it cannot be effectively used for detection on a single link.In this paper,different from most works focusing on detection on flow-level traffic,based on observations of six traffic features for packet-level traffic,we propose a new approach B6SVM to detect anomalies for packet-level traffic on a single link.The basic idea of B6-SVM is to diagnose anomalies in a multi-dimensional view of traffic features using Support Vector Machine (SVM).Through two-phase classification,B6-SVM can detect anomalies with high detection rate and low false alarm rate.The test results demonstrate the effectiveness and potential of our technique in diagnosing anomalies.Further,compared to previous feature-based anomaly detection approaches,B6-SVM provides a framework to automatically identify possible anomalous types.The framework of B6-SVM is generic and therefore,we expect the derived insights will be helpful for similar future research efforts.     

网络流量异常检测及分析的研究

网络流量异常检测及分析是网络异常监视及响应应用的基础,是网络及安全管理领域的重要研究内容.本文探讨了网络流量数据类型、网络流量异常种类;从流量异常检测的范围、流量异常分析的深度、在线和离线异常检测方式等方面归纳了流量异常检测的研究内容;综述了已有的研究工作针对不同应用环境和研究内容所采用的不同的研究方法和技术手段,并分析了各种研究方法的特点、局限性和适用场合等;最后本文还对现有研究工作存在的问题及有待于进一步研究的课题进行了探讨.