基于熵的网络异常流量检测研究综述

网络流量异常检测及分析作为一种重要的网络监管控制手段,是网络及安全管理领域的重要研究内容.本文探讨了网络异常流量的种类,简述了基于传统的异常检测方法在网络异常流量检测中的应用以及存在的问题.针对基于信息熵、相对熵、活跃熵等熵值理论在网络异常流量检测中的研究,阐述了基于熵值理论的异常检测在国内外的研究进展情况.总结了当前基于熵值理论的异常检测研究工作中存在的问题及改进方向.     

一种基于相关性的分布式异常检测算法

提出了一种传感器网络异常检测算法,与传统的基于相邻节点数据对比的检测算法不同,该算法首先在节点内分析数据的时间相关性,仅在发生异常时,上传至簇头节点,分析空间相关性;对于不确定的异常数据,在相邻分簇内,计算数据的相关性.还给出了采用直方图计算均值和分析相关性的方法.实验表明,该算法减少了通信量,提高了异常检测的准确率.     

基于多维聚类挖掘的异常检测方法研究

网络异常检测是网络管理中非常重要的课题,因此已在近年来得到广泛研究.人们在该领域提出了许多先进的网络流量异常检测方法,但是自动准确地对网络流量进行分类和识别来发现网络中的异常流量仍然是一个非常具有挑战性的问题.文中提出了一种基于多维聚类挖掘的异常检测方法,通过两个阶段来实现异常检测.第一阶段先通过多维聚类挖掘算法,自动对网络中的流量进行多维聚类,第二阶段通过计算多维聚类的异常度来实现异常检测.通过文中的方法,网络中的异常流量被自动归类到不同的有意义的聚类中,通过对这些聚类进行分析可以发现网络中的异常行为.最后通过实验对算法进行了验证,结果表明该方法能够有效检测网络中的异常流量.     

基于时间序列图挖掘的网络流量异常检测

网络流量异常检测要解决的核心问题之一是获得信息的全面性和流量信息描述的准确性.针对现有网络异常流量检测方法分析多时间序列的不足,提出了一种基于图挖掘的流量异常检测方法.该方法使用时间序列图准确、全面地描述用于流量异常检测的多时间序列的相互关系;通过对项集模式进行支持度计数,挖掘各种频繁项集模式,有利于对各种异常流量的有效检测;通过挖掘各项集之间的关系,引入了项集的权重系数,解决了流量异常检测的多时间序列相互关系的量化问题.仿真结果表明,该方法能有效地检测出网络流量异常,并且对DDos攻击的检测效果明显优于基于连续小波变换的检测方法.     

环境重现的非稳态流量异常检测系统设计

网络入侵检测中的流量异常检测方法存在着虚警率较高的问题，为此提出了结合环境重现的非稳态流量异常检测系统。该系统采取了基于发生新事件的先验概率和趋势来评估异常的思想，建立非稳态正常模型，采用环境重现进行进一步数据挖掘，最后给出了综合系统的原型设计。     

网络流量异常检测及分析的研究

网络流量异常检测及分析是网络异常监视及响应应用的基础,是网络及安全管理领域的重要研究内容.本文探讨了网络流量数据类型、网络流量异常种类;从流量异常检测的范围、流量异常分析的深度、在线和离线异常检测方式等方面归纳了流量异常检测的研究内容;综述了已有的研究工作针对不同应用环境和研究内容所采用的不同的研究方法和技术手段,并分析了各种研究方法的特点、局限性和适用场合等;最后本文还对现有研究工作存在的问题及有待于进一步研究的课题进行了探讨.     

基于多尺度主成分分析的全网络异常检测方法

网络异常检测对于保证网络的可靠运行具有重要意义,而现有的异常检测方法仅仅单独利用流量的时间相关性或空间相关性.针对这一不足,同时考虑流量矩阵的时空相关性,提出了一种基于MSPCA的全网络异常检测方法.该方法综合利用小波变换具有的多尺度建模能力和PCA具有的降维能力对正常流量进行建模,然后采用Shewart控制图和EWMA控制图分析残余流量.此外,还利用滑动窗口机制对MSPCA异常检测方法进行在线扩展,提出了一种在线的MSPCA异常检测方法.因特网实测数据分析和模拟实验分析表明:MSPCA算法的检测性能优于PCA算法和近期提出的KLE算法;在线MSPCA算法的检测性能非常接近MSPCA算法,且单步执行时间很短,完全满足实时检测的需要.     

基于大数据的网络信息数据流量异常检测方法

网络结构日益复杂,网络故障出现的频率也逐渐增多,对网络管理带来了挑战。在网络管理中,最重要的任务是通过对网络信息数据流量异常情况进行检测,提前进行处置,将故障率降低到最低。对此,笔者提出基于大数据的网络信息数据流量异常检测方法。通过对比实验证明,该方法具有更高的准确率,且检测性能良好,能够满足目前大数据环境下对网络信息数据流量异常的检测要求。     

基于改进聚类分析的网络流量异常检测方法

针对传统基于聚类分析的网络流量异常检测方法准确性较低的问题,提出了一种基于改进 k-means聚类的流量异常检测方法。通过对各类流量特征数据的预处理,使k-means算法能适用于枚举型数据检测,进而给出一种基于数值分布分析法的高维数据特征筛选方法,有效解决了维数过高导致的距离失效问题,并运用二分法优化K个聚簇的划分,减少了初始聚类中心选择对k-means算法结果的影响,进一步提高了算法的检测率。最后通过仿真实验验证了所提出算法的有效性。     

基于分布式用户数据流的网络安全审计系统的研究

本文提出了基于分布式用户数据流的网络安全审计系统的总体框架,介绍了两种异常流量检测方法,并给出了检测异常流量的各项指标。基于异常流量的检测指标,根据中心极限定理,使用采样统计方法刻画出正常网络的基线。参照该基线和对蠕虫特征进行匹配检测出异常流量,并进行预警。     

高速网络监控中大流量对象的提取

在高速网络环境下,由于受计算及存储资源的限制,及时、准确地提取大流量对象对于检测大规模网络安全事件具有重要意义.结合LRU淘汰机制和LEAST淘汰机制,建立了基于二级淘汰机制的网络大流量对象提取算法(LRU&LEAST replacement,简称LLR),两种淘汰机制相互弥补不足,较大地提高了算法的准确性.由于算法占用存储空间较少,从而可以在有限的SRAM空间中更快地处理流量信息.该算法在网络数据量增加的情况下不必增加存储空间,具有很好的可扩展性.     

Diagnosing Traffic Anomalies Using a Two-Phase Model

Network traffic anomalies are unusual changes in a network,so diagnosing anomalies is important for network management.Feature-based anomaly detection models (ab)normal network traffic behavior by analyzing packet header features.PCA-subspace method (Principal Component Analysis) has been verified as an efficient feature-based way in network-wide anomaly detection.Despite the powerful ability of PCA-subspace method for network-wide traffic detection,it cannot be effectively used for detection on a single link.In this paper,different from most works focusing on detection on flow-level traffic,based on observations of six traffic features for packet-level traffic,we propose a new approach B6SVM to detect anomalies for packet-level traffic on a single link.The basic idea of B6-SVM is to diagnose anomalies in a multi-dimensional view of traffic features using Support Vector Machine (SVM).Through two-phase classification,B6-SVM can detect anomalies with high detection rate and low false alarm rate.The test results demonstrate the effectiveness and potential of our technique in diagnosing anomalies.Further,compared to previous feature-based anomaly detection approaches,B6-SVM provides a framework to automatically identify possible anomalous types.The framework of B6-SVM is generic and therefore,we expect the derived insights will be helpful for similar future research efforts.     

基于子空间方法的大规模网络流量异常检测

本文采用子空间方法和PCA（主成分分析或Principal Components Analysis）对大规模网络流量异常检测进行研究,并以校园网为实验环境,应用子空间方法和PCA实现了网络流量异常检测。通过实验结果与小波分析结果的对比,证明了基于子空间方法的大规模网络流量异常检测是一种既简单又高效的方法。     

网络重要流检测方法综述

网络的管理与监测是网络领域的重要话题,这一领域的相关技术通常也称为网络测量(network measurement).网络重要流检测(network heavy hitter detection)是网络测量的一项关键技术,也是研究对象.重要流指占用网络资源(如带宽或发送的数据包数量)超过某一给定标准的流,检测重要流有助于快速识别网络异常,提升网络运行效率,但链路的高速化为其实现带来了挑战.按出现时间顺序,可将重要流检测方法划分为两大类:基于传统网络框架的和基于软件定义网络(SDN)框架的.围绕网络重要流检测相关的框架与算法,系统地总结其发展过程与研究现状,并尝试给出其未来可能的发展方向.     

基于信息熵的大规模网络流量异常检测

提出了基于信息熵的大规模网络流量异常检测方法。该方法吸收了子空间方法的思想，并结合了K-means分类方法。以校园网为实验环境，应用基于信息熵的方法实现了网络流量异常检测的全过程。通过实验结果与应用标准子空间方法对测量数据分析结果的对比，证明了基于信息熵的大规模网络流量异常检测有着更高的检测精度。     

Sequential hashing: A flexible approach for unveiling significant patterns in high speed networks

Identification of significant patterns in network traffic, such as IPs or flows that contribute large volume (heavy hitters) or those that introduce large changes of volume (heavy changers), has many applications in accounting and network anomaly detection. As network speed and the number of flows grow rapidly, identifying heavy hitters/changers by tracking per-IP or per-flow statistics becomes infeasible due to both the computational overhead and memory requirements. In this paper, we propose SeqHash, a novel sequential hashing scheme that supports fast and accurate recovery of heavy hitters/changers, while requiring memory just slightly higher than the theoretical lower bound. SeqHash monitors data traffic using a sketch data structure that can flexibly trade-off between the memory usage and the computational overhead in a large range that can be utilized by different computer architectures for optimizing the overall performance. In addition, we propose statistically efficient algorithms for estimating the values of heavy hitters/changers. Using both mathematical analysis and experimental studies of Internet traces, we demonstrate that SeqHash can achieve the same accuracy as the existing methods do but using much less memory and computational overhead.     

Identifying heavy hitters in high-speed network monitoring

Identifying heavy hitters in a network traffic stream is important for a variety of network applications ranging from traffic engineering to anomaly detection such as detection of denial-of-service attacks. Existing methods generally examine newly arriving items in the stream, perform a small number of operations using a small amount of memory, and still provide guarantees on the identifying accuracy. In high-speed network monitoring, the update speed per item is extremely critical. However, so far as we kn...     

ATMSim: An anomaly teletraffic detection measurement analysis simulator

Over the last few years, the quantity of teletraffic is rapidly growing because of the explosive increase of Internet users and its applications. The needs of collection, storage, management, analysis, and measurement of the subsequent teletraffic have emerged as some of the very important issues. To this point many studies for detecting anomaly teletraffic have been done. Detection, measurement, and analysis studies for traffic data, however, are not actively being made based on Hadoop. In this paper, some problems and solutions for those systems have been suggested. We have also designed and developed an Anomaly Teletraffic detection Measurement analysis Simulator, called the ATMSim. One strong point of the ATMSim is able to store, measure, and analyze traffic data for detecting anomaly teletraffic. The other strength is to generate sequences of input synthetic anomaly teletraffic with various network attacks for practical network security applications. All simulations were executed under the control of the ATMSim simulator to investigate how input anomaly teletraffic with network attacks can be different from real Ethernet local area network (LAN) traffic. Our numerical results show that the values of the estimated Hurst parameter obtained from the anomaly teletraffic are much higher when compared to real Ethernet LAN traffic.