流量抽样关键技术研究

网络管理和监控是网管系统和流量工程的重要组成部分.随着网络的高速发展,实时有效的流量抽样技术对网管系统和网络监控系统越来越重要.传统的网络流量测量是对链路上通过的所有报文进行都捕获和统计的方式进行的.随着网络技术的发展,传统的流量测量方法会对测量设备产生很大的开销,因而变得不再实用.为了解决上述问题文章对现有网络流量监测技术进行研究,首先对流量测量方法和流特征进行介绍,然后介绍了现有抽样技术的种类以及现有抽样技术的研究现状,最后介绍了三种具体的自适应抽样技术.     

基于分层抽样算法的异常攻击流量检测

在高速互联网应用中,海量数据无法逐包检测分析,异常攻击流量也不易被识别。为解决该问题,利用泊松帕累托突发过程的经典流量模型对网络流量自相似特性进行分析,将网络流量分为长流与短流,并根据数据流到达时间的抽样比增量进行分层抽样,由此实现异常攻击流量的检测。在基于数据报文级检测的snort异常入侵检测系统上对该方法进行仿真实验,结果证明其能有效缩小异常攻击数据范围,快速准度地检测出攻击。     

大规模高速网络流量测量研究

随着互联网的发展,理解网络行为对于网络管理、规划和发展都有重要意义,网络流量测量是研究网络行为的基础。根据网络测量流量的不同,测量方法分为主动测量和被动测量,每种测量方法有其应用背景和优缺点。为了从不同角度研究网络行为需要定义不同的测度,IETF的IPPM工作组现已经定义了一整套用于流量行为测量的测度。根据测量的环境和应用背景的区别,国外不同的研究机构建立了不同的测量体系结构和测量工具。同时,由于网络带宽越来越大,全流量测量和分析研究越来越困难,为了解决这一问题,近几年,流量抽样测量研究现已成为高速网络流量测量的研究重点。     

基于流量信息结构的异常检测

由于人们对网络流量规律的认识还不够深入,大型高速网络流量的异常检测仍然是目前测量领域研究的一个难点问题.通过对网络流量结构和流量信息结构的研究发现,在一定范围内,正常网络流量的IP、端口等具有重尾分布和自相似特性等较为稳定的流量结构,这种结构对应的信息熵值较为稳定.异常流量和抽样流量的信息熵值以正常流量信息熵值为中心波动,构成以IP、端口和活跃IP数量为维度的空间信息结构.据此对流量进行建模,提出了基于流量信息结构的支持向量机(support vector machine,简称SVM)的二值分类算法,其核心是将流量异常检测转化为基于SVM的分类决策问题.实验结果表明,该算法具有很高的检测效率,还初步验证了该算法的抽样检测能力.因此,将该算法应用到大型高速骨干网络具有实际意义.     

一种新型的高速IP网络的流量测量体系

网络流量测量是网络管理的基础之一，流量测量体系结构的研究是网络流量测量及其应用的基础和重要环节。对传统的网络流量测量方法的特点进行了分析，对高速网络流量测量中的关键问题进行了研究，采用数据流归并技术，以提高实用性为目的，Linux平台和开源软件的基础上提出了一种新型的基于分布式探针的高速IP网络流量测量体系，并对其构成及特点进行了分析。该测量体系提供了实用的高速测量平台和数据分析接口，具有广阔的应用前景。     

改进型分层抽样技术及性能研究

报文抽样技术是高速网络流量测量和管理中使用的一项关键技术。通过引进分层特征、层数L、分层边界、各层样本量分配、层内抽样策略5个分层抽样参数,并对其进行重新配置和简单理论探讨,实现对分层抽样技术的改进。同时使用简单线性估计推断原始流数据,并借助于Φ偏差检验方法,对改进的分层抽样技术和其它抽样技术在测量网络报文长度分布方面进行准确性性能比较。结果表明,改进的分层抽样技术在测量报文长度分布方面的准确性性能远高于其它抽样方式,提高了测量的精度。     

基于统计分析的高速网络分布式抽样测量模型

分布式被动测量是研究网络行为的一个重要手段，其面临的主要问题是难以实现高速网络流量测量，因此需要使用抽样技术．分布式抽样测量技术需要解决两个关键问题：分布式测量点测量报文的一致性和抽样样本的统计随机性．为此，抽样测量的核心是选择合适的抽样掩码匹配位串，以保证抽样样本的随机性，且实现分布式测量点的信息一致性．文章对CERNET主干网络流量IP报头各字段的随机性进行分析，结果表明标识字段16bits满足抽样掩码匹配位串要求，并对抽样样本的随机性和统计属性进行分析．实验验证抽样样本既能用于网络行为研究也能用于流量行为研究．     

IP报文总长字段统计属性研究

由于网络技术的迅速发展及吉比特以太网的出现,对流量进行全分组测量越来越困难,采用抽样方法并以抽样样本来估计网络流量的总体特性已成为研究重点.一般情况下,总体服从什么分布是未知的,对总体是否服从某个分布作检验,常用的方法是x^2分布检验法.然而,当样本中IP报文长度比较集中时,大量实验结果表明IP报文的总长字段不服从x^2分布,但并不能认为抽样样本的统计分布和总体的统计分布就不相同.本文提出了IP报文总长字段的一种新的检验方法——累计偏差检验法,并在南华大学校园网总出口上进行了抽样实验,结果证明抽样样本的分布和总体的分布相同,同时也证明了这种检验方法是非常有效的.     

空间高效的数据包公平抽样算法

数据包公平抽样通过牺牲长流的包抽样率以换取更高的短流包抽样率,因而比均匀随机包抽样更能保证数据流之间的公平性.现有的公平抽样算法SGS(sketch guided sampling)存在空间效率低、短流估计误差大的问题.提出了一种空间高效的数据包公平抽样算法SEFS(space-efficient fair sampling).SEFS算法的新颖之处在于采用多解析度抽样统计器对数据流流量作近似估计,各个统计器由d-left哈希表实现.采用在OC-48和OC-192骨干网采集的真实流量数据,在数据流流量测量以及长流检测的应用背景下,对SEFS算法和SGS算法的性能进行了比较.实验结果表明,与SGS算法相比,SEFS算法在空间复杂度降低65%的前提下,仍具有更高的估计精度.特别是对于占网络数据流绝大多数的短流而言,SEFS算法估计精度高的优势更为明显.     

自相似网络的自适应系统双抽样方法研究

针对网络流量的自相似、重尾分布等特征,对传统的系统抽样进行改进,设计出一种新的抽样方法--自适应系统双抽样.该算法以传统的系统抽样为基础进行改进,充分考虑了网络流量重尾分布的特点,能正确估算Hurst参数,实现简单,参数自适应且能控制资源消耗.通过真实网络数据的实验分析表明,在链路负载估计、包到达时间间隔等方面较传统抽样方法都有明显的改进,提高了测量系统的精确性和实用性.     

流量测量的关键技术分析与研究*

流量测量在流量计费、网络资源优化和异常检测等方面有广泛的应用。针对传统的流量测量模型缺乏可扩展性的缺点,提出了一种适用于高速网络的可扩展的流量测量模型。该模型采用报文分批处理的思想引入了两级缓冲区结构,使得缓存报文和流量统计两个过程同时进行。基于此模型,抽象了流量测量的两大关键技术,即流量抽样测量技术和概要数据结构。运用此模型进行高速网络的流量测量,不仅会降低资源的需求、提高分析的速度,而且还不会失去准确性。     

基于模糊控制的自适应流量抽样方法

针对系统抽样中恒定报文采样概率方法异常检测的漏检率高和随机报文采样概率偏向于采集长流的缺陷,提出了一种模糊自适应流量抽样方法。该方法利用网络流量的相关性设定采样率,并实时自适应预测采样粒度,自动在允许误差范围内进行尽可能精确地测量,更好地捕捉到网络流量特征和网络行为特征。实验证明,所提方法不但能减少抽样数据对于异常检测的影响,而且可以高效地反映原始数据的异常情况。自适应模糊控制系统结构简单,易于实现,其控制策略达到了较高的工艺水平的要求,具有良好的预测性,并能提高流量检测的精确度,具有一定的推广价值。     

基于业务流数量自适应的资源限制分组抽样

高速网络中,流量抽样测量技术是一种重要可扩展的解决方案,其中NetFlow在流量测量中有着广泛的应用。针对NetFlow的缺陷提出了一种基于业务流数量自适应的资源限制分组抽样算法,该算法结合 “分层抽样”的思想,把 “累积业务流数量”作为重要的参数,来自适应地调节抽样概率,该抽样方法简单、易于实现,平衡了资源的消耗量和准确性。并基于实际互联网数据进行了实验比较,结果显示：该方法具有简单性、自适应性、资源可控性的同时不会失去准确性。     

A multiadaptive sampling technique for cost-effective network measurements

The deployment of efficient measurement solutions to assist network management tasks without interfering with normal network operation assumes a prominent role in today’s high-speed networks attending to the huge amounts of traffic involved. From a myriad of proposals for traffic measurement, sampling techniques are particularly relevant contributing effectively for this purpose as only a subset of the overall traffic volume is handled for processing, preserving ideally the correct estimation of network statistical behavior.     

基于多波动尺度的两层包级自适应抽样

在高速Internet链路的流量测量中,包抽样技术能有效减少被测数据量以节省各种可用资源。文章关注如何提高流量突发和波动周期的抽样精度,提出了一种基于多波动尺度的两层包级自适应抽样方法。该方法能够根据当前流量的突发频度和波动性动态调节每包抽样概率,调节粒度精细。通过在真实流量跟踪下与静态随机抽样方法的对比,两层自适应抽样方法显示了较强的实时捕获流量速率的波动变化和改善抽样精度的能力。     

高速网络流测量及模型研究

网络流测量是网络性能分析和网络流量建模的基础。该文分析了网络流测量的方法及特点,针对高速网络流测量中的关键问题进行了研究,并在此基础上提出了高速网络流测量模型,随后对该模型各组件及相互关系进行了分析,最后通过具体实验分析了模型架构及关键技术的可行性。