自相似流量生成算法研究

大规模汇聚流量的研究在当前的网络环境下起着越来越重要的作用,无论在改善网络性能还是在提高网络入侵的防御能力方面.在大流量的限制条件下,网络模拟成为研究网络的主要手段,准确生成网络流量变得重要.当前网络研究表明流量满足自相似特征,但目前还没有直接产生自相似流量的流量产生器.本文通过从多种自相似生成的数学手段入手,通过实验比较得出快速傅立叶变换方法性能最优,并在ns2中实现了自相似流量产生器.     

基于自相似网络流量模型的分析

流量模型是流量预测和网络性能评价的核心基础。好的流量模型必须能够准确描述网络实际流量的特征情况,才能准确预测流量状况。随着网络业务类型不断增加,实际网络中业务流特性越来越复杂,表现为长相关性和自相似性等。本文重点分析了当前广泛使用的几种自相似模型,对自相似业务的分析和处理具有一定的指导意义。     

基于NetFlow的特征感知自适应的流采样方法

采样是网络异常检测中数据采集的主要方法。而网络流的持续时间、数据包的大小、异常流量出现的频率等都在不断变化,给准确的采样带来很多负面的影响。为此,提出了特征感知的自适应采样技术,在流量特征不断变化的情况下可以自动调整采样率,并将它和随机采样技术、选择采样技术进行比较,研究了这些采样技术在网络行为分析系统中保留网络特征的能力,实验结果表明此方法在保留网络特征和异常检测质量评估中,明显优于其他方法。     

基于小波域混合高斯模型的自相似流量合成算法

自相似流量特性对网络性能具有重要影响，流量建模与合成是网络性能评价的基本环节．提出了一种基于小波域混合高斯模型的自相似流量建模与合成方法：小波变换的近似Karhunen—Loeve（K-L）变换特性可以有效去除流量过程的长程相关，而混合高斯模型准确地描述了小波系数的非高斯分布．对合成流量进行了统计分析以及排队性能仿真．实验表明该方法能够更准确地对通信流量进行建模和合成，并且具有运算量小（O（N））、流量生成快速等优点．     

基于模糊控制的自适应流量抽样方法

针对系统抽样中恒定报文采样概率方法异常检测的漏检率高和随机报文采样概率偏向于采集长流的缺陷,提出了一种模糊自适应流量抽样方法。该方法利用网络流量的相关性设定采样率,并实时自适应预测采样粒度,自动在允许误差范围内进行尽可能精确地测量,更好地捕捉到网络流量特征和网络行为特征。实验证明,所提方法不但能减少抽样数据对于异常检测的影响,而且可以高效地反映原始数据的异常情况。自适应模糊控制系统结构简单,易于实现,其控制策略达到了较高的工艺水平的要求,具有良好的预测性,并能提高流量检测的精确度,具有一定的推广价值。     

基子自适应泸波器理论的自相似流量预测

根据流量特徵预测其到达速率是基于测量的网络控制机制的关键问题。本文研究了基于最小均方（Least Mean-Square，LMS）自适应滤波器对自相似流量进行速率预测的方法。通过分析对不同实际流量记录和仿真流量的预测结果，发现该方法不但减小了采用指数加权平均估计带来的计算复杂度，而且其滤波器系数自适应特性可以有效地跟踪流量的高度变化，从而更加准确地估计流量速率。此外，实验还得出了用LMS自适应滤波器进行流量预测的几个基本参数。     

网络流量自相似性影响因素的研究

网络流量特征是分析和研究网络性能、规划网络建设的基础。由于自相似模型能够更加真实地描述网络传输的特性,通过生成自相似性的流量进行仿真研究。提出将业务源流量自相似性与网络传输的TCP协议相结合进行研究的方法,探讨影响自相似流量的因素,分析网络行为随参数变化的情况。仿真结果表明业务源流量的自相似与网络状态无关,而网络传输的TCP协议自适应改变网络状态,从而间接改变网络流量的自相似性,但并不能消除业务源流量的自相似性。     

一种自相似流量模型的带宽估计新算法

针对现今网络业务流量的自相似特性,选取具备显著自相似特征的分形布朗运动流(FBM)为自相似流量模型,提出一种基于统计网络演算理论的带宽估计算法。该算法利用统计网络演算建模,根据时延与带宽的关系建立出自相似业务流量模型带宽需求的统计模型。通过仿真验证和数值分析,结果表明该算法比有效带宽算法更为优越,得到的带宽估计结果更紧,可以更好地提高带宽资源利用率。     

自相似网络流量预测的分析和研究

网络流量模型能准确和全面地刻画流量数据的各种统计特性,因而成为网络研究的热点。讨论了传统模型预测的弊端,描述了网络流量自相似的基本特征,分析了三个重要自相似模型的特点和存在的问题,使用实际网络流量验证了流量的自相似性并结合多分形小波模型对网络流量进行预测,探讨了流量模型预测的新技术和进一步研究的问题。     

基于模拟的网络流量自相似现象分析

一、引言自从1993年文[2]发表以来,网络流量的自相似特征日益受到重视,使传统的基于泊松和马尔可夫行为的流量模型受到了质疑。但是关于自相似现象的成因以及这一现象对网络流量建模的影响一直没有确定性的答案。文[3]中提出了高可变性(High Variability)是网络流量自相似现象的可能原因。但在文[1]中,作者基于Network Simulation-Version 2(以下简称ns2)网络模拟器,模拟产生了单个TCP对话流量的自相似现象,从而提出高可变性未必是出现自相似现象的必要前提,而TCP流量控制机制本身就是一个能产生自相似现象的确定性过程、然而在文[1]中,作者只模拟出了链路上单个TCP对话流量的自相似现象,但是在现实网络观测到自相似现象都是对于链路上总的流量来说的,而不是针对单个对话流量来说的。因此,本文设计了新的网络模拟方案,以探讨网络链路总流量出现自相似现象的条件,从模拟结果可以看出同一瓶颈     

高速网络流量测量方法

高速网络流量测量是目前实施实时准确地监测、管理和控制网络的基础.基于网络流量测量的应用,将网络流量测量分为抽样方法和数据流方法.从不同的层次,将抽样方法分为分组抽样和流抽样,分别介绍了两类抽样方法;从测度角度介绍了数据流方法.详细介绍了高速网络流量测量的常用数据结构,以及抽样、数据流方法在高速网络流量测量中的应用,比较了各种方法的优劣.概述了高速网络流量测量技术的研究进展.最后,就现有的网络流量测量方法的不足,对网络流量测量的发展趋势和进一步的研究方向进行了讨论.     

大规模高速网络流量测量研究

随着互联网的发展,理解网络行为对于网络管理、规划和发展都有重要意义,网络流量测量是研究网络行为的基础。根据网络测量流量的不同,测量方法分为主动测量和被动测量,每种测量方法有其应用背景和优缺点。为了从不同角度研究网络行为需要定义不同的测度,IETF的IPPM工作组现已经定义了一整套用于流量行为测量的测度。根据测量的环境和应用背景的区别,国外不同的研究机构建立了不同的测量体系结构和测量工具。同时,由于网络带宽越来越大,全流量测量和分析研究越来越困难,为了解决这一问题,近几年,流量抽样测量研究现已成为高速网络流量测量的研究重点。     

基于业务流数量自适应的资源限制分组抽样

高速网络中,流量抽样测量技术是一种重要可扩展的解决方案,其中NetFlow在流量测量中有着广泛的应用。针对NetFlow的缺陷提出了一种基于业务流数量自适应的资源限制分组抽样算法,该算法结合 “分层抽样”的思想,把 “累积业务流数量”作为重要的参数,来自适应地调节抽样概率,该抽样方法简单、易于实现,平衡了资源的消耗量和准确性。并基于实际互联网数据进行了实验比较,结果显示：该方法具有简单性、自适应性、资源可控性的同时不会失去准确性。     

一种改进的自适应流量采样方法

高速链路对实时网络流量监测提出挑战.由于流量采集分析设备性能的限制,采用精确、高效的采样方法进行流量监测分析已成为必然.最简单的固定概率采样能监测较大业务流,但往往忽略掉比例几乎超过80%的较小业务流.数据流算法可以实时高效采集高速链路数据,基于该算法的SGS(sketch guided sampling)采样技术可以实时准确估计流大小分布,但当采样速率增大到监测系统处理能力最大值时,该方法的准确性迅速降低.基于SGS方法,提出一种自适应实时网络流量的采样方法SRGS(sketch and resources guided sampling).该方法将监测系统处理能力作为采样概率调节的一个重要参数.实验结果显示,SRGS方法能够及时根据当前流大小和监测系统处理能力,调节数据包采样概率,准确性高于SGS方法.     

Double sampling for flow measurement on high speed links

Traffic measurement and monitoring are an important component of network QoS management and traffic engineering. With high speed Internet links, efficient and effective packet sampling techniques for traffic measurement are not only desirable, but increasingly becoming a necessity. Packet sampling has become an attractive and scalable means to measure flow data on high speed links. Passive traffic measurement increasingly employs sampling at the packet level and makes inferences from sampled network traffic. However, it meets difficulty in estimating the original flow distribution. To circumvent the problem, we propose and analyze a double sampling technique for flow measurement. In particular, we rewrite the expectation maximization (EM) algorithm that estimates flow distribution for double sampling. Using real network traffic traces, we show that the proposed double sampling technique indeed produces the desired accuracy in estimating the flow distribution.     

流测量中基于测量缓冲区的时间分层分组抽样

NetFlow是流测量中广泛应用的解决方案,但NetFlow的抽样方法存在一定的缺陷:泛洪攻击时消耗路由器过多的资源;用户很难选择适合所有流量组成情况的静态抽样率,以平衡资源消耗量和准确率.提出了一种易于实现的分组抽样方法.该方法利用测量缓冲区对定长时间内到达的分组进行固定数量的抽样,既可以使抽样率自适应于流量变化,又可以控制资源的消耗.证明了抽样估计的无偏性,并推导出估计值相对标准差的理论上界.实验结果表明,与已有方法相比,该方法在具有简单性、自适应性及资源可控性的同时不会失去准确性.     

基于统计分析的高速网络分布式抽样测量模型

分布式被动测量是研究网络行为的一个重要手段，其面临的主要问题是难以实现高速网络流量测量，因此需要使用抽样技术．分布式抽样测量技术需要解决两个关键问题：分布式测量点测量报文的一致性和抽样样本的统计随机性．为此，抽样测量的核心是选择合适的抽样掩码匹配位串，以保证抽样样本的随机性，且实现分布式测量点的信息一致性．文章对CERNET主干网络流量IP报头各字段的随机性进行分析，结果表明标识字段16bits满足抽样掩码匹配位串要求，并对抽样样本的随机性和统计属性进行分析．实验验证抽样样本既能用于网络行为研究也能用于流量行为研究．     

基于掩码匹配的校园网出口流量抽样测量研究

针对校园网出口流量抽样测量问题，给出了测量点的选择及测量环境的设计方案,实施了特定掩码与IP报文标识字段进行匹配的抽样测量。提出了从抽样后的报文中估计一定时间刻度原始流量的大小、估计原始报文长度与协议分布的方法。通过对防火墙流量信息的观测和对校园网流量信息的分析表明，抽样测量结果与实际情况相符。     

Scalable algorithms for estimating flow length distributions from sampled data

With the rapid growth of link speed, obtaining detailed traffic statistics becomes much more difficult. In order to reduce the resource consumption of measurement systems, more and more passive traffic measurement employs sampling at the packet level. Packet sampling has become an attractive and scalable method to measure flow data on high-speed links. However, knowing the length distributions of traffic flows passing through a network link is very useful for network operation and management. In this paper, we consider the problem of estimating flow length distributions based on sampled flow data. This paper introduces two algorithms for estimating flow length distributions, fitting estimation and factoring estimation. The fitting estimation uses piecewise Pareto distribution to fit the original traffic for a small sampling period. The factoring estimation is used for a large sampling period. It first factorizes the large sampling period into a product of some smaller integer factors, then iteratively invokes fitting estimation or other algorithms such as ${\textit{EM}}$ in the arranged order of the factors. Evaluations of the proposed algorithms on large Internet traces obtained from several sources demonstrate that they have high measurement accuracy with low computation overhead. The algorithms allow us to recover the complete flow length distributions.