基于业务流数量自适应的资源限制分组抽样

高速网络中,流量抽样测量技术是一种重要可扩展的解决方案,其中NetFlow在流量测量中有着广泛的应用。针对NetFlow的缺陷提出了一种基于业务流数量自适应的资源限制分组抽样算法,该算法结合 “分层抽样”的思想,把 “累积业务流数量”作为重要的参数,来自适应地调节抽样概率,该抽样方法简单、易于实现,平衡了资源的消耗量和准确性。并基于实际互联网数据进行了实验比较,结果显示：该方法具有简单性、自适应性、资源可控性的同时不会失去准确性。     

基于DCF的资源可控流抽样

Cisco的NetFlow是流测量中广泛应用的方案,但因其采用静态抽样率,当网络流量突然上升时,消耗过多的路由器资源,甚至影响路由器的正常转发功能。提出了基于DCF的资源可控流抽样,对测量间隔内到达的报文采取固定数量的抽样,并采用DCF哈希算法维护流记录,有效控制了资源的消耗。理论和实验分析结果表明,该方法具有抽样率自适应性、简单性、资源可控性,同时不失准确性。     

一种基于包速率自适应的报文抽样算法*

针对NetFlow抽样概率需手动配置的缺陷,提出了一种基于包速率自适应的分组抽样算法。通过测量包速率,采用预定义测量误差的方法,根据包速率的变化自适应地调整抽样概率,从而在有限资源情况下达到控制测量误差的目的。基于实际互联网数据进行了实验比较,结果显示：与传统的NetFlow算法相比,该方法易于实现,测量误差可控,具有高效性和准确性,同时具有资源节约性。     

基于NetFlow的衡阳联通互联网流量的测量研究

从及时了解自身网络的负载状况和重要业务的带宽占用率,正确规划和评估网络的扩容、升级的角度出发,阐述了网络流量测量中的主要技术,重点介绍了NetFlow技术的相关原理.对衡阳联通互联网的拓扑结构进行了详细的分析,提出了基于NetFlow的衡阳联通网络流量测量方案,并分析了测量结果.实验结果表明,通过NetFlow流量测量,可以方便、有效地进行网络管理,为网络管理员维护网络提供了良好的工具.     

基于多数据源的网络流量矩阵估计

针对目前多数网络流量矩阵估计方法都采用单一的SNMP链路负载或抽样的NetFlow数据的问题,提出一种综合使用多个数据源进行流量矩阵估计的方法,将SNMP链路负载与抽样的NetFlow数据结合作为相互纠错码,设计过滤这2种数据源中脏数据的算法。以校园网为实验环境,与通用重力模型方法的比较结果表明,利用该算法去除脏数据后进行流量矩阵估计具有更高的准确性。     

一种高效的网络流记录表示方法

带宽和应用不断发展,迫切需要对应用业务的精细化网络流量进行持续监测.NetFlow的表示方法存在数据组织效率低等问题,导致传输开销过大、历史数据存储空间爆炸增长;聚合NetFlow表示方法又带来大量信息丢失.寻找一种高效的网络流记录表示方法对满足网络测量有着非常重要的意义.提出了一种新的方法——基于对象和应用的流量特征统计描述(TABSI),该方法以单位时间周期内各个监测对象在不同应用下的流量统计、流数目统计及分布为流量信息的基本描述单位,周期性地导出该信息来描述链路流量特征.理论分析表明TABSI比聚合NetFlow记录包含更多的信息量,能够很好地描述网络行为;且TABSI历史数据有效性更强.现网运行测试表明该方法可使传输数据量减少、存储组织高效查询分析更快、存储空间大大减少.     

Cisco路由器流量采集软件的研制

网络流量能反映网络的运行状态,是网络管理领域中重要的研究课题。随着网络技术的发展,网络应用的不断深入,网络的有效性、安全性分析尤显重要,直接分析网络实时流量,将具有非常重要的意义。NetFlow是Cisco公司为实现流量统计和流量分析而开发的一种协议,使用NetFlow可以方便地进行大规模的流量采集。通过对NetFlow协议原理与功能的分析,可以设计一种NetFlow流量分析器,该分析器能够对NetFlow流量数据进行采集、分析和显示,实现网络的异常流量监测、流量统计和综合流量分析,并能及时地发现网络攻击。     

流量测量的关键技术分析与研究*

流量测量在流量计费、网络资源优化和异常检测等方面有广泛的应用。针对传统的流量测量模型缺乏可扩展性的缺点,提出了一种适用于高速网络的可扩展的流量测量模型。该模型采用报文分批处理的思想引入了两级缓冲区结构,使得缓存报文和流量统计两个过程同时进行。基于此模型,抽象了流量测量的两大关键技术,即流量抽样测量技术和概要数据结构。运用此模型进行高速网络的流量测量,不仅会降低资源的需求、提高分析的速度,而且还不会失去准确性。     

NetFlow流量采集与存储技术的研究实现*

为解决高速大流量网络的流量监测与分析问题,提出了一套基于NetFlow的流量采集与存储方案,设计了多线程与双链表的NetFlow数据采集机制,有效提高了数据采集效率和可靠性.此外,在存储原始NetFlow数据的基础上,设计了一套NetFlow流量的三级聚合和存储方案.基于此方法可对纷繁复杂的原始流量信息进行有效整理,为前端静态、动态流量分析提供合理高效的数据支持.     

校园网流量抽样测量系统设计与实现

随着高速网络技术的发展,大多数高校引入了千兆网,校园网络日益规模化和复杂化,使得实时在线的流量测量变得比较困难,基于抽样的流量测量方法作为一种可扩展的测量技术已成为人们经常采用的一种有效的流量测量技术。本文采用"弱化的贪心算法"确定各网段的最佳测点,并采用IP掩码匹配的分布式抽样测量技术将各测量点同步采集的流量经抽样后存储到服务器的不同储存区域,然后根据测量目标对各网段采集的流量进行汇聚、分析和统计。从节约成本出发,本文引入了双机协作抽样技术进行测量,此双测量主机系统充当了服务器、测量器和分析器角色,整个测量无需专用测量器和服务器,可以基本取代市场专用的流控测量设备,能实现对整个校园网流量的掌控。     

基于滑动窗口的资源可控流量测量算法

针对高速链路中流量测量缺乏可扩展性的问题,提出一种在线挖掘频繁流的算法。通过采用“滑动窗口”机制,构造流抽样函数,自适应地设置抽样门限的方法,实现流大小的无偏估计。基于实际的互联网数据进行仿真实验,结果表明,该算法在保证准确性的同时,具有自适应性和资源可控性。     

基于语义的访问控制模型及其推理机制

针对高速链路中流量测量缺乏可扩展性的问题,提出一种在线挖掘频繁流的算法。通过采用“滑动窗口”机制,构造流抽样函数,自适应地设置抽样门限的方法,实现流大小的无偏估计。基于实际的互联网数据进行仿真实验,结果表明,该算法在保证准确性的同时,具有自适应性和资源可控性。     

一种新的基于SCBF的流抽样测量算法研究

为提高流测量系统的运行效率,减少其所需存储资源,提出了一种改进的测量并维护其流信息的算法——基于拆分型计数Bloom Filters(Split Counting Bloom Filters)的流抽样。该算法采用基于报文的抽样来实现流抽样,不仅可以使用较少系统资源来维护流信息,同时可适用于不同流量的测量点,提高了测量系统的准确性和可扩展性。     

基于模糊控制的自适应流量抽样方法

针对系统抽样中恒定报文采样概率方法异常检测的漏检率高和随机报文采样概率偏向于采集长流的缺陷,提出了一种模糊自适应流量抽样方法。该方法利用网络流量的相关性设定采样率,并实时自适应预测采样粒度,自动在允许误差范围内进行尽可能精确地测量,更好地捕捉到网络流量特征和网络行为特征。实验证明,所提方法不但能减少抽样数据对于异常检测的影响,而且可以高效地反映原始数据的异常情况。自适应模糊控制系统结构简单,易于实现,其控制策略达到了较高的工艺水平的要求,具有良好的预测性,并能提高流量检测的精确度,具有一定的推广价值。     

一种改进的自适应流量采样方法

高速链路对实时网络流量监测提出挑战.由于流量采集分析设备性能的限制,采用精确、高效的采样方法进行流量监测分析已成为必然.最简单的固定概率采样能监测较大业务流,但往往忽略掉比例几乎超过80%的较小业务流.数据流算法可以实时高效采集高速链路数据,基于该算法的SGS(sketch guided sampling)采样技术可以实时准确估计流大小分布,但当采样速率增大到监测系统处理能力最大值时,该方法的准确性迅速降低.基于SGS方法,提出一种自适应实时网络流量的采样方法SRGS(sketch and resources guided sampling).该方法将监测系统处理能力作为采样概率调节的一个重要参数.实验结果显示,SRGS方法能够及时根据当前流大小和监测系统处理能力,调节数据包采样概率,准确性高于SGS方法.     

一种基于FPGA的并行结构瞬时测频方法

针对捷变频雷达信号的数字测频存在数据处理量大、实时性要求高的问题,介绍了一种基于正交混频、滤波抽取和瞬时自相关算法的并行结构测频方法.通过将正交混频本振频率设为采样频率的四分之一,减少了正交混频模块和滤波模块的FPGA资源消耗.测试结果表明该测频算法的数据处理能力、实时性及测频精度能够满足雷达目标模拟器的测频需求.     

基于自相似特性的流量测量采样方法

针对大型网络流量测量中测量数据量巨大、不能有效地描述流量特征的问题,本文将近年来网络研究的热点自相似性运用在流量测量中。根据流量变化对自相似参数H的影响,提出了一种基于网络的自相似特性的流量测量采样方法。该方法降低了流量测量的采样频率,能够及时、准确地发现网络异常,并能使测量数据更准确地刻画流量特征。     

基于速率测量的资源预留速率调整机制

针对资源预留处理过程中可能存在的资源隐藏问题,提出一种基于到达速率测量的预留速率校正机制。当业务的到达速率和预留速率之间的偏差大于设定的阈值时,将业务流的预留速率调整为到达速率。业务流到达速率的测量采用基于速率包线的小时间尺度平均速率估计方法,并考虑流量自相似特征。仿真实验验证了该机制能有效解决资源隐藏问题,提高资源利用率。