一种业务流自适应尽力采样方法

基于业务流的网络流量监测是网络管理、运维、实现基于业务的计费、流量工程等的重要手段．精确、高效的采样技术是实现高速网络流量业务流监测分析的重要技术．基于分段采样思想提出一种尽力最优的自适应随机采样方法，实现特大业务流的精确估计，其中把监测系统本身的处理能力作为选择采样概率的参数．实验结果显示算法能够很好地调节采样概率，使得采样包速率基本等于预先设定的监测系统的处理能力．     

网络自适应公平分组抽样算法研究

针对SGS(sketch guided sampling)的缺陷,提出了一种网络自适应公平抽样算法.根据抽样分组估计出值流量大小,并依据该值调整抽样比,使之适应于流量变化,从而达到对各种流的公平抽样的效果.对算法的相关性质进行了证明与分析,基于实际互联网数据进行了实验比较,实验结果表明,该算法具有准确性、自适应性、易于工程实现等优点.     

空间高效的数据包公平抽样算法

数据包公平抽样通过牺牲长流的包抽样率以换取更高的短流包抽样率,因而比均匀随机包抽样更能保证数据流之间的公平性.现有的公平抽样算法SGS(sketch guided sampling)存在空间效率低、短流估计误差大的问题.提出了一种空间高效的数据包公平抽样算法SEFS(space-efficient fair sampling).SEFS算法的新颖之处在于采用多解析度抽样统计器对数据流流量作近似估计,各个统计器由d-left哈希表实现.采用在OC-48和OC-192骨干网采集的真实流量数据,在数据流流量测量以及长流检测的应用背景下,对SEFS算法和SGS算法的性能进行了比较.实验结果表明,与SGS算法相比,SEFS算法在空间复杂度降低65%的前提下,仍具有更高的估计精度.特别是对于占网络数据流绝大多数的短流而言,SEFS算法估计精度高的优势更为明显.     

一种基于数据流计数的概率衰落大业务流识别方法

大业务流识别是网络监控、管理以及计费等的重要基础,网络管理者通常会对大业务流给予特别的关注.大业务流识别需要在一定识别精度的基础上有效降低资源消耗.基于PLC(probabilisticlossy counting)方法,提出了一种概率衰落的大业务流识别方法PFC(probabilistic fading counting).该方法吸取了数据流计数技术的优势,通过分析网络流量的幂律(power-law)特性和连续性,采取加快对表记录中非活动流移除力度的方式,在有效控制漏报和误报的同时,大幅度降低了存储资源开销,实现了在有限资源下对高速链路实时准确的大业务流识别.实验结果表明,与PLC方法相比,PFC方法在减小误报率的同时,存储资源开销平均降低60%以上.     

数据流处理技术在电信网管系统中的应用

网络流量监测技术是电信运营商所关注的重点之一。随着网络传输带宽的不断增加,传统的基于磁盘的处理技术已经不能够满足运营管理的需要,数据流处理技术的出现为网络流量监测应用提供了一种新的解决方案。SMART[1,2]和RealMon[3]是将数据流处理技术应用于网络流量监测的两个应用系统。文中结合上海电信在骨干网流量监测上的应用需求,对这两个系统的设计与应用进行了介绍。SMART系统以数据流上的频繁项挖掘算法为基础,支持NetFlow数据流上长时间滑动窗口内的Top-K查询,实现了对网络流量分布的实时监测。RealMon系统采用数据流上的降维分析算法对SNMP数据流进行分析,通过监测网络链路上不同流量数据的相关性变化来发现异常流量。实验和在真实环境中的应用表明,SMART和RealMon系统能够满足骨干网流量监测应用的需要,并且极大地提高了监测系统的性能。     

利用链路相关性进行网络流量异常检测

传统的网络异常检测方法应用于具有较大链路数量的网络上时,往往存在着误报率高、检测范围不够全面、检测效率不能满足高速网络实时监测需求等问题。由于多链路之间往往存在有较强的相关性,这种相关性反映了链路流量的整体趋势,可以被用来进行网络流量异常分析。采用基于PCA的相关性分析方法对网络流量异常检测进行研究,利用链路之间相关性评估网络流量的异常。实验证明,这种方法应用于大规模流量异常检测是简单有效的。     

链路失衡干扰下网络流量异常点挖掘仿真

网络数据中心流量的异常会占用大量的带宽资源,且数据流量具有多样化特征,尤其当网络链路流量失衡时,通过部署监测软件获取的节点信息已经无法实时监控流量状态。为此提出链路失衡干扰下网络流量异常点挖掘方法。利用卷积神经网络自编码器对网络流量去噪,有效控制链路失衡对流量数据挖掘的影响。通过对比正常流量点与异常流量点提取网络流量特征,结合马氏距离到改进的自编码神经网络系统中挖掘网络流量异常点。实验结果表明,研究方法的网络流量异常点挖掘准确率可稳定在90%以上,F1值始终高于0.8,误报率不高于0.5%。     

HiTM：一种高速流量采集方法

针对目前高速流量采集存在的问题,对被采样的数据使用Hash算法压缩流ID长度,并在本文提出了一种高速流量采集方法HiTM。HiTM多级过滤器前增加一个高速缓存,减少流ID处理时的访存次数和多级过滤器的报文处理数目,提高处理的效率。理论和实验表明,HiTM与目前的经典算法相比具有错误率低、访存次数少、统计速度快的特点,可以应 应用于高速网络流量采集。同时,算法的内存需求可以预先给定,在网络规模扩大时,算法的精度也可以得到很好的控制。     

流量抽样关键技术研究

网络管理和监控是网管系统和流量工程的重要组成部分.随着网络的高速发展,实时有效的流量抽样技术对网管系统和网络监控系统越来越重要.传统的网络流量测量是对链路上通过的所有报文进行都捕获和统计的方式进行的.随着网络技术的发展,传统的流量测量方法会对测量设备产生很大的开销,因而变得不再实用.为了解决上述问题文章对现有网络流量监测技术进行研究,首先对流量测量方法和流特征进行介绍,然后介绍了现有抽样技术的种类以及现有抽样技术的研究现状,最后介绍了三种具体的自适应抽样技术.     

IPv6 网络监控分析技术研究

本文设计并实现了一个 IPv6 高速网络流量分析系统。为了兼容运营商不同网络类型的流量采集,系统提出一个大规模分布式的流量采集器,实现 IPv4 和 IPv6 不同时间粒度网络流采集和归并。进一步,为了减少无效的比较操作次数,提出了基于信息熵的快速归并方法,使用网络流归并时可能出现的结果数量作为该方法的输入,根据归并指标的信息熵判断归并时比较操作的先后顺序。IPv6 高速网络流量分析系统在中国科技网上部署,实现了对 IPv4/IPv6 骨干网络流量采集和分析。     

应用于高速网络的基于报文采样和应用签名的BitTorrent流量识别算法

在高速网络上进行P2P流量识别具有极大的困难,因为基于端口号的方法已经不再准确,而基于应用签名的方法没有足够高的处理效率.提出了应用于高速网络的基于报文采样和应用签名的BitTorrent流量识别算法.建立了误检率和漏检率模型来分析报文采样率和签名率对识别准确度的作用,并指导应用签名和采样率的选择.通过开发流状态判别预处理器,在Snort平台上实现了该流量识别算法.实验结果表明该流量识别算法处理效率和准确度都是令人满意的,能应用于高速网络环境.在普通个人计算机上,对采样报文的处理效率在800Mbps以上.将该方法应用于报文处理,当采样率为0.5时漏检率为0.6%,当采样率为0.1时漏检率为5.9%,当采样率为0.05时漏检率为10.5%.将该方法应用于流数据分析,当采样率为0.5时漏检率为0.06%,当采样率为0.1时漏检率为0.33%,当采样率为0.05时漏检率为1.1%.该方法展现了优秀的误检性能,没有任何报文被误检.实验结果也表明误检率和漏检率模型是非常准确的.     

基于模糊控制的自适应流量抽样方法

针对系统抽样中恒定报文采样概率方法异常检测的漏检率高和随机报文采样概率偏向于采集长流的缺陷,提出了一种模糊自适应流量抽样方法。该方法利用网络流量的相关性设定采样率,并实时自适应预测采样粒度,自动在允许误差范围内进行尽可能精确地测量,更好地捕捉到网络流量特征和网络行为特征。实验证明,所提方法不但能减少抽样数据对于异常检测的影响,而且可以高效地反映原始数据的异常情况。自适应模糊控制系统结构简单,易于实现,其控制策略达到了较高的工艺水平的要求,具有良好的预测性,并能提高流量检测的精确度,具有一定的推广价值。     

面向交通信息采集的智能无线传感器节点

为了准确实时获取交通信息参量,利用无线传感器网络技术作为智能交通感知前端和通信手段,融合GPRS技术,构建交通信息采集网,为道路交通信息采集提供了更加便捷的解决方案。设计了交通信息采集的传感器节点,提出了动态车辆探测算法和车速测量算法。实测结果表明:动态车辆探测算法和车速测量算法能够在计算能力有限的传感器节点上实现,能准确实时地获得车流量、车速等交通参量;该交通信息采集系统能满足网络大规模部署的需求,可应用于智能交通系统。     

应用级流量测量系统IPTMAS

对于新出现的网络应用多样化及复杂化带来的流量测量困难问题,本文介绍了一种新型的应用级流量测量方法及其系统IPTMAS的实现.该方法实现了应用级流量类型组合识别技术,可准确识别产生网络流量的应用类型.IPTMAS系统可以同时支持数据包级和网络流级流量测量,提供了扩展流监测接口,允许灵活配置监测策略,以更好地平衡流量的信息量
与数据量需求.实验结果验证了方法的有效性.     

一种基于两级存储结构的网络流量测量算法

为了准确而完备地测量高速骨干网中各条流的流量,需要容量大且速度快的存储器来保存所有流的状态信息,因而代价极高。该文提出了一种基于两级存储结构的网络流量测量算法。两级存储结构由容量小但速度快的一级存储器和容量大但速度慢的二级存储器构成。考虑到网络流量分布的Quasi-Zipf法则,测量算法尽量将大流量流的状态信息保存在一级存储器中,将小流量流的状态信息保存在二级存储器中,较好地解决了存储器容量和速度之间的矛盾。仿真结果表明,与抽样测量相比,该算法具有较小、较平均的测量误差。 关键词：     

基于FARIMA模型的流量抽样测量方法

目前的流量抽样测量方法主要基于传统的数学理论,并没有考虑到实际网络流量的特征,基于此,提出基于FARIMA流量预测的抽样方法,根据流量预测值动态调整抽样率,既减轻了CPU的负载,又节省了存储空间。通过对比实际使用中的流量抽样测量方法取得的数据报文样本均值和Hurst参数,表明该方法能够正确体现原始数据的流量行为统计特征。     

Double sampling for flow measurement on high speed links

Traffic measurement and monitoring are an important component of network QoS management and traffic engineering. With high speed Internet links, efficient and effective packet sampling techniques for traffic measurement are not only desirable, but increasingly becoming a necessity. Packet sampling has become an attractive and scalable means to measure flow data on high speed links. Passive traffic measurement increasingly employs sampling at the packet level and makes inferences from sampled network traffic. However, it meets difficulty in estimating the original flow distribution. To circumvent the problem, we propose and analyze a double sampling technique for flow measurement. In particular, we rewrite the expectation maximization (EM) algorithm that estimates flow distribution for double sampling. Using real network traffic traces, we show that the proposed double sampling technique indeed produces the desired accuracy in estimating the flow distribution.