基于近似方法的抽样报文流数估计算法

维护每个报文的流记录需要占用大量测量资源.目前已有多种抽样技术估计网络流统计信息,然而精确地估计出流数统计信息是目前的研究难点.提出了Integral和Iteration 两种基于报文抽样样本估计网络流数的算法.Integral算法只需使用抽样流长为1的流数信息就可以近似推导出未抽样的流数.Iteration算法通过建立迭代函数估计未抽样流数,然后根据未抽样流数和已抽样的流数推断出原始流量的流数.采用CERNET(China education andresearch network)骨干网络链路数据将这两种算法与EM(expectation maximization)算法进行对比,表明Iteration算法具有较好的精度和性能.     

双机协作的抽样测量与多次抽样技术研究

阐述了掩码匹配抽样的基本原理，给出了抽样获取Intranet出口流量的基本方法和拓扑结构；为实现长时间的连续抽样测量，设计并用Java 语言实现了两台测量主机之间的协作算法；为逐步而平滑地减少部分数据而不造成原始流量性质失真，提出了基于掩码匹配的多次抽样方法，通过对流量数据的分析表明，多次抽样前后报文的长度分布及协议分布一致。     

IP报文总长字段统计属性研究

由于网络技术的迅速发展及吉比特以太网的出现,对流量进行全分组测量越来越困难,采用抽样方法并以抽样样本来估计网络流量的总体特性已成为研究重点.一般情况下,总体服从什么分布是未知的,对总体是否服从某个分布作检验,常用的方法是x^2分布检验法.然而,当样本中IP报文长度比较集中时,大量实验结果表明IP报文的总长字段不服从x^2分布,但并不能认为抽样样本的统计分布和总体的统计分布就不相同.本文提出了IP报文总长字段的一种新的检验方法——累计偏差检验法,并在南华大学校园网总出口上进行了抽样实验,结果证明抽样样本的分布和总体的分布相同,同时也证明了这种检验方法是非常有效的.     

改进型分层抽样技术及性能研究

报文抽样技术是高速网络流量测量和管理中使用的一项关键技术。本文通过引进分层特征、层数L、分层边界、各层样本量分配、层内抽样策略5个分层抽样参数,并对其进行重新配置和简单理论探讨,实现对分层抽样技术的改进。同时文章使用简单线性估计推断原始流数据,并借助于Φ偏差检验方法,对改进的分层抽样技术和其它抽样技术在测量网络报文长度分布方面进行准确性性能比较。结果表明,改进的分层抽样技术在测量报文长度分布方面的准确性性能远高于其它抽样方式,提高了测量的精度。     

一种新的基于SCBF的流抽样测量算法研究

为提高流测量系统的运行效率,减少其所需存储资源,提出了一种改进的测量并维护其流信息的算法——基于拆分型计数Bloom Filters（Split Counting Bloom Filters）的流抽样。该算法采用基于报文的抽样来实现流抽样,不仅可以使用较少系统资源来维护流信息,同时可适用于不同流量的测量点,提高了测量系统的准确性和可扩展性。     

基于统计分析的高速网络分布式抽样测量模型

分布式被动测量是研究网络行为的一个重要手段，其面临的主要问题是难以实现高速网络流量测量，因此需要使用抽样技术．分布式抽样测量技术需要解决两个关键问题：分布式测量点测量报文的一致性和抽样样本的统计随机性．为此，抽样测量的核心是选择合适的抽样掩码匹配位串，以保证抽样样本的随机性，且实现分布式测量点的信息一致性．文章对CERNET主干网络流量IP报头各字段的随机性进行分析，结果表明标识字段16bits满足抽样掩码匹配位串要求，并对抽样样本的随机性和统计属性进行分析．实验验证抽样样本既能用于网络行为研究也能用于流量行为研究．     

基于流量分析的校园网实时通信性能监测系统

随着互联网应用的飞速发展,用户对于网络通信性能提出了更高的要求,目前网络管理者大多通过发送测试报文的方式获取网络性能和服务质量数据。但这种方式会给网络带来负担,无法满足大规模持续性测量,缺乏可扩展性和持续性。同时网络管理者对端到端通信性能缺乏细粒度的测量,缺乏有效的故障监控和定位分析工具。基于此,设计并实现了基于流量分析的校园网实时通信性能监测系统。通过对校园网出口流量中TCP报文的分析,获取网络延时和丢包信息;线性复杂度的分析算法和基于IP对TCP会话的聚合,确保了系统的可扩展性和持续性;实现细粒度的校园网通信性能的实时监控。     

基于掩码匹配的IP网络流量抽样测量系统研究

提出了基于掩码匹配抽样测量系统的体系结构,把整个系统分为报文采集、报文抽样、信息保存三层来设计并用java实现。重点分析了采用不同的暂存方式时报文抽样层及信息保存层程序的执行时间,比较了三种不同的暂存方式抽样最大延时。     

流量测量的关键技术分析与研究*

流量测量在流量计费、网络资源优化和异常检测等方面有广泛的应用。针对传统的流量测量模型缺乏可扩展性的缺点,提出了一种适用于高速网络的可扩展的流量测量模型。该模型采用报文分批处理的思想引入了两级缓冲区结构,使得缓存报文和流量统计两个过程同时进行。基于此模型,抽象了流量测量的两大关键技术,即流量抽样测量技术和概要数据结构。运用此模型进行高速网络的流量测量,不仅会降低资源的需求、提高分析的速度,而且还不会失去准确性。     

基于多数据源的网络流量矩阵估计

针对目前多数网络流量矩阵估计方法都采用单一的SNMP链路负载或抽样的NetFlow数据的问题,提出一种综合使用多个数据源进行流量矩阵估计的方法,将SNMP链路负载与抽样的NetFlow数据结合作为相互纠错码,设计过滤这2种数据源中脏数据的算法。以校园网为实验环境,与通用重力模型方法的比较结果表明,利用该算法去除脏数据后进行流量矩阵估计具有更高的准确性。     

网络流量自相似特性的研究与探讨

针对校园网络流量自相似特性问题,以测量、分析为启发并对验证机制进行了研究,以数据和分析模型为依据,用典型的工程方法对HTTP流量进行了测量、分析和预测。证实校园网络流量具有典型的自相似性。     

A study of traffic, user behavior and pricing policies in a large campus network

Tsinghua University campus network is a large campus network in China, providing volume-based and flat-rate Internet access service for more than 31,000 students and staff. In order to better understand its traffic, user behavior and pricing policies to facilitate network planning and management, we collect a one-year-long flow-based traffic log and a 10-year-long user-based log at the boundary of this campus network, and then conduct an analysis study on these two data sets. In this paper, we first present characteristics of inbound traffic flows from the aspects of traffic prediction and inference. Then we analyze the geographical origins of incoming flows, and the result reveals that USA, Japan and Korea are the most important source countries of international traffic. Our user-based investigation shows that the properties of users have important influence on their behavior, e.g., major has stronger influence on users’ online time, while occupation has stronger influence on users’ international traffic volume. We also find that there are more and more users choosing flat rate pricing scheme instead of volume based pricing scheme, and these users tend to over-provision when they subscribe from tiered pricing options.     

校园网流量抽样测量系统设计与实现

随着高速网络技术的发展,大多数高校引入了千兆网,校园网络日益规模化和复杂化,使得实时在线的流量测量变得比较困难,基于抽样的流量测量方法作为一种可扩展的测量技术已成为人们经常采用的一种有效的流量测量技术。本文采用"弱化的贪心算法"确定各网段的最佳测点,并采用IP掩码匹配的分布式抽样测量技术将各测量点同步采集的流量经抽样后存储到服务器的不同储存区域,然后根据测量目标对各网段采集的流量进行汇聚、分析和统计。从节约成本出发,本文引入了双机协作抽样技术进行测量,此双测量主机系统充当了服务器、测量器和分析器角色,整个测量无需专用测量器和服务器,可以基本取代市场专用的流控测量设备,能实现对整个校园网流量的掌控。     

利用流控设备管理和优化校园网流量

由于P2P技术迅猛发展,中国药科大学校园网出口拥塞严重,迅雷和网络视频占用了大量带宽,导致校园网用户的正常应用无法保障。为了解决此问题,中国药科大学在校园网出口部署了流控设备,对出口流量进行优化和管理,有效的检测和防止非关键应用对网络带宽资源的大量消耗,保证关键应用的带宽使用,校园网出口流量得到了有效的管理和控制。     

校园网流量自相似性研究

网络流量特征是网络设计和性能分析中所必须考虑的一个重要因素。作者以校网络中心测得的实际网络数据为研究对象,对不同时间尺度内的分组到达数目进行研究,利用方差-时间曲线和R/S图方法对实际流量数据进行分析。结果表明,校园网流量具有自相似性。     

基于WSDM的校园网流量监测系统设计与实现

设计了一种基于WSDM的校园网流量监测系统。以校园网为实验环境,设计并实现了该流量监测系统的原型。通过测试结果分析,证明该系统比传统流量监测系统具有更多的流量采集方式,更好的松耦合性,更容易进行扩展以及服务管理,对基于分布式计算的网络管理系统模型的开发和设计有较好的借鉴价值。     

浅谈校园网的规划设计与管理

随着网络技术迅速发展,校园网的建设已成为各级各类学校实现教育现代化、管理信息自动化不可缺少的基础设施之一。概述了校园网的规划设计方法,对校园网的硬件和软件的设施提出了需求,最后介绍了校园网的安全、故障维护和流量管理的方法,并对校园网的日常管理维护提出了自己的见解。     

Double sampling for flow measurement on high speed links

Traffic measurement and monitoring are an important component of network QoS management and traffic engineering. With high speed Internet links, efficient and effective packet sampling techniques for traffic measurement are not only desirable, but increasingly becoming a necessity. Packet sampling has become an attractive and scalable means to measure flow data on high speed links. Passive traffic measurement increasingly employs sampling at the packet level and makes inferences from sampled network traffic. However, it meets difficulty in estimating the original flow distribution. To circumvent the problem, we propose and analyze a double sampling technique for flow measurement. In particular, we rewrite the expectation maximization (EM) algorithm that estimates flow distribution for double sampling. Using real network traffic traces, we show that the proposed double sampling technique indeed produces the desired accuracy in estimating the flow distribution.