基于数据中心流量特征的端到端流量估计算法

数据中心是云计算等大型分布式计算服务的基础,有效地设计与管理数据中心需要遵循数据中心网络的端到端流量特征。然而直接地测量网络的端到端流量需要耗费巨大的软件成本和硬件成本,并且由于数据中心网络结构的特殊性,传统的计算机网络采用的流量估计方法也无法适用于现有的数据中心网络。为解决以上问题,首先依据数据中心的资源分配和链路利用率情况提取出网络的粗粒度流量特征,在此基础上提出一种基于重力模型和网络层析技术的数据中心端到端流量估计算法。与现有的流量推理算法Tomogravity和ELIA在NS3搭建的不同规模的数据中心网络中进行性能对比,实验结果表明,所提算法能有效地利用提取出的粗粒度流量特征,在保证计算效率的前提下将计算准确度大幅提升,可满足当前数据中心网络实时获取端到端流量数据的需求。     

基于能量的WSN多跳簇生成算法

提出一种基于能量的多跳簇生成(EMHC)算法,根据剩余能量争先原则选择簇首,并采用最小通信代价的多跳簇内结构。通过OMNet++模拟器对算法进行实验,结果表明,EMHC形成的簇首分布较为均匀,可以利用最佳多跳路径节约传输能量,提高网络生存时间,与LEACH和HEED算法相比具有较大优势。     

网络中突发业务自相似建模及其Hurst系数估计

提出了一种基于自回归AR模型的Hurst系数的估计方法，并给出了数学推导过程。采用真实网络突发业务的仿真结果表明，该文所提出的方法比传统的R／S法等估计方法具有更高的估计精度，能更好地反映真实网络业务流量的自相似性。该方法可望用于网络业务流量的管理和网络拥塞控制。     

一种基于超统计理论的非平稳时间序列异常点检测方法研究

从非平稳时间序列的分布函数及其参数入手,主要研究分布函数不变分布参数变化的这一类非平稳的时间序列异常点检测方法,提出了基于超统计的异常检测方法,并将其应用于非平稳网络流量时间序列。从网络流量的非平稳和突发性特点出发,特别考虑到由于攻击流量所引起的流量特性的变化,结合超统计理论,主要研究分布参量的变化。根据超统计的理论,先应建立分布统计模型,研究分布模型不同参数变化对分布的决定性作用,从而将异常网络流量的检测研究转化成对慢变量参数序列的检测研究。该检测方法大大降低了计算的复杂度。通过大量实验表明该方法具有良好的效果。     

基于相空间重构双参数联合估计的网络流量预测

为了提高网络流量预测精度,提出一种基于相空间重构双参数联合估计的网络流量预测模型.首先采用极限学习机作为网络流量预测算法,然后预测结果优劣指选择相空间重构参数,最后建立单步、多步的网络流量预测模型,并通过仿真实验对其性能进行分析.结果表明,论文模型可以准确获得最优相空间重构参数,显著提高网络流量的预测精度,预测结果明显优于对比模型.     

分析网络通信量的一个新方法:PCA

分析网络通信量的传统方法是使用变尺度函数计算Hurst参数,其计算结果不准确,不能正确判断模型拟合度。文章使用主成分分析计算Hurst参数,判断通信量模型的拟合度,分析同一模型不同参数的差别不明显的数据,结果表明该方法新颖而有效。     

GAN-TM:一种基于生成对抗网络的流量矩阵推断机制

随着当前互联网技术的快速发展,网络规模和复杂度不断提高,由于流量矩阵对于网络管理、流量工程、异常检测等都具有重要意义,因此准确测量流量矩阵对于计算机网络而言极其重要.当前针对流量矩阵的测量机制主要可以分为直接测量法和估计推断法,其中估计方法又包括简单统计反演法、附加链路测量信息法以及测量反演结合法.现有测量机制在准确性...     

基于统计预测算法的新型网络性能预警系统

随着计算机网络的迅速发展,网络的规模越来越大和复杂,相应对网络有效管理的要求也越来越高.通过对CHINANET上某个端口网络流量数据的统计分析,提出了一种针对网络流量状态某一时刻的历史信息,利用统计预测相关算法对网络性能进行预警的新方法.能根据不同网络运行状态更及时更准确地预测出网络不同时间段的各种异常情况,有效分析网络运行效率并及时发现瓶颈,为优化网络性能提供了有力依据.     

基于测量的QoS参数估计及其应用

提出了一种基于测量的QoS参数估计方法,该方法使得用户无须事先为业务源建立相应的业务模型并向网络提交其业务模型参数,而是通过对业务流的统计特性进行实时测量来动态估计相应的QoS参数,从而克服了基于模型QoS参数估计方法所固有的缺陷,便于网络进行连接允许控制和带宽的动态分配.     

基于分布式统计时间序列的网络流量分析

研究网络数据在分布式存储下的相关性,有利于入侵检测整体的学习和指导优化数据的存储.重点研究了网络传输过程中各种类型数据的流量的这种相关性,提出了一种基于分布式统计(DS)的时间序列分析方法:根据网络协议间的关系将数据包分组,分析数量关系并给出报警阈值.仿真实验结果表明,该方法能较好地发现各种网络攻击.     

网络业务多重分形特性研究

聚集网络业务的多重分形特性既能考查多尺度下业务的突发性,又能描述突发性相对于时间的变化,是网络业务最显著的统计特性之一.使用网络流量的联合多重分形(JMF)模型 [7]对实际数据进行分析及参数估计,检测网络业务多重分形结构,并产生理论多重分形流量.将JMF模型理论流量、基于自相似特性的分形布朗运动(FBM)模型的理论流量和实际测量流量作为OPNET仿真驱动,进行网络性能仿真.仿真结果显示由JMF模型产生的理论流量与实际测量流量的性能更为接近,进一步验证了网络业务的多重分形特性.     

基于PSR-LSSVM的网络流量预测

为了提高网络流量预测精度,利用相空间重构和预测模型参数间的相互联系,提出一种遗传优化最小二乘支持向量机的网络流量预测方法。首先将相空间重构和最小二乘支持向量机参数作为遗传算法的个体,将模型预测精度作为个体适应度函数,然后通过遗传操作获得模型全局最优参数,最后通过网络流量仿真实验进行性能测试。结果表明,相对于传统预测方法,遗传优化最小二乘支持向量机提高了网络流量的预测精度,为网络流量预测提供了一种新的研究思路。     

基于矢量空间重构的网络流量预测算法

客户机与服务器之间存在数据存储隐通道,对该通道的网络流量进行准确预测可避免网络拥堵,提高网络流量的调度和管理能力。传统方法采用线性时间序列分析方法进行网络流量预测,没有准确反映流量序列的非线性特征信息,预测精度不高。提出一种基于非线性时间序列分析和矢量空间重构的网络流量预测算法。进行相位随机化处理,使得网络流量数据离散解析化,把网络流量时间序列解析模型分解为含有多个非线性成分的统计量。采用自相关函数法求得矢量空间重构的时间延迟,采用互信息最小嵌入维算法求得网络流量序列的矢量空间嵌入维,实现流量序列的矢量空间重构。在高维矢量空间中,提取网络流量的高阶谱特征,实现网络流量的准确预测。仿真结果表明,采用该算法能有效拟合流量序列的非线性状态特征,对流量状态变化的动态跟踪性能较好,其预测误差比传统方法的低。     

Remote detection of bottleneck links using spectral and statistical methods

Persistently saturated links are abnormal conditions that indicate bottlenecks in Internet traffic. Network operators are interested in detecting such links for troubleshooting, to improve capacity planning and traffic estimation, and to detect denial-of-service attacks. Currently bottleneck links can be detected either locally, through SNMP information, or remotely, through active probing or passive flow-based analysis. However, local SNMP information may not be available due to administrative restrictions, and existing remote approaches are not used systematically because of their network or computation overhead. This paper proposes a new approach to remotely detect the presence of bottleneck links using spectral and statistical analysis of traffic. Our approach is passive, operates on aggregate traffic without flow separation, and supports remote detection of bottlenecks, addressing some of the major limitations of existing approaches. Our technique assumes that traffic through the bottleneck is dominated by packets with a common size (typically the maximum transfer unit, for reasons discussed in Section 5.1). With this assumption, we observe that bottlenecks imprint periodicities on packet transmissions based on the packet size and link bandwidth. Such periodicities manifest themselves as strong frequencies in the spectral representation of the aggregate traffic observed at a downstream monitoring point. We propose a detection algorithm based on rigorous statistical methods to detect the presence of bottleneck links by examining strong frequencies in aggregate traffic. We use data from live Internet traces to evaluate the performance of our algorithm under various network conditions. Results show that with proper parameters our algorithm can provide excellent accuracy (up to 95%) even if the traffic through the bottleneck link accounts for less than 10% of the aggregate traffic.     

网络业务流量自相似性及判断方法研究

随着网络规模的扩大,网络速度的提高,对于网络业务流量特性的研究已经成为网络性能分析最主要的方向之一。通过对网络流量的研究,可以为预测网络性能、保障关键业务所需的QoS等应用提供必要的支持。主要介绍网络流量自相似性以及形成自相似的可能原因以及自相似程度的判断方法。     

基于定量递归联合熵特征重构的缓冲区流量预测算法

对网络基站缓冲区的短时网络流量的准确预测是缓解和控制拥堵的关键.基站缓冲区的短时网络流量时间序列具有非线性混沌特征,其自相关特性较弱,而传统方法采用线性时间序列分析方法没能有效挖掘流量序列的非线性特征信息,流量序列预测性能不好.提出了一种基于非线性时间序列分析的定量递归联合熵特征重构网络基站缓冲区的短时网络流量预测算法,该算法提取流量序列的定量递归联合熵特征,并对特征序列进行相空间重构;把网络流量信号模型进行高维映射,在高维相空间对短时网络流量序列进行定量递归分析;采用自相关特征奇异分解对流量序列进行聚合后的线性叠加,采用平均互信息算法和虚假最近邻点算法计算最佳时延参数和最小嵌入维;进行插值拟合形成时频分析特征分流控制,实现对网络流量的预测.仿真结果表明,该算法预测精度较高,稳定性较好,预测偏差较传统方法低,具有较好的应用价值.     

NetStream技术应用

NetStream技术是一种基于网络流量信息的统计技术,通过对华为9306型号交换机的配置实现对流量数据的采集与发送;基于V5版本的报文格式,开发了流量数据接收与存储软件,以完成流量数据的收集与存储;使用第三方流量监测软件Netflow Analyzer对统计信息进行了分析,分析的结果可以为网络计费、流量监控和分析等提供依据。     

自相似流量关键参数分析

大量的研究结果表明,网络流量过程普遍存在着自相似和长相关特性,自相似和长相关特性对网络性能具有重要的影响.目前绝大部分研究都集中在Hurst系数的估计及其性能影响上,这是不全面的.本文深入研究影响网络性能的自相似流量关键参数,通过仿真分析Hurst系数和方差系数对网络性能的影响,表明Hurst系数和方差系数对网络性能均有重要的影响.分析了方差对网络性能影响的原因,研究了G与方差之间的关系及其计算方法,给出了基于IDC的复合分形更新过程参数的估计算法,分析了分形开始时间对网络性能的影响.     

Real-time available-bandwidth estimation using filtering and change detection

This paper presents a filter-based method BART (Bandwidth Available in Real-Time) for real-time estimation of end-to-end available bandwidth in packet-switched communication networks. BART relies on self-induced congestion, and repeatedly samples the available bandwidth of the network path with sequences of probe-packet pairs. The method is light-weight with respect to computation and memory requirements, and performs well when only a small amount of probe traffic is injected. BART uses Kalman filtering, which enables real-time estimation. It maintains a current estimate, which is incrementally improved with each new measurement of the inter-packet time separation in a sequence of probe-packet pairs. It is possible to tune BART according to specific needs. The estimation performance can be significantly enhanced by employing a change-detection technique. An implementation of BART has been evaluated in a physical test network with carefully controlled cross traffic. In addition, experiments have been performed over the Internet as well as over a mobile broadband connection.     

Robust network planning in nonuniform traffic scenarios

Robustness to the environmental variations is an important feature of any reliable communication network. This paper reports on a network theory approach to the design of such networks where the environmental changes are traffic fluctuations, topology modifications, and changes in the source of external traffic. Motivated by the definition of betweenness centrality in network science, we introduce the notion of traffic-aware betweenness (TAB) for data networks, where usually an explicit (or implicit) traffic matrix governs the distribution of external traffic into the network. We use the average normalized traffic-aware betweenness, which is referred to as traffic-aware network criticality (TANC), as our main metric to quantify the robustness of a network. We show that TANC is directly related to some important network performance metrics, such as average network utilization and average network cost. We prove that TANC is a linear function of end-to-end effective resistances of the graph. As a result, TANC is a convex function of link weights and can be minimized using convex optimization techniques. We use semi-definite programming method to study the properties of the optimization problem and derive useful results to be employed for robust network planning purposes.