高速网络流量测量方法

高速网络流量测量是目前实施实时准确地监测、管理和控制网络的基础.基于网络流量测量的应用,将网络流量测量分为抽样方法和数据流方法.从不同的层次,将抽样方法分为分组抽样和流抽样,分别介绍了两类抽样方法;从测度角度介绍了数据流方法.详细介绍了高速网络流量测量的常用数据结构,以及抽样、数据流方法在高速网络流量测量中的应用,比较了各种方法的优劣.概述了高速网络流量测量技术的研究进展.最后,就现有的网络流量测量方法的不足,对网络流量测量的发展趋势和进一步的研究方向进行了讨论.     

基于流量信息结构的异常检测

由于人们对网络流量规律的认识还不够深入,大型高速网络流量的异常检测仍然是目前测量领域研究的一个难点问题.通过对网络流量结构和流量信息结构的研究发现,在一定范围内,正常网络流量的IP、端口等具有重尾分布和自相似特性等较为稳定的流量结构,这种结构对应的信息熵值较为稳定.异常流量和抽样流量的信息熵值以正常流量信息熵值为中心波动,构成以IP、端口和活跃IP数量为维度的空间信息结构.据此对流量进行建模,提出了基于流量信息结构的支持向量机(support vector machine,简称SVM)的二值分类算法,其核心是将流量异常检测转化为基于SVM的分类决策问题.实验结果表明,该算法具有很高的检测效率,还初步验证了该算法的抽样检测能力.因此,将该算法应用到大型高速骨干网络具有实际意义.     

流量抽样关键技术研究

网络管理和监控是网管系统和流量工程的重要组成部分.随着网络的高速发展,实时有效的流量抽样技术对网管系统和网络监控系统越来越重要.传统的网络流量测量是对链路上通过的所有报文进行都捕获和统计的方式进行的.随着网络技术的发展,传统的流量测量方法会对测量设备产生很大的开销,因而变得不再实用.为了解决上述问题文章对现有网络流量监测技术进行研究,首先对流量测量方法和流特征进行介绍,然后介绍了现有抽样技术的种类以及现有抽样技术的研究现状,最后介绍了三种具体的自适应抽样技术.     

改进型分层抽样技术及性能研究

报文抽样技术是高速网络流量测量和管理中使用的一项关键技术。本文通过引进分层特征、层数L、分层边界、各层样本量分配、层内抽样策略5个分层抽样参数,并对其进行重新配置和简单理论探讨,实现对分层抽样技术的改进。同时文章使用简单线性估计推断原始流数据,并借助于Φ偏差检验方法,对改进的分层抽样技术和其它抽样技术在测量网络报文长度分布方面进行准确性性能比较。结果表明,改进的分层抽样技术在测量报文长度分布方面的准确性性能远高于其它抽样方式,提高了测量的精度。     

一种新S4自相似网络业务模型

大量研究表明.网络流量过程普遍存在统计自相似特性.目前最常用的自相似业务模型是分形布朗运动(FBM)(一种高斯自相似过程),它能刻画流量的自相似特性,但不能刻画网络的突发特性.而最近的实验研究表明,许多业务种类表现出更强的突发(或重尾)性.本文深入研究一种α-稳定自相似过程,它能同时刻画流量的自相似和突发(重尾)特性.本文针对稳定分布的特点.提出了一种改进的偏态线性分形稳定噪音模型,这种新模型具有参数一致性优点.     

自相似网络流量差分分析新方法

多媒体网络流量具有重尾特性及自相似特性,已得到了广泛的认同.而Alpha-stable过程作为Gaussian过程的推广能很好地描述重尾特性及自相似特性.在简要介绍了Alpha-stable分布和Alpha-stable过程的基础上,本文研究分析了当前基于线形分形稳定噪声(LFSN)理论的网络业务流量模型,并提出了基于差分分析的新方法及基于差分分析的LFSN流量模型参数估计新方法.对Bellcore实验室采集数据的拟合验证结果表明,该估计方法能准确确定模型参数.     

基于TCBF算法的网络流信息统计

针对传统的网络流信息统计算法容易溢出、频繁更新等特点,提出一种基于TCBF(time bloom filter & counting bloom filter)的网络流信息统计算法用于实时在线统计高速网络流信息.算法一方面利用短流超时特点使用time bloom filter抽取短流信息;另一方面利用网络流量分布呈现重尾分布的特性使用counting bloom filter 过滤长流报文.分析了算法的复杂度和误判率,并通过模拟数据分析了算法参数配置对于流信息统计准确性和抽样率的影响.理论分析和仿真结果表明,与标准counting bloom filter相比,TCBF算法可以在使用较少的存储空间的条件下,及时、准确地对网络流量信息进行统计,满足实际测量需要.     

考虑空间相关性的数据空间特征提取方法

针对具有空间分布特性的时空数据,首先考虑数据的空间相关性对数据进行空间系统抽样,形成灾害数据空间分布样本;然后考虑样本数据的时间维度,运用粗糙集数据约简方法提取数据的空间特征.空间抽样方法能保证抽样精度、提高抽样效率;基于样本数据的约简技术能在保证数据主要传达信息不丢失的前提下对数据进行有效压缩、极大降低数据量,是解决海洋灾害数据监测花费巨大、数据分析繁杂的一种客观方法.最后,以某浅滩某次海洋灾害时空数据进行仿真,验证了数据简约方法的优良性.     

IP报文总长字段统计属性研究

由于网络技术的迅速发展及吉比特以太网的出现,对流量进行全分组测量越来越困难,采用抽样方法并以抽样样本来估计网络流量的总体特性已成为研究重点.一般情况下,总体服从什么分布是未知的,对总体是否服从某个分布作检验,常用的方法是x^2分布检验法.然而,当样本中IP报文长度比较集中时,大量实验结果表明IP报文的总长字段不服从x^2分布,但并不能认为抽样样本的统计分布和总体的统计分布就不相同.本文提出了IP报文总长字段的一种新的检验方法——累计偏差检验法,并在南华大学校园网总出口上进行了抽样实验,结果证明抽样样本的分布和总体的分布相同,同时也证明了这种检验方法是非常有效的.     

基于模糊控制的自适应流量抽样方法

针对系统抽样中恒定报文采样概率方法异常检测的漏检率高和随机报文采样概率偏向于采集长流的缺陷,提出了一种模糊自适应流量抽样方法。该方法利用网络流量的相关性设定采样率,并实时自适应预测采样粒度,自动在允许误差范围内进行尽可能精确地测量,更好地捕捉到网络流量特征和网络行为特征。实验证明,所提方法不但能减少抽样数据对于异常检测的影响,而且可以高效地反映原始数据的异常情况。自适应模糊控制系统结构简单,易于实现,其控制策略达到了较高的工艺水平的要求,具有良好的预测性,并能提高流量检测的精确度,具有一定的推广价值。     

基于混合Kotz-型分布的多分类人脸识别方法

针对实际人脸图像中含有重尾噪声的问题,提出一种基于混合Kotz-型分布的多分类人脸识别方法。利用Kotz-型分布与广义逆厂分布混合表现出的较厚拖尾特性,结合核方法和概率统计知识,通过调节混合Kotz-型分布中的参数,估计人脸图像中重尾噪声的拖尾情况。分别向ORL人脸库、Yale人脸库、Randface人脸库添加程度不同的重尾噪声,形成新的含有不同程度重尾噪声的人脸库,通过对3个人脸库进行验证,结果表明,该方法能较好地估计人脸图像的拖尾特性,对含有重尾噪声的人脸图像有较高的识别率。     

拖尾Rayleigh 分布: 基本性质及其应用

针对使用拖尾Rayleigh分布对合成孔径雷达(Synthetic aperture radar, SAR)幅值图像建模时遇到的问题, 本文讨论了拖尾Rayleigh分布的相关性质及其应用. 首先, 基于负数阶矩理论, 本文提出了拖尾Rayleigh分布的比值估计、对数矩估计和迭代对数矩估计三种参数估计方法, 并通过Monte Carlo仿真实验比较了它们的估计性能. 其次, 本文使用渐近级数计算拖尾Rayleigh分布的概率密度函数, 基于插值多项式拟合, 提出了高效计算密度函数的三步方法. 最后, 本文给出了SAR幅值图像基于拖尾Rayleigh分布的建模实例. 结果表明, 和一般的Rayleigh分布相比, 拖尾Rayleigh分布可以精确反映SAR幅值图像尖峰厚尾的统计特征, 因此它是SAR幅值图像建模的有效工具.     

基于最大互相关熵UKF的传感网目标状态和系统偏差联合估计算法

针对空天地一体化传感网络中传感器观测目标时观测噪声具有重尾或突变性质的问题以及系统偏差对目标状态估计的影响,提出一种基于最大互相关熵无迹卡尔曼滤波（MCUKF）的目标状态和系统偏差联合估计（ASMCUKF）算法。MCUKF算法首先通过无迹变换（UT）获得预测状态估计值和协方差矩阵,然后使用基于最大互相关熵准则（MCC）的非线性回归方法重新构建观测信息,增强了UKF对重尾噪声的鲁棒性。ASMCUKF算法通过目标状态向量扩维的方法建立状态方程和带有系统误差的非线性观测方程,根据估计的系统偏差进行偏差配准,改善了系统偏差对目标状态估计的影响。仿真结果表明,ASMCUKF在重尾非高斯观测噪声的环境下对通信目标状态和系统偏差的估计效果比传统方法更好。     

A quantile estimation for massive data with generalized Pareto distribution

This paper proposes a new method of estimating extreme quantiles of heavy-tailed distributions for massive data. The method utilizes the Peak Over Threshold (POT) method with generalized Pareto distribution (GPD) that is commonly used to estimate extreme quantiles and the parameter estimation of GPD using the empirical distribution function (EDF) and nonlinear least squares (NLS). We first estimate the parameters of GPD using EDF and NLS and then, estimate multiple high quantiles for massive data based on observations over a certain threshold value using the conventional POT. The simulation results demonstrate that our parameter estimation method has a smaller Mean square error (MSE) than other common methods when the shape parameter of GPD is at least 0. The estimated quantiles also show the best performance in terms of root MSE (RMSE) and absolute relative bias (ARB) for heavy-tailed distributions.     

基于重尾特性的SYN洪流检测方法

单独以SYN/TCP值判断网络是否发生SYN洪流攻击的检测效率较低,且SYN 洪流攻击不能模拟正常网络流量的重尾分布特性。该文提出将SYN/TCP的统计阈值和流量重尾特性相结合来检测SYN洪流攻击的方法,并用MIT的林肯实验室数据进行了实验。实验证明该方法简便、快捷、有效。     

重尾分布对网络流量性质的影响

重尾边缘分布的网络流量同时存在尺度突发和局部突发。对重尾分布的性质的研究表明重尾分布变量有很强的不稳定性,在网络流量建模中需要足够长的序列来减小重尾分布不稳定性引起的误差。仿真实验结果表明重尾分布的流量在小时间尺度上符合重分形模型。     

Estimation of distribution algorithms with Kikuchi approximations

The question of finding feasible ways for estimating probability distributions is one of the main challenges for Estimation of Distribution Algorithms (EDAs). To estimate the distribution of the selected solutions, EDAs use factorizations constructed according to graphical models. The class of factorizations that can be obtained from these probability models is highly constrained. Expanding the class of factorizations that could be employed for probability approximation is a necessary step for the conception of more robust EDAs. In this paper we introduce a method for learning a more general class of probability factorizations. The method combines a reformulation of a probability approximation procedure known in statistical physics as the Kikuchi approximation of energy, with a novel approach for finding graph decompositions. We present the Markov Network Estimation of Distribution Algorithm (MN-EDA), an EDA that uses Kikuchi approximations to estimate the distribution, and Gibbs Sampling (GS) to generate new points. A systematic empirical evaluation of MN-EDA is done in comparison with different Bayesian network based EDAs. From our experiments we conclude that the algorithm can outperform other EDAs that use traditional methods of probability approximation in the optimization of functions with strong interactions among their variables.     

基于高斯–广义双曲混合分布的非线性卡尔曼滤波

本文研究带非平稳厚尾非高斯量测噪声的非线性系统状态估计问题.考虑到广义双曲分布包含多种常见厚尾分布特例,且其混合分布为共轭的广义逆高斯分布,选用广义双曲分布建模厚尾噪声;进而引入伯努利变量构建高斯–广义双曲混合分布来建模非平稳厚尾噪声,并利用该分布的高斯分层结构得到系统的概率模型.随后采用变分贝叶斯方法实现对系统状态以及噪声参数的后验估计,得到针对此类噪声系统的卡尔曼滤波(Kalman filter, KF)框架,现有的几种鲁棒滤波算法均是本文算法的特例.机器人跟踪仿真实验表明,所提算法与同类算法相比具有更好的估计精度和数值稳定性,且对于初始参数具有较好的鲁棒性.     

Query Size Estimation for Joins Using Systematic Sampling

We propose a new approach to the estimation of query result sizes for join queries. The technique, which we have called systematic sampling—SYSSMP, is a novel variant of the sampling-based approach. A key novelty of the systematic sampling is that it exploits the sortedness of data; the result of this is that the sample relation obtained well represents the underlying frequency distribution of the join attribute in the original relation.We first develop a theoretical foundation for systematic sampling which suggests that the method gives a more representative sample than the traditional simple random sampling. Subsequent experimental analysis on a range of synthetic relations confirms that the quality of sample relations yielded by systematic sampling is higher than those produced by the traditional simple random sampling.To ensure that sample relations produced by systematic sampling indeed assist in computing more accurate query result sizes, we compare systematic sampling with the most efficient simple random sampling called t_cross using a variety of relation configurations. The results obtained validate that systematic sampling uses the same amount of sampling but still provides more accurate query result sizes than t_cross. Furthermore, the extra sampling cost incurred by the use of systematic sampling pays off in a cheaper query execution cost at run-time.