共查询到20条相似文献,搜索用时 531 毫秒
1.
数据包公平抽样通过牺牲长流的包抽样率以换取更高的短流包抽样率,因而比均匀随机包抽样更能保证数据流之间的公平性.现有的公平抽样算法SGS(sketch guided sampling)存在空间效率低、短流估计误差大的问题.提出了一种空间高效的数据包公平抽样算法SEFS(space-efficient fair sampling).SEFS算法的新颖之处在于采用多解析度抽样统计器对数据流流量作近似估计,各个统计器由d-left哈希表实现.采用在OC-48和OC-192骨干网采集的真实流量数据,在数据流流量测量以及长流检测的应用背景下,对SEFS算法和SGS算法的性能进行了比较.实验结果表明,与SGS算法相比,SEFS算法在空间复杂度降低65%的前提下,仍具有更高的估计精度.特别是对于占网络数据流绝大多数的短流而言,SEFS算法估计精度高的优势更为明显. 相似文献
2.
基于流量信息结构的异常检测 总被引:4,自引:0,他引:4
由于人们对网络流量规律的认识还不够深入,大型高速网络流量的异常检测仍然是目前测量领域研究的一个难点问题.通过对网络流量结构和流量信息结构的研究发现,在一定范围内,正常网络流量的IP、端口等具有重尾分布和自相似特性等较为稳定的流量结构,这种结构对应的信息熵值较为稳定.异常流量和抽样流量的信息熵值以正常流量信息熵值为中心波动,构成以IP、端口和活跃IP数量为维度的空间信息结构.据此对流量进行建模,提出了基于流量信息结构的支持向量机(support vector machine,简称SVM)的二值分类算法,其核心是将流量异常检测转化为基于SVM的分类决策问题.实验结果表明,该算法具有很高的检测效率,还初步验证了该算法的抽样检测能力.因此,将该算法应用到大型高速骨干网络具有实际意义. 相似文献
3.
传统的包抽样方法对每一个数据包都以同等的比率抽取,这样就导致了大部分被抽中的是大流,而短流和一般流非常少。高速网络的流量检测需要全面的流信息。针对传统流抽样的缺陷,结合现有的SGS(Sketch Guided Sampling)抽样比与流量成反比的公平抽样思想和动态计数型过滤器,提出更加高效的公平抽样算法DCFS(Dynamic Count Fair Sampling)。DCFS算法使用动态统计过滤器DCF(Dynamic Count Filter)统计流量,相对于SGS算法该方法空间更加高效,而且估计准确性也更好。 相似文献
4.
5.
为实现大规模数据流抽样的公平性与可行性,设计一种自适应数据流公平抽样算法。根据网络负载状况,自适应地调整抽样间隔,对数据流进行分段采样,采集初始样本;根据数据流的大小,以反比例函数为抽样函数,对初始样本进行概率抽样。通过对数据流采集过程的两阶段控制,实现在资源有限的情况下,对数据流进行公平合理的抽样。仿真结果表明,相较其它抽样算法,使用该算法抽样的样本更加公平准确。 相似文献
6.
为了减轻用户负担,针对k-means算法的k值给定问题进行了研究,提出了一种k值自动获取方法。对所需要聚类的数据进行抽样,对抽样数据相互之间的间距进行计算,获得密度参数R,Z和簇划分参数r,m,h。在多次抽样数据得到的参数集中,选取一组最小的参数运用到动态k-means算法中,获得k值。在自动获取参数的基础上,通过实验对簇间属性相似数据获得了准确率较高的聚类结果。实验结果表明,该算法提高了k-means算法的自动化计算能力。 相似文献
7.
8.
网络管理和监控是网管系统和流量工程的重要组成部分.随着网络的高速发展,实时有效的流量抽样技术对网管系统和网络监控系统越来越重要.传统的网络流量测量是对链路上通过的所有报文进行都捕获和统计的方式进行的.随着网络技术的发展,传统的流量测量方法会对测量设备产生很大的开销,因而变得不再实用.为了解决上述问题文章对现有网络流量监测技术进行研究,首先对流量测量方法和流特征进行介绍,然后介绍了现有抽样技术的种类以及现有抽样技术的研究现状,最后介绍了三种具体的自适应抽样技术. 相似文献
9.
针对现有采样算法存在可扩展性和公平性差的问题,提出一种基于流数约减的非线性公平采样算法(adaptive fair sampling based on reducing flow numbers,AFS-RFN).AFS-RFN算法首先采用均匀抽样的方法对要统计流数进行约减,获得样本流集合;然后,对属于样本流集合的分组采用非线性的方法进行公平采样,实现控制统计流数目的同时保证统计流信息的准确性.仿真表明,与ANLS(adaptive non-linear sampling)算法相比,AFS-RFN算法大幅降低了存储开销,同时,将算法的公平性提高了60%.算法具有良好的可扩展性和公平性. 相似文献
10.
定义具有概率影响扩散保证的最小代价种子选择问题,验证了该问题是NP难的,且其影响函数是单调且次模的.将LT模型下的传播网络看成一个不确定图,对不确定图的可能世界进行抽样.为降低计算复杂度,提出一种对抽样图进行路径计数的算法来估计影响传播,使用VC维估计抽样图的数量.基于贪婪方法,提出一种求解该问题的算法,对该算法的误差进行分析.实验结果表明,该算法比其它方法具有更高的性能. 相似文献
11.
一种改进的自适应流量采样方法 总被引:1,自引:0,他引:1
高速链路对实时网络流量监测提出挑战.由于流量采集分析设备性能的限制,采用精确、高效的采样方法进行流量监测分析已成为必然.最简单的固定概率采样能监测较大业务流,但往往忽略掉比例几乎超过80%的较小业务流.数据流算法可以实时高效采集高速链路数据,基于该算法的SGS(sketch guided sampling)采样技术可以实时准确估计流大小分布,但当采样速率增大到监测系统处理能力最大值时,该方法的准确性迅速降低.基于SGS方法,提出一种自适应实时网络流量的采样方法SRGS(sketch and resources guided sampling).该方法将监测系统处理能力作为采样概率调节的一个重要参数.实验结果显示,SRGS方法能够及时根据当前流大小和监测系统处理能力,调节数据包采样概率,准确性高于SGS方法. 相似文献
12.
高速网络中,流量抽样测量技术是一种重要可扩展的解决方案,其中NetFlow在流量测量中有着广泛的应用。针对NetFlow的缺陷提出了一种基于业务流数量自适应的资源限制分组抽样算法,该算法结合 “分层抽样”的思想,把 “累积业务流数量”作为重要的参数,来自适应地调节抽样概率,该抽样方法简单、易于实现,平衡了资源的消耗量和准确性。并基于实际互联网数据进行了实验比较,结果显示:该方法具有简单性、自适应性、资源可控性的同时不会失去准确性。 相似文献
13.
高速网络流量测量方法 总被引:1,自引:1,他引:1
高速网络流量测量是目前实施实时准确地监测、管理和控制网络的基础.基于网络流量测量的应用,将网络流量测量分为抽样方法和数据流方法.从不同的层次,将抽样方法分为分组抽样和流抽样,分别介绍了两类抽样方法;从测度角度介绍了数据流方法.详细介绍了高速网络流量测量的常用数据结构,以及抽样、数据流方法在高速网络流量测量中的应用,比较了各种方法的优劣.概述了高速网络流量测量技术的研究进展.最后,就现有的网络流量测量方法的不足,对网络流量测量的发展趋势和进一步的研究方向进行了讨论. 相似文献
14.
改进型分层抽样技术及性能研究 总被引:2,自引:2,他引:0
报文抽样技术是高速网络流量测量和管理中使用的一项关键技术。本文通过引进分层特征、层数L、分层边界、各层样本量分配、层内抽样策略5个分层抽样参数,并对其进行重新配置和简单理论探讨,实现对分层抽样技术的改进。同时文章使用简单线性估计推断原始流数据,并借助于Φ偏差检验方法,对改进的分层抽样技术和其它抽样技术在测量网络报文长度分布方面进行准确性性能比较。结果表明,改进的分层抽样技术在测量报文长度分布方面的准确性性能远高于其它抽样方式,提高了测量的精度。 相似文献
15.
网络测量中自适应数据采集方法 总被引:7,自引:2,他引:7
抽样方法广泛地应用于网络测量与其他领域对被测总体的指标进行估计.研究表明,多种网络指标呈现重尾分布或自相似的特征.这些特性为准确估计总体指标带来了诸多困难.但同时,对被测网络指标进行建模也有着重要的应用.然而,建立精确网络模型是困难的.从时间序列拟合角度出发,提出了一种基于拟合的自适应抽样方法,对被测指标进行基于测量的建模.工作主要体现在: (1) 采用分段线性函数对被测指标进行逼近,建立基于测量的模型; (2) 与常用的抽样方法相比,在相同的样本数情况下,由拟合模型对指标进行的估计更准确、更稳定;通过对两个测量记录的分析表明,在与常用抽样方法保持相同的拟合误差时,自适应抽样方法明显地减少了所需采集的样本数量; (3) 与其他概率抽样方法相比,自适应抽样最终抽取的样本数更稳定、更可靠,并给出了最终样本数的概率分布. 相似文献
16.
采样是网络异常检测中数据采集的主要方法。而网络流的持续时间、数据包的大小、异常流量出现的频率等都在不断变化,给准确的采样带来很多负面的影响。为此,提出了特征感知的自适应采样技术,在流量特征不断变化的情况下可以自动调整采样率,并将它和随机采样技术、选择采样技术进行比较,研究了这些采样技术在网络行为分析系统中保留网络特征的能力,实验结果表明此方法在保留网络特征和异常检测质量评估中,明显优于其他方法。 相似文献
17.
作为当前流行的内容共享和信息传播的平台,在线社会网络(online social network, OSN)(例如Facebook和Twitter)已经吸引了各个领域研究人员的关注.然而,研究者通常很难获取完整的在线社会网络数据集,取而代之的是通过一个具有代表性样本集来估计完整网络的特性.因此,怎样获得无偏样本集或对网络特性进行无偏估算成为了OSN研究的关键前提.对在线社会网络的无偏采样技术研究现状进行了综述分析.首先在理论上给出了大规模网络无偏采样的充分必要条件,接着从采样原理、采样偏见性和采样效率3方面对目前常用的采样技术进行了对比分析,最后讨论了在线社会网络采样技术的发展趋势.该工作为在线社会网络采样技术的使用及其研究提供了重要的参考价值. 相似文献
18.
基于统计分析的高速网络分布式抽样测量模型 总被引:16,自引:0,他引:16
分布式被动测量是研究网络行为的一个重要手段,其面临的主要问题是难以实现高速网络流量测量,因此需要使用抽样技术.分布式抽样测量技术需要解决两个关键问题:分布式测量点测量报文的一致性和抽样样本的统计随机性.为此,抽样测量的核心是选择合适的抽样掩码匹配位串,以保证抽样样本的随机性,且实现分布式测量点的信息一致性.文章对CERNET主干网络流量IP报头各字段的随机性进行分析,结果表明标识字段16bits满足抽样掩码匹配位串要求,并对抽样样本的随机性和统计属性进行分析.实验验证抽样样本既能用于网络行为研究也能用于流量行为研究. 相似文献
19.
高速网络超点检测的并行数据流方法 总被引:1,自引:0,他引:1
超点检测对于网络安全、网络管理等应用具有重要意义.由于存在着高速网络环境下海量网络流量与有限系统资源之间的矛盾,在线准确地监测网络流量是一个极大的挑战.随着多核处理器的发展,多核处理器的并行性成为算法性能提高的一种有效途径.目前,针对基于流抽样的超点检测方法存在计算负荷重、检测精度低、实时性差等问题,提出了一种并行数据流方法(parallel data streaming,简称PDS).该方法构造并行的可逆Sketch数据结构,建立紧凑的节点链接度概要,在未存储节点地址信息的情况下,通过简单地计算重构超点的地址,获得了良好的效率和精度.实验结果表明:与CSE(compact spread estimator),JM(joint data streaming and sampling method)方法相比,该方法具有较好的性能,能够满足高速网络流量监测的应用需求. 相似文献
20.
应用于高速网络的基于报文采样和应用签名的BitTorrent流量识别算法 总被引:1,自引:0,他引:1
在高速网络上进行P2P流量识别具有极大的困难,因为基于端口号的方法已经不再准确,而基于应用签名的方法没有足够高的处理效率.提出了应用于高速网络的基于报文采样和应用签名的BitTorrent流量识别算法.建立了误检率和漏检率模型来分析报文采样率和签名率对识别准确度的作用,并指导应用签名和采样率的选择.通过开发流状态判别预处理器,在Snort平台上实现了该流量识别算法.实验结果表明该流量识别算法处理效率和准确度都是令人满意的,能应用于高速网络环境.在普通个人计算机上,对采样报文的处理效率在800Mbps以上.将该方法应用于报文处理,当采样率为0.5时漏检率为0.6%,当采样率为0.1时漏检率为5.9%,当采样率为0.05时漏检率为10.5%.将该方法应用于流数据分析,当采样率为0.5时漏检率为0.06%,当采样率为0.1时漏检率为0.33%,当采样率为0.05时漏检率为1.1%.该方法展现了优秀的误检性能,没有任何报文被误检.实验结果也表明误检率和漏检率模型是非常准确的. 相似文献