一种新的基于SCBF的流抽样测量算法研究

为提高流测量系统的运行效率,减少其所需存储资源,提出了一种改进的测量并维护其流信息的算法——基于拆分型计数Bloom Filters（Split Counting Bloom Filters）的流抽样。该算法采用基于报文的抽样来实现流抽样,不仅可以使用较少系统资源来维护流信息,同时可适用于不同流量的测量点,提高了测量系统的准确性和可扩展性。     

基于DCBF的流抽样测量算法

为了提高系统的处理效率,减少系统的测量误差,提出了一种基于动态计数型布鲁姆过滤器（Dynamic Counting Bloom Filter,DCBF）的流抽样测量算法。该算法使用基于报文级别的抽样,并通过DCBF进行流查找和统计,且在CBF计数器溢出时动态增加新的CBF。经理论分析和实验表明,该算法不仅提高了系统的运行效率,减少了存储空间的消耗,同时具有准确性和可扩展性,能很好地适用于高速链路的流量测量中。     

基于近似方法的抽样报文流数估计算法

维护每个报文的流记录需要占用大量测量资源.目前已有多种抽样技术估计网络流统计信息,然而精确地估计出流数统计信息是目前的研究难点.提出了Integral和Iteration 两种基于报文抽样样本估计网络流数的算法.Integral算法只需使用抽样流长为1的流数信息就可以近似推导出未抽样的流数.Iteration算法通过建立迭代函数估计未抽样流数,然后根据未抽样流数和已抽样的流数推断出原始流量的流数.采用CERNET(China education andresearch network)骨干网络链路数据将这两种算法与EM(expectation maximization)算法进行对比,表明Iteration算法具有较好的精度和性能.     

流测量算法综述

理解网络行为对于网络管理、规刬和发展都有重要意义,而流测量是了解网络行为的基础。由于网络的高速与流数量的巨大,使得实时在线的流测量变得很困难。因此各种流测量技术、流测量算法成为研究热点。文章综述了目前利用抽样和哈希技术在流识别和流分布方面取得的成果,并分析了各种算法的优缺点。最后分析了抽样与哈希技术的长处与不足,提出了多种技术相结合的研究方向。     

流测量中基于测量缓冲区的时间分层分组抽样

NetFlow是流测量中广泛应用的解决方案,但NetFlow的抽样方法存在一定的缺陷:泛洪攻击时消耗路由器过多的资源;用户很难选择适合所有流量组成情况的静态抽样率,以平衡资源消耗量和准确率.提出了一种易于实现的分组抽样方法.该方法利用测量缓冲区对定长时间内到达的分组进行固定数量的抽样,既可以使抽样率自适应于流量变化,又可以控制资源的消耗.证明了抽样估计的无偏性,并推导出估计值相对标准差的理论上界.实验结果表明,与已有方法相比,该方法在具有简单性、自适应性及资源可控性的同时不会失去准确性.     

一种基于分组抽样的TRW改进算法

端口扫描是最常见的网络异常流量,TRW是端口扫描检测中最有代表性的算法之一。在高速网络环境下,网络测量通常采用分组抽样技术。已有的研究表明,分组抽样对原始流的流大小分布有细化和扭曲的作用,使得TRW检测算法随着抽样率的增加,成功检测率和误检率呈现出先增加后减少的趋势。本文提出了一种TRW的改进算法,原理是利用抽样后样本流中包含的TCP协议信息改善分组抽样下的流大小分布估计,从而提高TRW检测算法的有效性。实验证明,新算法与原算法相比,在成功检测率差不多的情况下,误检率明显降低了。     

基于DCF的资源可控流抽样

Cisco的NetFlow是流测量中广泛应用的方案,但因其采用静态抽样率,当网络流量突然上升时,消耗过多的路由器资源,甚至影响路由器的正常转发功能。提出了基于DCF的资源可控流抽样,对测量间隔内到达的报文采取固定数量的抽样,并采用DCF哈希算法维护流记录,有效控制了资源的消耗。理论和实验分析结果表明,该方法具有抽样率自适应性、简单性、资源可控性,同时不失准确性。     

一种新的数据包公平抽样算法

互联网作为20世纪发展最为迅速的技术之一,已经成为现代信息社会最重要的基础设施,成为国家进步和社会发展的重要支柱。本文针对现有数据包抽样算法小流估计误差大的缺陷,提出一种新的数据包抽样算法。该算法根据到达数据包所属流大小的估计值设置包抽样率,使得大流所含数据包抽样率低,小流所含数据包抽样率高。理论分析和实验结果均表明,与已有算法相比,该算法具有更高的准确性和良好的扩展性,更适合于工程应用。     

一种基于模糊逻辑的被动测量自适应抽样算法

结合被动抽样测量系统的特殊性,分析了模糊逻牟译控制理论应用于被动测量系统统抽样算法上的可行性,仿真结果表明,基于模糊逻辑控制理论的自适应抽样算法能够动态地调整被动测量系统地抽样间隔,使网络测量准确度和计算机资源费用达到优化。     

基于抽样流记录的RTT估计

往返时延(RTT)是网络测量中的一个重要测度,是刻画网络性能的重要指标。传统的RTT测量都是基于报文的,需要专门的主动或被动测量平台的支持。提出一种新的 RT T 估计方法,仅使用现有路由器设备提供的流记录,不需要额外的网络测量设施。通过对 TCP 块状流传输特性的分析,分别建立了当套接字缓冲区长度与带宽延迟积BDP相对较小、较大和相近这3种情况下的RTT估计模型。实验结果表明,这些模型都能很好地完成RTT估计。同时,由于在估计当中只使用了流持续时间和总报文两个变量,因此,该方法同样适用于以抽样流记录为输入的环境,能够有效地应用于现有的大规模主干网环境的网络检测与管理。     

典型Bloom过滤器的研究及其数据流应用

Bloom过滤器是一种空间高效但有一定假阳性的数据表示方法。该文分析比较计数型Bloom过滤器、光谱Bloom过滤器和动态计数过滤器的异同点及适用场合,介绍Bloom过滤器在重复项检测及频繁项挖掘中的应用,总结Bloom过滤器给数据流带来的挑战,包括元素突发问题及数据流相异元素数目变化问题。     

基于CBF的分布式元组空间叉积算法

针对分布式报文分类算法内存消耗大、可扩展性差的问题,提出分布式元组空间叉积算法。该算法采用独立域搜索引擎与树状多级聚合网络的分类结构,在聚合节点使用计数型布鲁姆过滤器(CBF)加速搜索,利用剪枝技术降低CBF内存消耗。仿真结果表明,对于 5×104条规模的9域规则库,聚合网络总内存消耗被控制在60 Kb内,该算法的查找速度达到100 Mp/s,且具有良好的可扩展性。     

基于CBF的分布式元组空间叉积算法

针对分布式报文分类算法内存消耗大、可扩展性差的问题,提出分布式元组空间叉积算法。该算法采用独立域搜索引擎与树状多级聚合网络的分类结构,在聚合节点使用计数型布鲁姆过滤器(CBF)加速搜索,利用剪枝技术降低CBF内存消耗。仿真结果表明,对于 5×104条规模的9域规则库,聚合网络总内存消耗被控制在60 Kb内,该算法的查找速度达到100 Mp/s,且具有良好的可扩展性。     

基于Bloom Filter路由表的P2P搜索算法

研究非结构化P2P网络的搜索机制,提出基于布莱姆过滤器(BF)路由表的改进算法。该算法利用BF技术生成路由条目并在一定范围内相互交换本地路由表,使节点能够了解一定范围内的节点共享信息,实现有针对性的搜索,避免传统的盲目性搜索。仿真结果表明,该算法查询搜索时产生的消息数量比传统算法减少一个数量级,并能够获得较好的查全率。     

基于FPGA的多模式匹配算法研究与实现

针对模式匹配软件算法速度慢、正确率低等问题,提出一种基于FPGA的硬件多模式匹配算法,通过设计窗口折叠的布鲁姆过滤器,有效减小资源消耗。与多级确认机制结合可降低虚警率,并采用不同于传统方式的并行结构提高查询速度,实现高效率无虚警的精确模式匹配。实验结果表明,采用该算法的高速入侵检测系统吞吐率可达到10 Gb/s。     

基于BF算法的网络异常流量行为检测

互联网异常流量行为会造成网页内容难以管理、吞噬网络带宽和传播病毒等危害.针对该问题,提出基于Bloom Filter(BF)算法的异常流量检测方法.以点对点(P2P)流量为检测对象,分析BF算法和传统的抽样方法,研究P2P流量常见的特征行为,统计其属性组合,并基于BF算法和抽样方法对异常流量行为进行检测.实验结果证明,该方法能加快异常流量行为的检测速度,提高检测准确率.     

基于试探采样的自回馈目标跟踪算法

针对粒子传播过程中因欠缺观测信息而导致退化现象和异常粒子,文中提出一种基于试探采样的自反馈目标跟踪算法。该算法在当前帧完成采样后向前试探采样粒子,并且反馈到当前帧,此举是利用未来帧提前采样形式把观测信息融入到状态转移模型中,从而使概率密度分布逼近真实值。分析上下帧间粒子权值关系,舍弃异常元素,进行不完全重采样,在缓解退化问题同时保持样本集多样性。目标状态估计采用加权-最大后验准则,提高了目标跟踪精确度与稳定性。实验结果表明所提算法提高了状态空间质量,相比其他算法具有更好的跟踪性能。     

基于掩码匹配的IP网络流量抽样测量系统研究

提出了基于掩码匹配抽样测量系统的体系结构,把整个系统分为报文采集、报文抽样、信息保存三层来设计并用java实现。重点分析了采用不同的暂存方式时报文抽样层及信息保存层程序的执行时间,比较了三种不同的暂存方式抽样最大延时。     

BFPC:一种新型的基于Bloom Filter的报文分类算法

Bloom Filter是一种支持高速数据查询的数据结构,已被广泛应用到各个领域,包括路由查找、串匹配[1]等。本文将重点研究Bloom Filter在报文分类领域中的应用,提出一种新型的报文分类算法——BFPC,阐述BFPC算法的基本思想,并通过实例对该算法进行了描述。最后,对BFPC算法与其他报文分类算法进行了性能比较。     

基于SSA中间表示的源代码信息流分析

提出一种基于SSA中间表示的源代码信息流分析算法,介绍隐蔽通道识别过程,采用基于信息流的工作表实现该算法,讨论其在时空代价以及分析精度方面的特点,并将分析框架嵌入GCC编译器。仿真实验结果表明,该算法是有效的,且具有一定应用价值。