基于DCBF的流抽样测量算法

为了提高系统的处理效率,减少系统的测量误差,提出了一种基于动态计数型布鲁姆过滤器（Dynamic Counting Bloom Filter,DCBF）的流抽样测量算法。该算法使用基于报文级别的抽样,并通过DCBF进行流查找和统计,且在CBF计数器溢出时动态增加新的CBF。经理论分析和实验表明,该算法不仅提高了系统的运行效率,减少了存储空间的消耗,同时具有准确性和可扩展性,能很好地适用于高速链路的流量测量中。     

偏态数据流中的Bloom Filters自适应机制研究

针对Count Bloom Filters(CBF)在对偏态分布的网络数据流进行频度检测时,其使用的固定位数的计数器容易溢出的不足,提出了一种自适应性Bloom Filters(Adaptive Bloom Filters ABF),ABF使用可扩展的逻辑计数器替代CBF中大小固定的物理计数器进行计数,逻辑计数器由数目动态变化的若干个物理计数器组成,初始状态逻辑计数器等同于物理计数器,但逻辑计数器在频度数值上溢时会自适应扩展,覆盖其外部的物理计数器,增加数值容量,保证数值的测量准确性.实验表明ABF能够更好地适应检测频度的变化,并且不显著增加误判率,在对数据偏态分布的频度测量场合比其它Count Bloom Filters更具有优势.     

分片计数布隆过滤器及其在Hbase二级索引的应用

针对Hadoop Database(Hbase)仅支持主索引结构,即通过主键和主键的range来检索数据的问题,提出利用Counting Bloom Filter的新变体建立二级索引来支持非主键数据的检索.分析了已有的Counting Bloom Filter(CBF)技术,针对CBF溢出概率高的问题,提出一种新的Split Counting Bloom Filter(SCBF)技术,SCBF将标准CBF分成多个相互独立的区域,由这多个区域共同存储元素的fingerprint.实验结果表明,与标准CBF相比,SCBF降低了溢出概率,充分提高了过滤器的性能,可以很好地用来建立Hbase二级索引.     

基于动态计数型过滤器的网络流公平抽样机制

传统的包抽样方法对每一个数据包都以同等的比率抽取,这样就导致了大部分被抽中的是大流,而短流和一般流非常少。高速网络的流量检测需要全面的流信息。针对传统流抽样的缺陷,结合现有的SGS(Sketch Guided Sampling)抽样比与流量成反比的公平抽样思想和动态计数型过滤器,提出更加高效的公平抽样算法DCFS(Dynamic Count Fair Sampling)。DCFS算法使用动态统计过滤器DCF(Dynamic Count Filter)统计流量,相对于SGS算法该方法空间更加高效,而且估计准确性也更好。     

基于HCBF的大流检测机制*

针对计数性布鲁姆过滤器存储数据时计数器溢出的缺陷,提出了一种基于分层计数型布鲁姆过滤器（hierarchy counting Bloom filter,HCBF)的大流检测机制。该方法结合溢出概率函数的特性,将计数型布鲁姆过滤器从一层扩展到多层,并能自适应地配置各层计数型布鲁姆过滤器的参数,能够对大流进行较好的识别。基于互联网数据进行了仿真实验,结果显示：与计数型布鲁姆过滤器相比,在同样溢出概率条件下,提高大流检测精度的同时节省了大量的内存资源。     

4 种计数型Bloom Filter 的性能分析与比较

对3种已有的计数型Bloom filter--Na(I)ve Counting Bloom Filter(NCBF),Space-Code Bloom Filter (SCBF)和d-left Counting Bloom Filter(dlCBF)--的查询错误概率进行了分析,得出了NCBF的计数器防溢出条件以及SCBF和dlCBF的参数最优设置准则.提出了一种衡量计数型Bloom filter性能的指标:负载适应性.针对dlCBF负载适应性差的问题,对dlCBF进行了改进,提出了一种计数型Bloom filter:Binary Shrinking d-left Counting Bloom Filter(BSdlCBF).通过仿真实验,以计数误差、空间复杂度以及负载适应性为性能指标,对上述4种CBF进行了比较.实验结果表明,BSdlCBF具有最低的空间复杂度、最小的计数误差以及最佳的负载适应性. BSdlCBF赢得上述性能优势的代价在于其计算复杂度比其他3种计数型Bloom filter略高.     

4 种计数型Bloom Filter 的性能分析与比较

对3 种已有的计数型Bloom filter——Na?ve Counting Bloom Filter(NCBF),Space-Code Bloom Filter (SCBF)和d-left Counting Bloom Filter(dlCBF)——的查询错误概率进行了分析,得出了NCBF 的计数器防溢出条件 以及SCBF 和dlCBF 的参数最优设置准则.提出了一种衡量计数型Bloom filter 性能的指标:负载适应性.针对dlCBF 负载适应性差的问题,对dlCBF 进行了改进,提出了一种计数型Bloom filter:Binary Shrinking d-left Counting Bloom Filter(BSdlCBF).通过仿真实验,以计数误差、空间复杂度以及负载适应性为性能指标,对上述4 种CBF 进行了比较. 实验结果表明,BSdlCBF 具有最低的空间复杂度、最小的计数误差以及最佳的负载适应性. BSdlCBF 赢得上述性能 优势的代价在于其计算复杂度比其他3 种计数型Bloom filter 略高.     

d-Left CBF技术在P2P中的研究

分析了Bloom Filter技术在时下流行的P2P分布式系统中的应用,着重介绍基于Bloom Filter的d-Left Counting Bloom Filtr(CBF)技术,d-left CBF利用d-lef thashing的方法存储fingerprint,将hash value分为两部分,分别用于存储随机地址和fingerprint,从而提高工作效率,并支持节点动态删除操作,应用于节点异常活跃的P2P系统中.     

SDN数据中心网络基于流分类的负载均衡方案

随着数据中心内的数据流量不断增加,导致网络中部分链路负载过重。传统的ECMP机制由于没有考虑链路状态以及流量特征,因此不再适用数据中心网络。同时ECMP可能会将多条大流映射到同一条路径上,造成大流映射冲突,导致链路瓶颈问题。基于SDN（Software Defined Network）架构提出一种面向Fat-Tree拓扑的动态流量负载均衡机制（Load Balancing based on Flow Classification,LBFC）,同时考虑了链路状态信息与流量特征进行负载均衡。LBFC机制动态调整流分类阈值来判定大流和小流,采用不同的方式为大流和小流选择转发路径,以满足大流和小流不同的传输性能需求。仿真结果表明LBFC机制能够根据网络链路状态以及流量特征动态地判定大流和小流并实现负载均衡,与ECMP、GFF和DLB算法相比,LBFC机制提高了网络吞吐量以及链路利用率,降低了传输时延。     

基于流抽样和LRU的高速网络大流检测算法

在高速主干网络中,随着网络链路速率的不断提高和网络流数量的增加,如何及时、准确地检测出网络中的大流信息,成为目前网络流测量的热点问题。根据传统LRU算法由于突发性大量小流导致淘汰大流的测量缺陷和网络重尾分布的特点,提出一种新的识别大流的算法——基于流抽样和LRU的大流检测算法。算法通过流抽样技术过滤大部分的小流,并通过LRU算法识别大流信息,将过滤和识别过程分离,减少小流错误淘汰大流的可能性,提高算法测量准确性。分析算法的复杂度和漏检率,并通过实际试验数据分析了算法参数配置对于大流测量的准确性的影响。理论分析和仿真结果表明,与标准LRU算法和LRU_BF算法相比,在使用相同的存储空间下,新算法具有更高的测量准确性和实用性。     

基于MGLRU的IP流统计算法

针对最近最久未使用(LRU)算法在高速网络中大流漏判率高的缺陷,提出一种基于多粒度最近最久未使用检测算法。该算法采用分层多粒度压缩计数机制对高速网络数据抽样,提高对长流的识别精度。基于实际的互联网数据进行仿真实验,结果表明,在给定条件下,该方法的内存占用量为LRU算法的50%,测量误差仅为LRU算法的10%。     

基于LRU和SCBF的大象流提取及其在DDoS防御中的应用

大象流的及时、准确提取对防御大规模网络安全事件具有重要意义.针对独立的LRU和SCBF提取大象流存在的不足,提出了基于LRU和SCBF的大象流提取方法——LRU_SCBF算法.该算法使用LRU列表和SCBF数组二级存储结构,将到达的老鼠流存入SCBF中,达到一定门限则提取到LRU中,LRU满时按最近最久未用策略淘汰老鼠流到SCBF中,循环实现大象流和老鼠流的分别聚集.理论分析和模拟实验表明:LRU_SCBF算法占用空间小,误报和漏报低,能实现高速网络环境下大象流的及时准确提取.应用于DDoS攻击防御中,能够实现DDoS攻击的及时检测和追踪.     

一种基于两级存储结构的网络流量测量算法

为了准确而完备地测量高速骨干网中各条流的流量，需要容量大且速度快的存储器来保存所有流的状态信息，因而代价极高。该文提出了一种基于两级存储结构的网络流量测量算法。两级存储结构由容量小但速度快的一级存储器和容量大但速度慢的二级存储器构成。考虑到网络流量分布的Quasi-Zipf法则，测量算法尽量将大流量流的状态信息保存在一级存储器中，将小流量流的状态信息保存在二级存储器中，较好地解决了存储器容量和速度之间的矛盾。仿真结果表明，与抽样测量相比，该算法具有较小、较平均的测量误差。 关键词：     

高速网络监控中大流量对象的提取

在高速网络环境下,由于受计算及存储资源的限制,及时、准确地提取大流量对象对于检测大规模网络安全事件具有重要意义.结合LRU淘汰机制和LEAST淘汰机制,建立了基于二级淘汰机制的网络大流量对象提取算法(LRU&LEAST replacement,简称LLR),两种淘汰机制相互弥补不足,较大地提高了算法的准确性.由于算法占用存储空间较少,从而可以在有限的SRAM空间中更快地处理流量信息.该算法在网络数据量增加的情况下不必增加存储空间,具有很好的可扩展性.     

基于概要数据结构的全网络持续流检测方法

持续流是隐蔽的网络攻击过程中显现的一种重要特征，它不产生大量流量且在较长周期内有规律地发生，给传统的检测方法带来极大挑战。针对网络攻击的隐蔽性、单监测点的重负荷和信息有限的问题，提出全网络持续流检测方法。首先，设计一种概要数据结构，并将其部署在每个监测点；其次，当网络流到达监测点时，提取流的概要信息并更新概要数据结构的一位；然后，在测量周期结束时，主监测点将来自其他监测点的概要信息进行综合；最后，提出流持续性的近似估计，通过一些简单计算为每个流构建一个位向量，利用概率统计方法估计流持续性，使用修正后的持续性估计检测持续流。通过真实的网络流量进行实验，结果表明，与长持续时间流检测算法（TLF）相比，所提方法的准确性提高了50%，误报率和漏报率分别降低了22%和20%，说明全网络持续流检测方法能够有效监测高速网络流量。     

网络重要流检测方法综述

网络的管理与监测是网络领域的重要话题,这一领域的相关技术通常也称为网络测量(network measurement).网络重要流检测(network heavy hitter detection)是网络测量的一项关键技术,也是研究对象.重要流指占用网络资源(如带宽或发送的数据包数量)超过某一给定标准的流,检测重要流有助于快速识别网络异常,提升网络运行效率,但链路的高速化为其实现带来了挑战.按出现时间顺序,可将重要流检测方法划分为两大类:基于传统网络框架的和基于软件定义网络(SDN)框架的.围绕网络重要流检测相关的框架与算法,系统地总结其发展过程与研究现状,并尝试给出其未来可能的发展方向.     

基于Sample-CBF技术的长流识别实现

根据网络上的流统计呈现很强的重尾分布的特性，该文提出了使用周期抽样和counting bloom filter(CBF)技术相结合的方法，即Sample-CBF方法来实现长流识别，并根据抽样策略的不同，将其具体化为两种方法：PSample-CBF方法和FSample-CBF方法。理论分析和仿真结果表明，在存在可容忍流长度测量误差的条件下，两种方法都可以准确识别长流，有效地减少存储空间和提高处理速度。     

改进的CHOKe公平性主动队列管理算法

针对主动队列管理算法中的CHOKe算法对非响应流的惩罚力度不够、精确度不高的问题,提出一种新的惩罚非响应流算法——LRU-CHOKe。该算法以最近最少使用(LRU)击中取代CHOKe击中,提高CHOKe击中的有效性;利用路由器队列击中,自适应丢包,并结合新的丢包策略来加强对非响应流的惩罚,从而提高网络带宽公平性。仿真结果表明,LRU-CHOKe相比CHOKe和HCHOKe算法能更加有效地惩罚非响应流,实现更为公平的带宽分配。     

高速网络流测量及模型研究

网络流测量是网络性能分析和网络流量建模的基础。该文分析了网络流测量的方法及特点,针对高速网络流测量中的关键问题进行了研究,并在此基础上提出了高速网络流测量模型,随后对该模型各组件及相互关系进行了分析,最后通过具体实验分析了模型架构及关键技术的可行性。     

高速以太网中实时相似性匹配算法的研究

在高速以太网中, 针对用户行为的特殊性及数据流五元组的特点, 提出了一种自适应相似性匹配算法(ASMA-HN)。该算法充分考虑了数据流五元组的随机性分布特点, 通过一种改进的XOR-SHIFT算法将数据流分类索引, 并提出了同类数据库(SD)及异类数据库(HD)的概念, 基于距离测度分别设计了加权相似性比较函数, 使得特征值能更精准地匹配到符合要求的数据文件, 提高了整体的匹配效率。通过对校园网实际流量的现场测试, 证明该算法具有较高的精准性及可适用性, 且匹配时间较低, 能很好地满足高速网络中相似性匹配业务的需求。