基于流抽样和LRU的高速网络大流检测算法

在高速主干网络中,随着网络链路速率的不断提高和网络流数量的增加,如何及时、准确地检测出网络中的大流信息,成为目前网络流测量的热点问题。根据传统LRU算法由于突发性大量小流导致淘汰大流的测量缺陷和网络重尾分布的特点,提出一种新的识别大流的算法——基于流抽样和LRU的大流检测算法。算法通过流抽样技术过滤大部分的小流,并通过LRU算法识别大流信息,将过滤和识别过程分离,减少小流错误淘汰大流的可能性,提高算法测量准确性。分析算法的复杂度和漏检率,并通过实际试验数据分析了算法参数配置对于大流测量的准确性的影响。理论分析和仿真结果表明,与标准LRU算法和LRU_BF算法相比,在使用相同的存储空间下,新算法具有更高的测量准确性和实用性。     

基于DCF的资源可控流抽样

Cisco的NetFlow是流测量中广泛应用的方案,但因其采用静态抽样率,当网络流量突然上升时,消耗过多的路由器资源,甚至影响路由器的正常转发功能。提出了基于DCF的资源可控流抽样,对测量间隔内到达的报文采取固定数量的抽样,并采用DCF哈希算法维护流记录,有效控制了资源的消耗。理论和实验分析结果表明,该方法具有抽样率自适应性、简单性、资源可控性,同时不失准确性。     

基于近似方法的抽样报文流数估计算法

维护每个报文的流记录需要占用大量测量资源.目前已有多种抽样技术估计网络流统计信息,然而精确地估计出流数统计信息是目前的研究难点.提出了Integral和Iteration 两种基于报文抽样样本估计网络流数的算法.Integral算法只需使用抽样流长为1的流数信息就可以近似推导出未抽样的流数.Iteration算法通过建立迭代函数估计未抽样流数,然后根据未抽样流数和已抽样的流数推断出原始流量的流数.采用CERNET(China education andresearch network)骨干网络链路数据将这两种算法与EM(expectation maximization)算法进行对比,表明Iteration算法具有较好的精度和性能.     

面向IP流测量的哈希算法研究

为了解决计算资源和高速网络流量之间的矛盾,需要对IP流进行抽样或负载均衡等处理,而哈希算法是资源代价的核心.首先提出评价哈希算法性能的随机测度;其次从理论上证明比特之间异或运算和位移运算能够提高哈希值的随机特性,提出比特流之间哈希算法的原则;然后分析IP报文的4个字段:源IP、宿IP、源端口和宿端口的特性,由此提出相关的哈希算法;最后使用CERNET主干流量和PMA的数据验证算法的性能,并与IPSX和CRC32算法进行比较.研究表明,基于异或、位移原则的比特流哈希算法的执行效率和哈希值的均匀性两方面具有较好的性质,能够满足高速网络流量测量需求.     

基于抽样和Bloom Filters的长流检测

长流检测对网络检测和管理有着重要的意义.提出一种基于抽样和Bloom Filters的长流检测算法,首先对报文进行抽样,然后通过Bloom Filters哈希运算,在内存中用临时表和流信息表来判断到达阈值的流并维护其信息,满足了高速网络环境下长流检测的要求,在保证测量精度的同时有效得控制了资源消耗.实验分析表明,和已有的方法相比,具有简单易行、资源可控等优点.     

空间高效的数据包公平抽样算法

数据包公平抽样通过牺牲长流的包抽样率以换取更高的短流包抽样率,因而比均匀随机包抽样更能保证数据流之间的公平性.现有的公平抽样算法SGS(sketch guided sampling)存在空间效率低、短流估计误差大的问题.提出了一种空间高效的数据包公平抽样算法SEFS(space-efficient fair sampling).SEFS算法的新颖之处在于采用多解析度抽样统计器对数据流流量作近似估计,各个统计器由d-left哈希表实现.采用在OC-48和OC-192骨干网采集的真实流量数据,在数据流流量测量以及长流检测的应用背景下,对SEFS算法和SGS算法的性能进行了比较.实验结果表明,与SGS算法相比,SEFS算法在空间复杂度降低65%的前提下,仍具有更高的估计精度.特别是对于占网络数据流绝大多数的短流而言,SEFS算法估计精度高的优势更为明显.     

一种基于分组抽样的TRW改进算法

端口扫描是最常见的网络异常流量,TRW是端口扫描检测中最有代表性的算法之一。在高速网络环境下,网络测量通常采用分组抽样技术。已有的研究表明,分组抽样对原始流的流大小分布有细化和扭曲的作用,使得TRW检测算法随着抽样率的增加,成功检测率和误检率呈现出先增加后减少的趋势。本文提出了一种TRW的改进算法,原理是利用抽样后样本流中包含的TCP协议信息改善分组抽样下的流大小分布估计,从而提高TRW检测算法的有效性。实验证明,新算法与原算法相比,在成功检测率差不多的情况下,误检率明显降低了。     

一种新的估计流长度分布的方法

为提高流测量系统的运行效率,减小其所消耗资源,提出了一种新的用于测量流长度分布的估计方法。对到达的报文进行抽样后,用两个哈希函数来确定更新相应计数单元的值,定期收集计数空间中的数据进行离线处理。利用EM算法和最小二乘法,得到了流长度分布。通过应用于来自不同网络的数据进行实验测试,实验结果表明该模型对于流分布的估计是精确的。     

面向流管理的哈希算法研究

网络流的识别与管理在网络应用中有着重要作用。但是,随着网络链路速度的迅速提高,流管理变得越来越困难。哈希算法由于其常量查找时间和存储开销小的特点而具有很好的实用价值。本文首先提出了衡量流管理哈希算法性能的标准,然后提出了一个CRC20的哈希算法,并从理论与模拟实验两方面将它与其它几种哈希算法进行了对比,证明了所提出的CRC20算法具有较好的计算性能和很好的访存性能,适合高速网络链路中的流管理应用。     

基于计数布隆过滤器的负载均衡算法

由于哈希冲突的存在,基于哈希表的网络流负载均衡算法无法约束最坏情况下算法的性能。针对该问题,设计一种多哈希算法,将需要调整的流保存在精确流匹配布隆过滤器结构中。与基本哈希表相比,该算法保持了会话的完整性以及更低的冲突概率,提高了查询性能。     

Adaptive sampling algorithm for detection of superpoints

The superpoints are the sources （or the destinations） that connect with a great deal of destinations （or sources） during a measurement time interval, so detecting the superpoints in real time is very important to network security and management. Previous algorithms are not able to control the usage of the memory and to deliver the desired accuracy, so it is hard to detect the superpoints on a high speed link in real time. In this paper, we propose an adaptive sampling algorithm to detect the superpoints in real time, which uses a flow sample and hold module to reduce the detection of the non-superpoints and to improve the measurement accuracy of the superpoints. We also design a data stream structure to maintain the flow records, which compensates for the flow Hash collisions statistically. An adaptive process based on different sampling probabilities is used to maintain the recorded IP addresses in the limited memory. This algorithm is compared with the other algorithms by analyzing the real network trace data. Experiment results and mathematic analysis show that this algorithm has the advantages of both the limited memory requirement and high measurement accuracy.     

Scalable algorithms for estimating flow length distributions from sampled data

With the rapid growth of link speed, obtaining detailed traffic statistics becomes much more difficult. In order to reduce the resource consumption of measurement systems, more and more passive traffic measurement employs sampling at the packet level. Packet sampling has become an attractive and scalable method to measure flow data on high-speed links. However, knowing the length distributions of traffic flows passing through a network link is very useful for network operation and management. In this paper, we consider the problem of estimating flow length distributions based on sampled flow data. This paper introduces two algorithms for estimating flow length distributions, fitting estimation and factoring estimation. The fitting estimation uses piecewise Pareto distribution to fit the original traffic for a small sampling period. The factoring estimation is used for a large sampling period. It first factorizes the large sampling period into a product of some smaller integer factors, then iteratively invokes fitting estimation or other algorithms such as ${\textit{EM}}$ in the arranged order of the factors. Evaluations of the proposed algorithms on large Internet traces obtained from several sources demonstrate that they have high measurement accuracy with low computation overhead. The algorithms allow us to recover the complete flow length distributions.     

Double sampling for flow measurement on high speed links

Traffic measurement and monitoring are an important component of network QoS management and traffic engineering. With high speed Internet links, efficient and effective packet sampling techniques for traffic measurement are not only desirable, but increasingly becoming a necessity. Packet sampling has become an attractive and scalable means to measure flow data on high speed links. Passive traffic measurement increasingly employs sampling at the packet level and makes inferences from sampled network traffic. However, it meets difficulty in estimating the original flow distribution. To circumvent the problem, we propose and analyze a double sampling technique for flow measurement. In particular, we rewrite the expectation maximization (EM) algorithm that estimates flow distribution for double sampling. Using real network traffic traces, we show that the proposed double sampling technique indeed produces the desired accuracy in estimating the flow distribution.     

Criss-cross hash joins: design and analysis

Join processing in relational database systems continues to be a difficult and challenging problem. In this research, we propose a criss-cross hash join strategy that draws from both hashing and indexing techniques, inheriting the advantages of each. To facilitate the criss-cross hash join, a simple data structure, termed page map, is introduced. The page maps aid in reducing the hashing effort incurred in the current hash based join methods. Furthermore, the page maps implicitly capture and exploit the possible inherent order among tuples in the relations, however partial it may be, to achieve superior performance. As the proposed methodology relies on the hashing scheme, the page maps are simpler, more compact, and easier to maintain than the traditional data structures associated with index based join methods. We develop the ideas intuitively first, followed by a formal development of the concepts and the algorithms. A detailed probabilistic analysis of the algorithms is presented and their performance is assessed through extensive empirical investigations. The empirical analysis suggests significant performance improvements over the current state-of-the-art hybrid hash method, especially in the presence of possible inherent order     

FP-CNNH:一种基于深度卷积神经网络的快速图像哈希算法

在大数据时代,图像检索技术在大规模数据上的应用是一个热门的研究领域。近年来,大规模图像检索系统中, 图像哈希算法 由于具备提高图像的检索效率同时减少储存空间的优点而受到广泛的关注。现有的有监督学习哈希算法存在一些问题,主流的有监督的哈希算法需要通过图像特征提取器获取人为构造的图像特征表示,这种做法带来的图像特征损失影响了哈希算法的效果,也不能较好地处理图像数据集中语义的相似性问题。随着深度学习在大规模数据上研究的兴起,一些相关研究尝试通过深度神经网络进行有监督的哈希函数学习,提升了哈希函数的效果,但这类方法需要针对数据集人为设计复杂的深度神经网络,增大了哈希函数设计的难度,而且深度神经网络的训练需要较多的数据和较长的时间,这些问题影响了基于深度学习的哈希算法在大规模数据集上的应用。针对这些问题,提出了一种基于深度卷积神经网络的快速图像哈希算法,该算法通过设计优化问题的求解方法以及使用预训练的大规模深度神经网络,提高了哈希算法的效果,同时明显地缩短了复杂神经网络的训练时间。根据在不同图像数据集上的实验结果分析可知, 与现有的基准算法相比,提出的算法在哈希函数训练效果和训练时间上都具有较大的提高。     

流量测量的关键技术分析与研究*

流量测量在流量计费、网络资源优化和异常检测等方面有广泛的应用。针对传统的流量测量模型缺乏可扩展性的缺点,提出了一种适用于高速网络的可扩展的流量测量模型。该模型采用报文分批处理的思想引入了两级缓冲区结构,使得缓存报文和流量统计两个过程同时进行。基于此模型,抽象了流量测量的两大关键技术,即流量抽样测量技术和概要数据结构。运用此模型进行高速网络的流量测量,不仅会降低资源的需求、提高分析的速度,而且还不会失去准确性。     

基于DSVM的并行Hash连接算法及其性能评价

提出了一个基于分布式共享虚拟存储器技术的并行Ｈａｓｈ连接算法,然后设计了一个并行连接算法的测试评价基准,并评价和分析了该算法在均匀情况下３个不同负载的性能比较和Ｚｉｐｆ顺斜数据分布情况下两种度策略的算法性能。同时与其它并行连接算法进行性能比较与分析。     

对等网络中DHT搜索算法综述*

在P2P网路中如何快速准确地对资源进行定位是衡量其性能的一个关键。现在的分布式P2P系统普遍采取的是DHT（distributed hash table,分布式哈希表）搜索方法。基于DHT的P2P网络搜索算法的研究已经是P2P研究的一个热点。从P2P定义出发,介绍了P2P网络按照拓扑结构的分类发展;然后深入介绍了目前对等网络几种分布式哈希查找算法Chord、CAN、SkipNet和Cycloid等,并对这些算法从拓扑结构、路由复杂度、路由表大小、容错性、扩展性、负载平衡性等方面进行了评估比较;最后分析了这些算法的优缺点及今后研究的重点。