基于抽样和Bloom Filters的长流检测

长流检测对网络检测和管理有着重要的意义.提出一种基于抽样和Bloom Filters的长流检测算法,首先对报文进行抽样,然后通过Bloom Filters哈希运算,在内存中用临时表和流信息表来判断到达阈值的流并维护其信息,满足了高速网络环境下长流检测的要求,在保证测量精度的同时有效得控制了资源消耗.实验分析表明,和已有的方法相比,具有简单易行、资源可控等优点.     

基于DCBF的流抽样测量算法

为了提高系统的处理效率,减少系统的测量误差,提出了一种基于动态计数型布鲁姆过滤器（Dynamic Counting Bloom Filter,DCBF）的流抽样测量算法。该算法使用基于报文级别的抽样,并通过DCBF进行流查找和统计,且在CBF计数器溢出时动态增加新的CBF。经理论分析和实验表明,该算法不仅提高了系统的运行效率,减少了存储空间的消耗,同时具有准确性和可扩展性,能很好地适用于高速链路的流量测量中。     

偏态数据流中的Bloom Filters自适应机制研究

针对Count Bloom Filters(CBF)在对偏态分布的网络数据流进行频度检测时,其使用的固定位数的计数器容易溢出的不足,提出了一种自适应性Bloom Filters(Adaptive Bloom Filters ABF),ABF使用可扩展的逻辑计数器替代CBF中大小固定的物理计数器进行计数,逻辑计数器由数目动态变化的若干个物理计数器组成,初始状态逻辑计数器等同于物理计数器,但逻辑计数器在频度数值上溢时会自适应扩展,覆盖其外部的物理计数器,增加数值容量,保证数值的测量准确性.实验表明ABF能够更好地适应检测频度的变化,并且不显著增加误判率,在对数据偏态分布的频度测量场合比其它Count Bloom Filters更具有优势.     

基于近似方法的抽样报文流数估计算法

维护每个报文的流记录需要占用大量测量资源.目前已有多种抽样技术估计网络流统计信息,然而精确地估计出流数统计信息是目前的研究难点.提出了Integral和Iteration 两种基于报文抽样样本估计网络流数的算法.Integral算法只需使用抽样流长为1的流数信息就可以近似推导出未抽样的流数.Iteration算法通过建立迭代函数估计未抽样流数,然后根据未抽样流数和已抽样的流数推断出原始流量的流数.采用CERNET(China education andresearch network)骨干网络链路数据将这两种算法与EM(expectation maximization)算法进行对比,表明Iteration算法具有较好的精度和性能.     

基于计数型Bloom过滤器的网络数据流统计

现有的流统计信息主要侧重于流抽样而忽视全流统计。为此,提出一种使用优化设计的计数型Bloom过滤器流统计方法。针对计数型Bloom过滤器数据增长带来的计数器溢出和假阳性错误率增高的问题,分别设计动态统计和多个计数器协同统计的方案。概要化的存储结构可方便查询,而且其计数型Bloom过滤器简单的数据结构也易于硬件实现。实验结果表明,与传统哈希方法相比,计数型Bloom过滤器流统计方法的时间复杂度更低,可用于网络应用中的快速全流统计。     

基于DCF的资源可控流抽样

Cisco的NetFlow是流测量中广泛应用的方案,但因其采用静态抽样率,当网络流量突然上升时,消耗过多的路由器资源,甚至影响路由器的正常转发功能。提出了基于DCF的资源可控流抽样,对测量间隔内到达的报文采取固定数量的抽样,并采用DCF哈希算法维护流记录,有效控制了资源的消耗。理论和实验分析结果表明,该方法具有抽样率自适应性、简单性、资源可控性,同时不失准确性。     

一种基于FCBF的流信息抽样测量框架及算法

基于FCBF的高效流信息抽样测量框架不仅可以抽样测量三类流参数,而且存储开销小,只需1～3MB字节左右的存储空间;同时还可以做到几乎零概率的流信息识别统计误差。分析结果表明,该算法可以支持远高于OC48的链路速率,甚至可达OC192或更高;适合于将来高速链路上细粒度的流信息抽样测量。     

基于流抽样和LRU的高速网络大流检测算法

在高速主干网络中,随着网络链路速率的不断提高和网络流数量的增加,如何及时、准确地检测出网络中的大流信息,成为目前网络流测量的热点问题。根据传统LRU算法由于突发性大量小流导致淘汰大流的测量缺陷和网络重尾分布的特点,提出一种新的识别大流的算法——基于流抽样和LRU的大流检测算法。算法通过流抽样技术过滤大部分的小流,并通过LRU算法识别大流信息,将过滤和识别过程分离,减少小流错误淘汰大流的可能性,提高算法测量准确性。分析算法的复杂度和漏检率,并通过实际试验数据分析了算法参数配置对于大流测量的准确性的影响。理论分析和仿真结果表明,与标准LRU算法和LRU_BF算法相比,在使用相同的存储空间下,新算法具有更高的测量准确性和实用性。     

随机分组抽样下子群体的流大小分布估计

随机分组抽样是网络管理和测量中最常见的抽样方法。已有的研究大都集中在此抽样方法下基于总体的流大小分布估计算法,但一些网络应用更关心总体流量中某个子群体的流大小分布。本文将总体的网络流划分成子群体S和子群体的补集-S,提出了一种在随机分组抽样下运用TCP协议信息的由S与S-共同组成流大小的联合分布的估计算法。实验证明,该算法能够较好地还原子群体及其在总体下的流大小分布的特征;另一方面,通过运用样本流中TCP协议信息,提高了子群体流大小分布估计算法的准确性。     

一种面向数据流模型的流计数算法

在研究数据流过程中,基于现有的概要数据结构Bloom Filter,给出改进的K Bloom Filter结构,从理论上对假阳性误判进行分析,得出两者具有相同的在误判率f0下表示集合规模的上限n0,因此,K Bloom Filter的误判率在可控范围内。提出基于K Bloom Filter的流计数算法,与基于Bloom Filter的流计数算法相比,在相同的空间复杂度O(m)和插入操作时间复杂度O(k)情况下,该算法降低了统计结果的误差。     

自相似网络的自适应系统双抽样方法研究

针对网络流量的自相似、重尾分布等特征,对传统的系统抽样进行改进,设计出一种新的抽样方法--自适应系统双抽样.该算法以传统的系统抽样为基础进行改进,充分考虑了网络流量重尾分布的特点,能正确估算Hurst参数,实现简单,参数自适应且能控制资源消耗.通过真实网络数据的实验分析表明,在链路负载估计、包到达时间间隔等方面较传统抽样方法都有明显的改进,提高了测量系统的精确性和实用性.     

校园网流量抽样测量系统设计与实现

随着高速网络技术的发展,大多数高校引入了千兆网,校园网络日益规模化和复杂化,使得实时在线的流量测量变得比较困难,基于抽样的流量测量方法作为一种可扩展的测量技术已成为人们经常采用的一种有效的流量测量技术。本文采用"弱化的贪心算法"确定各网段的最佳测点,并采用IP掩码匹配的分布式抽样测量技术将各测量点同步采集的流量经抽样后存储到服务器的不同储存区域,然后根据测量目标对各网段采集的流量进行汇聚、分析和统计。从节约成本出发,本文引入了双机协作抽样技术进行测量,此双测量主机系统充当了服务器、测量器和分析器角色,整个测量无需专用测量器和服务器,可以基本取代市场专用的流控测量设备,能实现对整个校园网流量的掌控。     

基于IPC控制系统的实时高精度测频方法

针对IPC控制系统中流量计高精度的实时测频问题,分析了PCI-1712L和KPCI-714的测频原理和实际测试结果;通过PLC高速计数功能完成了对流量计的测频,实现了实时流量的高精度测量;利用平均值滤波算法修正了误差,使得精度进一步提高。该方法测到的频率精度达到0.4%,采集速度为20次/秒。     

基于业务流数量自适应的资源限制分组抽样

高速网络中,流量抽样测量技术是一种重要可扩展的解决方案,其中NetFlow在流量测量中有着广泛的应用。针对NetFlow的缺陷提出了一种基于业务流数量自适应的资源限制分组抽样算法,该算法结合 “分层抽样”的思想,把 “累积业务流数量”作为重要的参数,来自适应地调节抽样概率,该抽样方法简单、易于实现,平衡了资源的消耗量和准确性。并基于实际互联网数据进行了实验比较,结果显示：该方法具有简单性、自适应性、资源可控性的同时不会失去准确性。     

航天侦察任务流重构方法研究

针对战场环境中多侦察任务同时并发或交错形成侦察任务流的现象,提出一种基于资源能力的侦察任务流重构方法.首先,定义侦察任务流、侦察资源的相关概念,给出了航天侦察资源能力统一度量模型.其次,提出了侦察任务流重构的流程框架,实现了基于信息共享的冗余任务分析消除、基于资源能力的任务分析与聚合、基于资源负载均衡的任务空间降维三种任务流重构算法.最后,结合试验案例进行验证.     

基于图像分析的传输流量检测

描述了基于图像分析的传输流量检测的激光扫描成像偏移原理和三角测量方法.设计了一种新型的用于传输流量检测的图像采集方法和装置,并利用基于语义权值的边缘提取方法和基于视觉模型的阈值选择策略进行传输带上物质的截面轮廓线提取,计算物质截面面积和较短时间内的流量体积.通过积分,最后计算出总的流量体积,并进行分析.在电厂中进行了三段煤传输录像实验,对三段录像流量检测的重复性和准确性比较结果表明,本文提出的图像采集、边缘提取以及流量分析方法可行、有效.     

嵌入式河流模型多参数同步采集与控制系统

介绍了大型河工物理模型试验数据实时采集与处理系统的开发难点、要点,包括水位、泥沙和流速测量系统的嵌入式模块软件、硬件设计。对电极——步进法测量水位、淤泥(沙)进行了研究。试验与运行状况表明该系统具有成本低、可靠、高效、实时性强等特点。     

可变频幅相一体化测量系统研究

阐述一种基于重索采样的可变频幅相一体化自适应测量系统。首先介绍了重索采样算法的理论根据,并且进行了算法仿真实验和误差分析,然后在此基础上提出了针对可变频信号的自适应测量原理,并设计了幅相一体化测量系统方案。该方案经实验验证具有较高的测量精度和高实时性。     

机器油液中磨粒铁磁性甄别及检测系统研究

针对油液磨粒分析中磨粒铁磁性甄别的要求,设计了磨粒分离传感器和视觉检测系统。对磨粒在流场和磁场中受力进行了分析,提出了根据总流道和非铁磁性磨粒流动的检测信息,对铁磁性磨粒间接检测的方法。运用DPIV的方法对观测点的流场进行检测,解决了根据单幅图像准确计算磨粒的污染度的问题。最后,对系统的检测性能进行了实验验证。