事务存储中的一种自适应冲突检测算法

事务存储被认为是极具前景的多核处理器并行编程的手段,但存在开销过大的问题。采用Bloom Filter对事务间访问共享变量进行冲突检测,能够有效地降低开销,但其存在误判会导致不必要的事务作废,因此要尽可能减少。简要介绍了Bloom Filter和事务存储,提出了一种事务存储的自适应冲突检测算法ACDA,根据事务读写集合大小自适应地调整Bloom Filter的位串大小,在较低开销的情况下,保持误判率不增加。分析了软件事务存储中实现ACDA的特点,初步实现ACDA,与主流软件事务存储实现RSTM相比,在事务存储测试程序STAMP中,开销可接受的前提下,减少因误判而作废的事务最高达93%。给出了对ACDA哈希函数进一步优化的思路。     

利用报文抽样和可逆的Bloom Filter实现长流识别

针对高速网络的发展和利用哈希技术在识别长流时难以还原主机信息的问题,提出了利用报文抽样和可逆的Bloom Filter识别长流的算法.采用带有部分主机信息的哈希函数,利用哈希串的重叠和数量上的一致性,能够很方便的还原出主机的信息.给每个哈希函数独立的存储空间,在很大程度上减少了哈希过程所带来的内部冲突.实验结果表明,这种算法可以精确地获得长流的标识与长度信息.     

基于Bloom Filter的海量数据分布式快速匹配算法研究

海量数据的快速匹配已经成为当前应用系统一个严峻问题,针对此问题展开深入讨论,将分布式技术与Bloom Filter技术有效结合,给出一种基于Bloom Filter的分布式快速匹配算法。与传统算法相比,此方法大大降低了程序对服务器内存的要求,同时提高了匹配效率,解决了制约应用程序运行效率的瓶颈问题。     

Bloom Filter及其应用综述

Bloom Filter对数据集合采用一个位串表示并能有效支持集合元素的哈希查找操作。本文对Bloom Filter及其改进型进行了综述性分析研究．探讨了它的实用性。较为详细地阐述了它在P2P网络文件存储系统OceanStore和文本检索系统中的应用情况。最后指出了进一步的研究方向。     

一种基于子串识别的多模式串匹配算法

多模式串匹配算法是网络内容过滤系统的核心技术。巨大的存储空间开销是制约多模式匹配串算法应用的瓶颈之一。提出一种基于子串识别的多模式匹配算法—HashBOM,该算法利用位哈希表存储模式串的子串信息以大幅度减少存储空间,利用递归哈希函数计算字符串的哈希值以实现快速匹配。理论分析表明,该算法的空间复杂度为O(rm~2),优于基于子串识别的匹配算法BOM的空间复杂度O(mr|∑|log_2mr);该算法搜索匹配过程的平均时间复杂度为O(nlog|∑|)mr/m,与BOM算法相同(其中m为最短模式串的长度,r为模式串的个数,n为待匹配文本的长度,|∑|为字母表的大小)。在随机数据集和真实数据集上的实验表明,该算法的存储空间远远低于BOM算法,而匹配速度与BOM算法相当,非常适合在线实时匹配的应用环境。     

ODBF:基于操作型衰落Bloom Filter的P2P网络弱状态路由算法

在P2P网络中,基于衰落Bloom Filter的弱状态路由算法试图将每条查询消息沿着成员资格信息量最强的方向传递,并最终以较低的传输代价和传输时延确保较高的查准率.研究发现衰落Bloom Filter在传递过程中存在严重的多径叠加和噪音问题,这直接导致查询消息以很高的概率沿着错误的方向传播,甚至会退化为泛洪路由算法.为解决这一挑战性难题,文中提出了基于操作型衰落Bloom Filter的弱状态路由算法ODBF(Operative Deca-ying Bloom Filter).ODBF通过分别保存对象的衰落Bloom Filter及源节点等信息,使得ODBF能够有效解决基于衰落Bloom Filter的路由信息在P2P网络中的多径叠加和信息回流问题,有效抑制噪音的影响,进而使得基于弱状态的路由能够以很高的概率沿着正确方向进行.     

基于平衡二叉树和Bloom过滤器的可变长地址路由查找算法

可变长地址是未来网络领域的重要研究内容之一。针对传统路由查找算法在面向可变长地址时查找效率低的问题，提出一种基于平衡二叉树AVL(Adelson-Velskii and Landis)树和Bloom过滤器的适用于可变长地址的高效路由查找算法，简称为AVL-Bloom算法。首先，针对可变长地址灵活可变且无界的特点，利用多个片外哈希表分别存储前缀比特位数相同的路由条目及其下一跳信息，同时应用片上Bloom过滤器加速搜索可能匹配的路由前缀；其次，为了解决基于哈希技术的路由查找算法在查找最长前缀路由时需多次哈希对比的问题，引入AVL树技术，即通过AVL树组织每组路由前缀集合的Bloom过滤器及其哈希表，优化路由前缀长度的查询顺序，并减少哈希计算次数进而降低查询时间；最后，在3种不同的可变长地址数据集上将所提算法与METrie(Multi-Entrance-Trie)和COBF(Controlled prefix and One-hashing Bloom Filter)这两种传统路由查找算法进行对比实验。实验结果表明，AVL-Bloom算法的查询时间明显少于METrie和COBF算法，分别减少...     

基于衰落Bloom Filter 的P2P 网络弱状态路由算法

在P2P网络中,基于衰落Bloom Filter的弱状态路由算法试图将每条查询消息沿着成员资格信息量最强的方向传递,并最终以较低的传输代价和传输时延确保较高的查准率.衰落Bloom Filter在传递过程中存在严重的多径叠加和噪音问题,这直接导致查询消息会以很高的概率沿着错误的方向传播,甚至会退化为泛洪路由算法.为了解决这一挑战性难题,提出了DWalker这种基于衰落Bloom Filter的高效弱状态路由算法.DWalker基于有向随机网络,采用指数衰落Bloom Filter来发布和传播每个节点共享资源的信息,且其最大传播距离小于网络中任意两点之间距离的期望值,从而有效抑制了衰落Bloom Filter在传播过程中的多径叠加问题.DWalker采用多个Bloom Filter而不是单个Bloom Filter来表达一项路由条目,在单个Bloom Filter的错误发生概率达到设计上限时,可按需动态增加新的Bloom Filter,以将更多资源对象信息纳入到当前路由条目中.DWalker仅根据当前节点的各项路由条目中值为1的比特位所占的最大比例,以及查询消息在正确转发方向对应的路由条目中对应比特位中值为1的个数的临界值,就能使进入目标对象传播范围内的查询消息以较高的概率辨认出正确的路由方向.理论分析和实验结果表明,DWalker能够以较低的查询消息代价、较小的路由条目存储开销以及较短的查询时延,使绝大多数查询消息沿正确方向转发,从而获得较高的查准率.     

一种按字长匹配的Wu-Manber多模式匹配算法

多模式匹配是串处理系统中最重要的操作之一,而Wu-Manber算法是多模式串匹配算法中平均性能表现最好的算法.针对Wu-Manber多模式匹配算法在规则集中存在短模式串时性能下降的问题,提出一种按字长匹配的多模式匹配算法.改进的算法是在32位机器上实现,哈希的字符块长度取2,每次匹配的单位由原来的一个字符变为一个机器字,缩小了访存时间,同时利用机器字长存储的特点合理设计哈希函数,加快了字符块哈希值的计算,极大的提高了有短模式串存在时模式集的匹配性能.与原Wu-Manber算法对比,当最短模式串长度小于6时,改进后的算法搜索时间平均缩短了40％.当最短模式串长度为2和3时,搜索时间缩短了60％以上.     

BFPC:一种新型的基于Bloom Filter的报文分类算法

Bloom Filter是一种支持高速数据查询的数据结构,已被广泛应用到各个领域,包括路由查找、串匹配[1]等。本文将重点研究Bloom Filter在报文分类领域中的应用,提出一种新型的报文分类算法——BFPC,阐述BFPC算法的基本思想,并通过实例对该算法进行了描述。最后,对BFPC算法与其他报文分类算法进行了性能比较。     

一种实现网络入侵检测的高效算法及其实现架构

为了实现网络入侵检测系统中的精确字符串匹配,本文提出了一种基于叶子-附加和二叉搜索树的字符串匹配算法及其实现架构;首先采用叶子-追加算法来对给定的模式集进行处理,以消除模式之间的重叠。然后采用二叉搜索树算法提取叶子模式及其匹配向量来构建二叉搜索树,并根据每个节点的比较结果,通过左遍历或右遍历来实现字符串的精确匹配;为了进一步提高字符串匹配算法的内存效率,提出了级联二叉搜索树;最后給出了实现精确字符串匹配的总体架构和各个功能模块的架构;实验结果表明,本文提出的设计不仅在内存效率和吞吐量方面优于目前先进的设计技术,而且具有灵活的可扩展性。     

基于DoLFA的高效正则表达式匹配算法

随着规则数量的急剧增长,表示正则表达式的DFA(Deterministic Finite Automata,确定型有限自动机)容易引起状态空间爆炸,难以满足高速网络的实时处理需求。提出一种高效的正则表达式匹配算法,该算法通过将正则表达式分割为精确串、字符集合以及重复字符3个子集,分别对其进行分区优化及检测,然后再利用结点信息对匹配信号进行连接,即构建一种特殊的状态机DoLFA(Divide-optimize-Link Finite Automata)。理论分析和仿真结果表明,该算法可以大大节省存储空间,并获得较高的吞吐量,且具有较强的扩展性。     

基于多字符DFA的高速正则表达式匹配算法

基于确定性有限自动机(DFA)的传统正则表达式匹配方法存在单周期处理单字符的速度瓶颈。为提升处理速率,提出一种单周期处理多字符的匹配算法MC-DFA,该算法基于DFA实现,支持匹配位置的精确定位。MC-DFA将传统DFA中的单字符跳转合并为多字符跳转,实现了单周期处理多个输入字符。通过状态转移矩阵二阶压缩算法,MC-DFA分别对矩阵行内以及行间冗余进行消除,减少了内存使用。300条规则下,单周期处理8字符时,MC-DFA吞吐率能够达到7.88Gb/s,内存占用小于6MB,预处理时间为19.24s。实验结果表明,MC-DFA能够有效提升系统吞吐率,并且保证内存占用在可接受范围之内,性能优于现有正则表达式匹配算法。     

入侵检测系统中的快速多模式匹配算法

网络入侵检测系统常常依赖于精确的模式匹配技术，依赖于算法的选择、实现以及使用频率。这种模式匹配技术可能成为入侵检测系统的瓶颈，为了跟上快速增长的网络速度和网络流量，Snort(开放源代码的网络入侵检测系统)中采用了快速多模式匹配算法，本文描述了Snort中一种引入注目的快速多模式匹配算法及其对系统性能的改进。     

基于网络处理器的多模式串匹配研究

深度数据包检查是网络入侵检测系统的性能瓶颈。该文分析入侵规则集中模式串的分布特点,对多模式匹配算法FNP进行改进,研究在多核多线程体系结构的网络处理器上高效实现模式串匹配的方法。在Intel IXP2800网络处理器上的仿真实验结果表明,改进算法在规模为10 K的模式串集合上能达到6 Gb/s的吞吐量,具有几乎线性的加速比。     

高速网络流采集系统的设计与实现

针对基于软件的网络流采集系统不能高效处理高速网络流量,以及为了提高采集效率需要同时对多种网络流进行采集的问题,提出一种基于软硬件结合的高速网络流采集框架,探讨在NetFPGA-10G平台实现高速网络流采集系统,称之为HSNTCS。该系统在硬件上通过精确串匹配引擎或正则表达式匹配引擎过滤、分类出所需的多种网络流后,将其传至内核驱动层对应的数据缓冲区,然后直接拷贝至用户空间并存储至对应的数据库。经实验测试,在精确串匹配情况下,用硬件方式实现的高速网络流采集系统的用户数据报协议(UDP)、传输控制协议(TCP)吞吐率都达到1.2Gb/s,约是用软件方式实现的3倍;在正则表达式匹配情况下,用硬件方式实现的高速网络流采集系统的UDP、TCP吞吐率都达到640Mb/s,约是用软件方式实现的3倍。结果表明,相对于软件实现方式,硬件实现具有更高的采集性能。     

基于预定义类的紧凑型正则表达式匹配算法

针对目前硬件正则表达式匹配算法在存储空间以及吞吐量等方面面临的挑战,结合扩展有限自动机（XFA）正则表达式匹配算法,提出了一种预定义类的压缩自动机匹配算法（Pre-Class CFA）。通过预定义类,算法既可以实现正则表达式中类字符匹配,又能够通过优先级的设定匹配特殊字符集,并在XFA消除确定性有限状态机（DFA）状态爆炸问题的基础上进一步压缩了迁移边数目;同时算法根据现场可编程门阵列（FPGA）和迁移边的特征,设计了一种基于并联只读存储器（ROM）结构的迁移边存取方法,可以实现同一状态多条迁移边的并行读取和匹配。在中低性能FPGA平台ALTERA DE2-70上对算法进行测试,实验中系统吞吐量为1.3 Gb/s,可实现千兆网络下的入侵检测和垃圾过滤。     

划分位无冲突哈希在trie树分组中的研究

随着网络带宽的不断增长,迫切需要时空高效的数据包处理技术,满足线速处理和低存储需求。在高速片上存储器上存储所有的攻击特征,可以实现对数据包的高速检测,但受限于有限的片上存储器空间。通过基于划分位构建无冲突哈希函数,实现对片上存储器有效的控制,攻击特征平均分配到trie树每层的多个组中。该结构可以在同一个芯片中实现流水并行地执行,获得比较大的吞吐量。理论及实验表明该方法在片上存储器一次就执行完复杂的完全匹配操作,显著地降低片上存储空间需求。     

Pipelined Architecture for Multi-String Matching

We present a pipelined approach to hardware implementation of the Aho-Corasick (AC) algorithm for string matching called P-AC. By incorporating pipelined processing, the state graph is reduced to a character trie that only contains forward edges. Edge reduction in P-AC is very impressive and is guaranteed algorithmically. For a signature set with 4434 strings extracted from the Snort rule set, the memory cost of P-AC is only 21.5 bits/char. The simplicity of the pipeline control plus the availability of 2-port memories allow us to implement two pipelines sharing the set of lookup tables on the same device. By doing so, the system throughput can be doubled with little overhead. The throughput of our method is up to 8.8 Gbps when the system is implemented using 550MHz FPGA.     

数据包过滤规则的快速匹配算法和冲突检测

通过分析数据包过滤技术中的性能瓶颈,提出了过滤规则的快速匹配算法BSLT．该算法采用Trie数据结构存储规则表,并只在叶节点存储相应规则,节省了存储空间,其空间复杂度为O(NW),查找的时间复杂度为O(W);在匹配时采用二分法进行查找,提高了匹配速度,匹配的时间复杂度为O(N)．实验证明BSLT的吞吐率在100条规则内比顺序匹配算法提高了近20％,而且规则越多．BSLT的优势越明显．此外,分析了数据包过滤技术的另一个问题——规则冲突,给出了冲突的理论证明和查找算法．实验证明该算法能准确地检测出冲突规则．