面向中英文混合环境的多模式匹配算法

分析了中英文混合环境下多模式匹配的特点,以及已有多模式匹配算法应用于中英文混合环境时的不足,给出并证明了中英文混合环境下多模式匹配算法的性能定理,提出了一种适合于中英文混合环境的基于线索完全哈希Trie结构的多模式匹配算法.该算法扩展了标准Trie结构,以中英文字符内码为键值构造完全哈希Trie匹配机,并利用模式串之间的关系对Trie匹配机进行线索化.理论分析与实验结果表明,所提出的算法在匹配中无需复杂的哈希运算,不需要回溯匹配指针,在中英文混合环境下能够进行正确、高效的匹配,而且不存在空间膨胀问题,具有较低的空间与时间复杂度,有较大理论与应用价值.     

两级哈希表存储模式的高效多模式匹配算法北大核心CSCD

为了弥补多字符串模式匹配效率低下的缺陷,给出了一种基于双哈希表的多模式匹配算法。这个算法通过两个相关联的哈希表对模式串进行存储,同时采用一个转移表将发生失配时的跳跃距离存储。处于匹配阶段时:如果模式串无公共前缀,那么仅仅于第一个哈希表中进行查找;如果模式串有公共前缀,那么就在两个哈希表中顺序查找。经分析发现,此算法在最短模式串长度很长的环境中尤为适用,相对于经典算法,其时间复杂度较低,且其尝试次数也比较少。最后经实验可以证明,该算法具备较好的时空性能。     

基于HASH-TCAM算法的高速模式匹配研究*

针对基于硬件的模式匹配算法处理长模式串时吞吐率不高的问题,提出了基于将哈希压缩与TCAM查表相结合的算法——HASH-TCAM算法。通过哈希算法将待匹配的关键字预处理,减少其长度,解决了40 Gbps线速下的长模式串匹配问题,并通过40 Gbps测试仪验证了该算法的可行性。分析表明,该算法在查询的固定关键字长度为72 Byte,模式集数目为5000,哈希压缩后地址的编码宽度为46 bit时,模式识别模块以牺牲冲突的代价实现了51.2 Gbps的吞吐率,可以满足40 Gbps链路中DPI算法的逐包线速的需求     

THT-MSMA：基于双哈希表的高效多模式匹配算法

摘　要 多字符串模式匹配是在给定的文本中并行查找多个模式串的一种方法。本文中提出THT-MSMA多模式匹配算法,该算法采用双哈希表来减少尝试比较的次数。分析表明,该算法适合于最短模式串长度很长的环境,时间复杂度要低于经典的算法,尝试比较次数少于传统的多模式匹配算法。最后,实验结果表明,THT-MSMA算法具有良好的时空性能。     

一种按字长匹配的Wu-Manber多模式匹配算法

多模式匹配是串处理系统中最重要的操作之一,而Wu-Manber算法是多模式串匹配算法中平均性能表现最好的算法.针对Wu-Manber多模式匹配算法在规则集中存在短模式串时性能下降的问题,提出一种按字长匹配的多模式匹配算法.改进的算法是在32位机器上实现,哈希的字符块长度取2,每次匹配的单位由原来的一个字符变为一个机器字,缩小了访存时间,同时利用机器字长存储的特点合理设计哈希函数,加快了字符块哈希值的计算,极大的提高了有短模式串存在时模式集的匹配性能.与原Wu-Manber算法对比,当最短模式串长度小于6时,改进后的算法搜索时间平均缩短了40％.当最短模式串长度为2和3时,搜索时间缩短了60％以上.     

无重叠条件模式匹配的在线求解算法

无重叠条件模式匹配是众多间隙约束的模式匹配算法中的一种,尽管当前证明了无重叠条件模式匹配是一个多项式时间复杂度问题,并提出了有效的求解算法,但是当前求解算法采用离线计算方式,具有空间复杂度较高的缺点。为了解决该问题,设计了一种在线求解算法,该算法一边读入序列串,一边在流网树中寻找符合约束条件的树根-树叶路径,以快速剪枝无用节点,从而加快了匹配速度。与离线算法的空间复杂度相比,在线算法的空间复杂度为O(m×maxlen×W),这里m,maxlen和W分别表示模式串长度、模式最大长度约束和最大间隙约束。实验结果不仅验证了算法的完备性,与现有算法相比,在内存占用上均有较大性能的提升。     

串匹配算法的简单并行实现

结合BM模式匹配算法和并行计算的思想,提出了一种快速的串匹配并行实现策略,该策略将文本串划分成一定长度的子串,将子串分配到不同的处理器中,在各个处理器中分别并行执行BM模式匹配,即便是在最坏的情况下也能达到较好的时间复杂度。     

串匹配算法的简单并行实现

结合BM模式匹配算法和并行计算的思想,提出了一种快速的串匹配并行实现策略,该策略将文本串划分成一定长度的子串,将子串分配到不同的处理器中,在各个处理器中分别并行执行BM模式匹配,即便是在最坏的情况下也能达到较好的时间复杂度。     

一种模式匹配快速算法

在定义模式串的特征值之后,给出了判断两等长串匹配的必要条件以及两相邻子串的特征值之间的递推关系.在此基础上,提供一种模式匹配快速算法,其时间复杂度可达O(n).该算法彻底避免了回溯现象,执行效率要比RK算法高.     

入侵检测系统中高效的模式匹配算法

针对入侵检测系统模式匹配效率低的问题,提出一种高效的模式匹配算法.该算法通过对模式进行预处理记录模式的信息,然后对子节点进行递归比较,找到重复度最大的部分,提高模式匹配的效率;通过增加附加m个节点的匹配模式结构,降低模式匹配算法的时间与空间复杂度.理论分析表明,对于包含n个节点的主题树,提出的模式匹配算法的时间复杂度为O(nlog2n+mlog2m),空间复杂度为O(n+m).详细的实验以及与现有算法的比较表明,提出的模式匹配算法在时间、空间和匹配率性能上具有更高的效率.     

NIST新HASH算法征集活动综述

随着SHA-1漏洞被发现,对新的HASH算法的需求日渐突出。NIST专门对此召开两次研讨会,并举办了新算法征集活动,旨在发展新的HASH函数。该文对有关活动进行了综述,特别是对新算法的质量要求进行了分析。     

适用于高速检索的完美Hash函数

软件实现的Hash函数在当前检索领域应用非常广泛,但是由于处理速度不高,很难满足骨干网以及服务器海量数据的高速实时查找要求.硬件Hash函数处理速度快,但普遍存在设计电路复杂、存储空间利用率不高以及无法支持数据集动态更新等问题.基于位提取(Bit-extraction)算法,利用位选择(Bit-Selection)操作与位逻辑运算在FPGA上仿真实现一种Hash函数,可生成负载因子(Load factor)接近于1的近似最小完美Hash表.仿真结果表明,该Hash函数中每个24 bits长度Key的存储空间只要2.8-5.6 bits,系统时钟频率可以达到300MHz左右(吞吐率超过14Gbps).可以应用于IP地址查找、数据包分类、字符串匹配以及入侵检测等需要实时高速表查找的场景.     

分布式存储系统的哈希算法研究

针对分布式存储系统中如何实现数据在物理存储上的均匀分布和高效定位的问题,对多种哈希算法展开研究,提出了衡量分布式存储系统哈希算法优劣的标准;从散列分布性、哈希冲突和计算效率等多个维度对这些哈希算法进行分析比较,指出各种哈希算法的应用场景;结合分布式存储系统的应用,给出最优的哈希算法选择。实验结果证明,Davies-Meyer算法具有很好的均匀分布性和很高的计算效率,很适合分布式存储系统的应用。     

基于对比学习的无监督三元哈希方法

为了解决现有无监督二元哈希方法由于存在较大量化损失而导致检索精度较低的问题,在CIBHash方法的基础上,提出了一种新的基于对比学习的无监督三元哈希方法——CUTHash,将三元哈希编码用于图像检索。具体来说,首先,使用融合了解耦对比损失的对比学习框架,在目标数据集上进行无监督的图像特征学习;接着,为了得到三元哈希编码,对学习到的图像特征使用平滑函数进行量化操作,解决离散函数量化后导致的零梯度问题;最后,应用改进后的对比损失,约束同属一张图像的增强视图的特征在哈希空间中尽可能地接近,从而使得三元哈希编码具有一定的辨识力,使其更好地应用于无监督图像检索任务。在CIFAR-10、NUS-WIDE、MSCOCO以及ImageNet100数据集上进行了大量对比实验,取得了较当前主流的无监督哈希方法更好的检索性能,从而验证了CUTHash方法的有效性。     

有效的哈希冲突解决办法

为了提高解决哈希冲突的效率,在冲突解决机制和数据元素被查找的先验概率的基础上,结合堆排序的优点,提出了一种更有效的处理哈希冲突的方法,称其为以先验概率为基础的哈希大顶堆查找。该方法首先依据关键字被查的先验概率的大小建立相应的哈希大顶堆,然后利用哈希大顶堆进行查找。最后通过严密的效率分析可看出:该方法在最坏的情况下的时间复杂度才为O(n log n),不但降低了冲突时执行查询的查找长度,从而降低查询响应的时间复杂度,而且该方法对于记录数越大的文件越适用。     

基于三重DES的延迟函数构造

延迟函数是指函数的输出需要一定时间,但计算复杂度又不同于密码难度的一类函数。给出了一种基于hash碰撞的延迟函数的实现方法,以此方法实现的延迟函数,具有安全高效,延迟度可控的特点,可用于电子彩票中奖数字的产生,对于电子彩票方案的设计具有重要的意义。     

多维hash链在微支付中的应用

随着通过互联网进行交易的小额商品的增加，微支付目前已经成为电子支付的重要研究方向。如果小额交易仍采用通常的支付方法，运算与存储的代价将使系统不堪重负。Rivest提出用hash函数完成微支付的聚合，用RSA公钥算法作为hash函数设计微支付方案，并将Rivest的线性hash函数扩展至高阶、多维，以使该方案效率更高。     

larbin网络爬虫的体系结构

本文通过对larbin网络爬虫的研究后总结出了larbin网络爬虫的体系结构。然后结合该爬虫详细介绍了整个体系结构的工作过程．最后介绍了larbin网络爬虫的特点。     

基于双哈希链的公平移动支付协议的设计和分析

设计并分析了一个全新的基于双哈希链的公平移动支付协议;简要介绍了移动支付的业务流程并分析了该模型存在对用户不公平的不足之处;把用于一次性数字签名的双哈希链方案引入移动支付协议,借鉴分次支付的思想提出了一个新的公平移动支付协议;该协议包括4个部分:注册协议、定单下载协议、支付协议、清算协议;它具有很高的效率和可靠性,最大优点在于能够保证支付过程中对用户的公平,使移动用户在参加移动增值业务过程中不再处于绝对劣势,适于移动网络中的公平支付.     

基于流应用中的哈希查表性能研究

基于流应用中采用哈希查表进行报文分类具有成本低、扩展性好等优点,但是其查表性能受到诸多因素影响,制约了它的应用范围。该文采用理论分析和仿真的方法研究了在均匀映射和非均匀映射情况下,哈希查表性能的一些规律,对于具体应用具有一定的指导作用。