基于计数型Bloom过滤器的网络数据流统计

现有的流统计信息主要侧重于流抽样而忽视全流统计。为此,提出一种使用优化设计的计数型Bloom过滤器流统计方法。针对计数型Bloom过滤器数据增长带来的计数器溢出和假阳性错误率增高的问题,分别设计动态统计和多个计数器协同统计的方案。概要化的存储结构可方便查询,而且其计数型Bloom过滤器简单的数据结构也易于硬件实现。实验结果表明,与传统哈希方法相比,计数型Bloom过滤器流统计方法的时间复杂度更低,可用于网络应用中的快速全流统计。     

基于并行Bloom过滤器组的深度数据包检测算法

针对基于软件、硬件的深度数据包检测存在处理速度慢或规则集更新困难等方面的局限性,提出一种在多核平台上基于并行Bloom过滤器组的深度数据包检测算法。算法中首先将规则集按规则的长度分组,构造一个并行Bloom过滤器组,组中每个计数式 Bloom过滤器表示特定规则长度的规则集。为了减少执行过程中的冲突概率和计算量,构造了高性能的哈希函数,然后基于多核平台的并行处理能力使用并行编程实现了该算法。理论分析和实验结果表明该算法是一种时空高效的算法。     

基于分层计数型Bloom过滤器的进化数据流计数

许多应用场景所产生的数据流中,元素的频数分布符合重尾分布的特点,即大部分元素的频数较小而少部分元素的频数较大.为了解决数据流中所有相异元素及其频数的高效存储问题,提出了一个基于分层的计数型布卢姆过滤器(hierarchical counting Bloom filter,HCBF)保存所有元素频数的方法.该方法采用长度递减、计数单位递增的多层计数型布卢姆过滤器作为存储数据结构,多层过滤器共同组成元素的频数.与两个经典的计数型布卢姆过滤器CBF和DCF相比,HCBF更加适合真实数据流元素频数分布的重尾特点,在不影响查询性能和错误率的前提下,能够显著地降低空间开销.理论分析与实验结果验证了该结论.     

一种基于Bloom过滤器的服务模糊匹配算法

针对基于内容的发布/订阅系统中常用的查找匹配算法要求严格、不能很好地支持服务模糊匹配的问题,提 出了一种支持模糊匹配的服务匹配算法。该算法的基本思想是首先将服务与需求分别用两个Bloom过滤器来表示, 然后通过比较两个Bloom过滤器比特向量的相似程度,估算需求与服务之间的匹配程度。理论分析及仿真结果表 明,此算法可通过简单的Bloom过滤器运算实现基于内容的服务模糊匹配,准确度在95%以上。     

基于双Bloom过滤器与离散对数的虹膜模板保护方法

针对不可逆变换虹膜模板保护方法在虹膜识别系统中的模板泄露问题,提出一种融合人脸特征信息的基于双Bloom过滤器与离散对数的虹膜模板保护方法.采用Log-Gabor变换提取用户的虹膜特征,采用等价模式的LBP算法提取用户人脸特征,将量化的人脸特征通过离散对数转化为十进制密钥特征,然后将其嵌入到虹膜双Bloom过滤器变换中...     

网格环境下一种远程教育服务发现机制

网格环境下的远程教育出现对网格服务发现提出了挑战,UDDI上基于关键词和简单分类的服务发现机制已经不能很好满足需要。在分析现有相关研究的基础上,提出了基于Bloom过滤器的网格服务发现机制。通过对网格服务立体性分析,指出可对网格服务发布构建Bloom过滤器,给出一个具有高度空间相关性的服务发现方法。理论分析与实验表明,该方法是有效可行的。     

电信监管系统海量目标名单查找算法

电信监管系统中目标名单查找算法是衡量系统处理能力的重要指标。SIPURI作为SIP用户的网络标识有其自身的特点。该文在分析现有Hash算法对海量URI查找的性能后,提出一种基于Bloom过滤器的改进算法。仿真结果表明,在引入有限并且可控的虚警概率的前提下,Bloom过滤器查找速度与Hash算法相当,但内存消耗减小到原来的15％,提高了系统的处理能力。     

计数布鲁姆过滤器代数运算

文中探讨计数布鲁姆过滤器的代数运算和集合运算的一致性关系,研究使用计数布鲁姆过滤器代数运算进行集合成员查询的性能.理论分析和实验结果表明,计数布鲁姆过滤器的并、交、补、减、异或运算产生的新过滤器依然保持计数布鲁姆过滤器的特征,支持元素的删除操作,不会出现假阴性,能用于集合并集、交集、补集、差集及对称差的成员查询;当使用两个原始的计数布鲁姆过滤器查询补集、差集及对称差元素时,会存在部分本来属于补集、差集或对称差的元素被判为不属于补集、差集或对称差的问题,而使用计数布鲁姆过滤器代数运算后的过滤器进行补集、差集及对称差成员查询,则不存在上述问题,空间效率能提高一倍,时间效率亦能显著地得到改善.计数布鲁姆过滤器代数运算的使用有利于进一步扩展计数布鲁姆过滤器的应用范围.譬如计数布鲁姆过滤器减运算可用作一种新的集合调和方法,用于分布式系统中大型文件的分发.     

一种面向深度数据包检测的索引拆分Bloom过滤器

高速数据包处理迫切需要时空高效的深度数据包检测(DPI),满足其线速处理和低存储空间需求.Trie位图内容分析器(TriBiCa)采用片上位图Trie树来实现元素的最小完美Hash;但是,TriBiCa存在更新开销高和假阳性访问次数多等问题.共享节点快速Hash表(SFHT)采用片上计数Bloom过滤器(CBF)来实现硬件Hash表的快速查找;但是,SFHT存在更新开销高和存储空间需求大等问题.文中提出了一种索引拆分Bloom过滤器(ISBF).ISBF是由片上多组并行CBF和片外元素集构成,其核心思想是:元素的片外索引值被拆分成多组比特,每组比特采用多个片上并行CBF表示元素集;当查询元素时,每组并行CBF产生多个比特值,并合成候选元素的片外索引值.为了降低ISBF的更新开销,文中又提出了懒惰删除(lazyd eletion)算法和空缺插入(vacant insertion)算法,即采用一个片上删除位图,仅在片上并行CBF中删除或插入元素,而不需要调整其他元素的片外索引值.ISBF是一种时空高效的数据结构,其插入、删除和查询操作的平均片外存储器访问次数均为O(1);与TriBiCa和SFHT相比,ISBF在...     

分片计数布隆过滤器及其在Hbase二级索引的应用

针对Hadoop Database(Hbase)仅支持主索引结构,即通过主键和主键的range来检索数据的问题,提出利用Counting Bloom Filter的新变体建立二级索引来支持非主键数据的检索.分析了已有的Counting Bloom Filter(CBF)技术,针对CBF溢出概率高的问题,提出一种新的Split Counting Bloom Filter(SCBF)技术,SCBF将标准CBF分成多个相互独立的区域,由这多个区域共同存储元素的fingerprint.实验结果表明,与标准CBF相比,SCBF降低了溢出概率,充分提高了过滤器的性能,可以很好地用来建立Hbase二级索引.     

参与式感知中隐私保护的差异化数据分享协议

参与式感知中用户不仅对数据匹配度有要求,对数据差异化也同样有要求,为了既能满足用户对数据匹配度和差异化数据的需求,也能保护用户的偏好隐私,提出了一种隐私保护的差异化数据分享协议。该协议首先将交互双方的数据表示为两个整数集合,并且利用计数布隆过滤器(CBF)计算两个集合的集合交,以集合交的结果作为数据类型匹配度;其次利用CBF能删除元素的功能,计算两个集合的差异化数据值;最后将数据类型匹配度和差异化数据值与预先设定的阈值比较,判断是否符合交互条件,同时,对CBF的构造方法进行了改进,用以保护用户的偏好隐私。理论分析和实验结果表明,与基于布隆过滤器(BF)的非加密匹配协议相比,该协议克服了匹配结果偏大的缺陷,同时计算开销减少了50%以上。该协议在保护用户偏好隐私和满足用户对差异化数据需求的同时,具有较高的匹配精度和效率。     

基于Bloom滤波器的对等网多关键字检索

现有基于Bloom滤波器（BF）的对等网(P2P)检索,由于索引表的不断增长且不能确定数据量的上限,存在两个问题:一是难以确定BF向量长度;二是不能高效处理P2P多关键字Top-k查询。提出了一种基于关键词频率进行分块的分块Dynamic Bloom Filter（BDBF）以解决上述问题;并给出了相应的P2P多关键字Top-k查询模型,即当节点传送BF时先传送高频DBF,如不能满足Top-k查询则继续传送次高频的BF。实验分析发现,该结构更能适应数据量的连续增长,降低网络传输流量,并能高效处理多关键字检索中的Top-k查询问题。     

基于CBF的分布式元组空间叉积算法

针对分布式报文分类算法内存消耗大、可扩展性差的问题,提出分布式元组空间叉积算法。该算法采用独立域搜索引擎与树状多级聚合网络的分类结构,在聚合节点使用计数型布鲁姆过滤器(CBF)加速搜索,利用剪枝技术降低CBF内存消耗。仿真结果表明,对于 5×104条规模的9域规则库,聚合网络总内存消耗被控制在60 Kb内,该算法的查找速度达到100 Mp/s,且具有良好的可扩展性。     

基于CBF的分布式元组空间叉积算法

针对分布式报文分类算法内存消耗大、可扩展性差的问题,提出分布式元组空间叉积算法。该算法采用独立域搜索引擎与树状多级聚合网络的分类结构,在聚合节点使用计数型布鲁姆过滤器(CBF)加速搜索,利用剪枝技术降低CBF内存消耗。仿真结果表明,对于 5×104条规模的9域规则库,聚合网络总内存消耗被控制在60 Kb内,该算法的查找速度达到100 Mp/s,且具有良好的可扩展性。     

基于计数型布隆过滤器的文本检索模型

分布式文本检索系统难以兼顾高效率的数据检索和低成本的索引维护。为此,提出一种基于计数型布隆过滤器的文本检索模型CBFTRM。该模型将物理节点分为数据节点和索引节点,分别采用结构化P2P进行网络覆盖。每个数据节点负责存储文档数据并维护与之相应的倒排索引,同时通过倒排索引中的关键词集合计算出计数型布隆过滤器值,发送给相应的索引节点。每个索引节点建立一棵以部分数据节点的特征信息(包括过滤器值)为叶节点、以过滤器值运算结果为内部节点的搜索树,并在叶节点发生变化时对搜索树进行维护。仿真实验结果表明,该模型文档定位快,索引维护通信量小,而且具有较高的查准率。     

基于Bloom Filter的海量数据分布式快速匹配算法研究

海量数据的快速匹配已经成为当前应用系统一个严峻问题,针对此问题展开深入讨论,将分布式技术与Bloom Filter技术有效结合,给出一种基于Bloom Filter的分布式快速匹配算法。与传统算法相比,此方法大大降低了程序对服务器内存的要求,同时提高了匹配效率,解决了制约应用程序运行效率的瓶颈问题。     

基于Bloom Filter路由表的P2P搜索算法

研究非结构化P2P网络的搜索机制,提出基于布莱姆过滤器(BF)路由表的改进算法。该算法利用BF技术生成路由条目并在一定范围内相互交换本地路由表,使节点能够了解一定范围内的节点共享信息,实现有针对性的搜索,避免传统的盲目性搜索。仿真结果表明,该算法查询搜索时产生的消息数量比传统算法减少一个数量级,并能够获得较好的查全率。     

事务存储中的一种自适应冲突检测算法

事务存储被认为是极具前景的多核处理器并行编程的手段,但存在开销过大的问题。采用Bloom Filter对事务间访问共享变量进行冲突检测,能够有效地降低开销,但其存在误判会导致不必要的事务作废,因此要尽可能减少。简要介绍了Bloom Filter和事务存储,提出了一种事务存储的自适应冲突检测算法ACDA,根据事务读写集合大小自适应地调整Bloom Filter的位串大小,在较低开销的情况下,保持误判率不增加。分析了软件事务存储中实现ACDA的特点,初步实现ACDA,与主流软件事务存储实现RSTM相比,在事务存储测试程序STAMP中,开销可接受的前提下,减少因误判而作废的事务最高达93%。给出了对ACDA哈希函数进一步优化的思路。     

基于Counting Bloom Filter的DNS异常检测

鉴于失败的DNS查询（failed DNS query）能提供恶意网络活动的证据,以DNS查询失败的数据为切入口,提出一种轻量级的基于Counting Bloom Filter的DNS异常检测方法。该方法使用带语义特征的可逆哈希函数对被查询的域名及发起查询的IP进行快速的聚类和还原。实验结果证明该方法能以较少的空间占用和较快的计算速度有效识别出DNS流量中的异常,适用于僵尸网络、分布式拒绝服务（DDoS）攻击等异常检测的前期筛选和后期验证。