d-Left CBF技术在P2P中的研究

分析了Bloom Filter技术在时下流行的P2P分布式系统中的应用,着重介绍基于Bloom Filter的d-Left Counting Bloom Filtr(CBF)技术,d-left CBF利用d-lef thashing的方法存储fingerprint,将hash value分为两部分,分别用于存储随机地址和fingerprint,从而提高工作效率,并支持节点动态删除操作,应用于节点异常活跃的P2P系统中.     

4 种计数型Bloom Filter 的性能分析与比较

对3 种已有的计数型Bloom filter——Na?ve Counting Bloom Filter(NCBF),Space-Code Bloom Filter (SCBF)和d-left Counting Bloom Filter(dlCBF)——的查询错误概率进行了分析,得出了NCBF 的计数器防溢出条件 以及SCBF 和dlCBF 的参数最优设置准则.提出了一种衡量计数型Bloom filter 性能的指标:负载适应性.针对dlCBF 负载适应性差的问题,对dlCBF 进行了改进,提出了一种计数型Bloom filter:Binary Shrinking d-left Counting Bloom Filter(BSdlCBF).通过仿真实验,以计数误差、空间复杂度以及负载适应性为性能指标,对上述4 种CBF 进行了比较. 实验结果表明,BSdlCBF 具有最低的空间复杂度、最小的计数误差以及最佳的负载适应性. BSdlCBF 赢得上述性能 优势的代价在于其计算复杂度比其他3 种计数型Bloom filter 略高.     

4 种计数型Bloom Filter 的性能分析与比较

对3种已有的计数型Bloom filter--Na(I)ve Counting Bloom Filter(NCBF),Space-Code Bloom Filter (SCBF)和d-left Counting Bloom Filter(dlCBF)--的查询错误概率进行了分析,得出了NCBF的计数器防溢出条件以及SCBF和dlCBF的参数最优设置准则.提出了一种衡量计数型Bloom filter性能的指标:负载适应性.针对dlCBF负载适应性差的问题,对dlCBF进行了改进,提出了一种计数型Bloom filter:Binary Shrinking d-left Counting Bloom Filter(BSdlCBF).通过仿真实验,以计数误差、空间复杂度以及负载适应性为性能指标,对上述4种CBF进行了比较.实验结果表明,BSdlCBF具有最低的空间复杂度、最小的计数误差以及最佳的负载适应性. BSdlCBF赢得上述性能优势的代价在于其计算复杂度比其他3种计数型Bloom filter略高.     

基于LRU和扩展CBF的网络大流检测

高速网络流量检测中的大流检测已成为当前一种重要的、高效准确的可扩展流量测量机制,针对CBF（Count Bloom Filter）容易溢出的问题,将扩展的CBF应用于流量测量,防止过滤器溢出,并且结合LRU链表存储机制,共同应用于网络大流检测之中。经理论分析,所研究的流量测量算法LRU_MCBF（Least Recently Used_Multiple Count Bloom Filter）占用空间小,时间复杂度低;通过仿真实验验证了LRU_MCBF在大流测量中漏报率和错报率较低,能实现高速网络环境下大流对象的准确提取。     

基于DCBF的流抽样测量算法

为了提高系统的处理效率,减少系统的测量误差,提出了一种基于动态计数型布鲁姆过滤器（Dynamic Counting Bloom Filter,DCBF）的流抽样测量算法。该算法使用基于报文级别的抽样,并通过DCBF进行流查找和统计,且在CBF计数器溢出时动态增加新的CBF。经理论分析和实验表明,该算法不仅提高了系统的运行效率,减少了存储空间的消耗,同时具有准确性和可扩展性,能很好地适用于高速链路的流量测量中。     

相对误差受限的数据流流量测量算法

数据流流量测量的精度采用错误概率和相对误差进行衡量.现有的流量测量算法主要关注如何降低错误概率,而对如何减小相对误差则缺乏研究.考虑到减小相对误差对于流量计费等应用的重要意义,提出了一种相对误差受限的数据流流量测量算法MT-dlCBF(Multi-Tier d-left Counting Bloom Filter).MT-dlCBF由多层dlCBF (d-left Counting Bloom Filter)构成,且随着层数的提高,dlCBF中数据流指纹长度和流量计数器宽度也逐步增加,这样,可减轻长流对于短流的干扰,从而达到减小相对误差的目的.理论分析和仿真实验的结果表明,与dlCBF相比,MT-dl-CBF的错误概率略有增大,但相对误差显著减小.此外,在典型的参数条件下,MT-dlCBF的空间效率略优于dlCBF.     

基于动态附加布隆过滤器的RFID数据冗余处理算法

针对RFID设备在读取标签信息时产生的高度冗余会造成实时传输压力、存储空间浪费和上层应用分析结果不可靠等问题,提出一种动态附加布隆过滤器算法(Dynamic-Additional Bloom Filter, DATRBF)来清除RFID冗余数据。首先结合RFID动态数据流特点,利用时间和阅读器因素的影响设计了基础布隆过滤器(Time-Reader Bloom Filter, TRBF),然后根据定时间区间内数据量变化动态决定是否调整或附加额外的TRBF,通过附加TRBF从而扩充数组的方式将误判率控制在阈值内,最后结合两个过滤器对数据是否冗余进行综合判断。实验证明,在过滤RFID实时动态数据流中的冗余数据时,DATRBF算法相比传统布隆过滤器(Bloom Filter, BF)和时空布隆过滤器(Temporal-Spatial Bloom Filter, TSBF)有明显的优势,在数据量随机波动时DATRBF的误判率平均约为TSBF的49%,且DATRBF算法能够在数据量持续上升时保持平稳的低误判率。     

Hadoop下改进布隆过滤器算法的网页去重

针对服务器中存储的大量重复和相似数据造成的空间浪费问题,改进的布隆过滤器(Bloom Filter)算法通过增加位数组并根据位数组的重复命中次数所计算的权重来动态优化重复数据的副本数,然后在Hadoop分布式集群下对改进的算法进行并行实现,以进一步提高作业处理效率。实验结果表明,与传统网页去重算法相比,改进的Bloom Filter算法的并行实现不仅提高了作业的处理效率,而且通过基于位数组下动态重复次数对副本数的优化,在一定程度上节省了服务器的存储空间。     

基于Counting Bloom Filter的DNS异常检测

鉴于失败的DNS查询（failed DNS query）能提供恶意网络活动的证据,以DNS查询失败的数据为切入口,提出一种轻量级的基于Counting Bloom Filter的DNS异常检测方法。该方法使用带语义特征的可逆哈希函数对被查询的域名及发起查询的IP进行快速的聚类和还原。实验结果证明该方法能以较少的空间占用和较快的计算速度有效识别出DNS流量中的异常,适用于僵尸网络、分布式拒绝服务（DDoS）攻击等异常检测的前期筛选和后期验证。     

支持结果排序的安全密文检索方法研究

越来越多的企业和个人用户将数据部署到低成本、高质量的云存储中。为了保护敏感数据,用户在部署前会对其进行加密处理,但海量的加密数据给检索工作带来很大挑战。文中将传统的倒排索引结构改造成密文倒排索引,并在密文倒排索引上构建计数布隆过滤器,进而提出了基于计数布隆过滤器的密文安全索引(SICBF),其在保证隐私安全的前提下实现了对密文的快速检索。为减少SICBF索引中的数据冗余,设计了计数布隆过滤器的剪枝算法。为保护密文倒排索引中相关分的隐私安全,采用一对多保序加密机制(OPME)对相关分进行加密,并在密文相关分上对检索结果直接进行排序,将最相关检索结果top-k返回给授权用户。安全分析表明, 不同于原始数据分布,OPME算法加密后的相关分分布隐藏了数据的峰值,能防止针对相关分的统计攻击。实验结果表明,SICBF的检索效率高,计算量小,适用于海量加密数据文件的快速安全检索。     

典型Bloom过滤器的研究及其数据流应用

Bloom过滤器是一种空间高效但有一定假阳性的数据表示方法。该文分析比较计数型Bloom过滤器、光谱Bloom过滤器和动态计数过滤器的异同点及适用场合,介绍Bloom过滤器在重复项检测及频繁项挖掘中的应用,总结Bloom过滤器给数据流带来的挑战,包括元素突发问题及数据流相异元素数目变化问题。     

基于计数型Bloom过滤器的网络数据流统计

现有的流统计信息主要侧重于流抽样而忽视全流统计。为此,提出一种使用优化设计的计数型Bloom过滤器流统计方法。针对计数型Bloom过滤器数据增长带来的计数器溢出和假阳性错误率增高的问题,分别设计动态统计和多个计数器协同统计的方案。概要化的存储结构可方便查询,而且其计数型Bloom过滤器简单的数据结构也易于硬件实现。实验结果表明,与传统哈希方法相比,计数型Bloom过滤器流统计方法的时间复杂度更低,可用于网络应用中的快速全流统计。     

基于计数型布隆过滤器的文本检索模型

分布式文本检索系统难以兼顾高效率的数据检索和低成本的索引维护。为此,提出一种基于计数型布隆过滤器的文本检索模型CBFTRM。该模型将物理节点分为数据节点和索引节点,分别采用结构化P2P进行网络覆盖。每个数据节点负责存储文档数据并维护与之相应的倒排索引,同时通过倒排索引中的关键词集合计算出计数型布隆过滤器值,发送给相应的索引节点。每个索引节点建立一棵以部分数据节点的特征信息(包括过滤器值)为叶节点、以过滤器值运算结果为内部节点的搜索树,并在叶节点发生变化时对搜索树进行维护。仿真实验结果表明,该模型文档定位快,索引维护通信量小,而且具有较高的查准率。     

Improved Approximate Detection of Duplicates for Data Streams Over Sliding Windows

Detecting duplicates in data streams is an important problem that has a wide range of applications. In general,precisely detecting duplicates in an unbounded data stream is not feasible in most streaming scenarios,and,on the other hand,the elements in data streams are always time sensitive. These make it particular significant approximately detecting duplicates among newly arrived elements of a data stream within a fixed time frame. In this paper,we present a novel data structure,Decaying Bloom Filter(DBF),as an extension of the Counting Bloom Filter,that effectively removes stale elements as new elements continuously arrive over sliding windows. On the DBF basis we present an efficient algorithm to approximately detect duplicates over sliding windows. Our algorithm may produce false positive errors,but not false negative errors as in many previous results. We analyze the time complexity and detection accuracy,and give a tight upper bound of false positive rate. For a given space G bits and sliding window size W,our algorithm has an amortized time complexity of O((G/W))~(1/2). Both analytical and experimental results on synthetic data demonstrate that our algorithm is superior in both execution time and detection accuracy to the previous results.     

参与式感知中隐私保护的差异化数据分享协议

参与式感知中用户不仅对数据匹配度有要求,对数据差异化也同样有要求,为了既能满足用户对数据匹配度和差异化数据的需求,也能保护用户的偏好隐私,提出了一种隐私保护的差异化数据分享协议。该协议首先将交互双方的数据表示为两个整数集合,并且利用计数布隆过滤器(CBF)计算两个集合的集合交,以集合交的结果作为数据类型匹配度;其次利用CBF能删除元素的功能,计算两个集合的差异化数据值;最后将数据类型匹配度和差异化数据值与预先设定的阈值比较,判断是否符合交互条件,同时,对CBF的构造方法进行了改进,用以保护用户的偏好隐私。理论分析和实验结果表明,与基于布隆过滤器(BF)的非加密匹配协议相比,该协议克服了匹配结果偏大的缺陷,同时计算开销减少了50%以上。该协议在保护用户偏好隐私和满足用户对差异化数据需求的同时,具有较高的匹配精度和效率。     

偏态数据流中的Bloom Filters自适应机制研究

针对Count Bloom Filters(CBF)在对偏态分布的网络数据流进行频度检测时,其使用的固定位数的计数器容易溢出的不足,提出了一种自适应性Bloom Filters(Adaptive Bloom Filters ABF),ABF使用可扩展的逻辑计数器替代CBF中大小固定的物理计数器进行计数,逻辑计数器由数目动态变化的若干个物理计数器组成,初始状态逻辑计数器等同于物理计数器,但逻辑计数器在频度数值上溢时会自适应扩展,覆盖其外部的物理计数器,增加数值容量,保证数值的测量准确性.实验表明ABF能够更好地适应检测频度的变化,并且不显著增加误判率,在对数据偏态分布的频度测量场合比其它Count Bloom Filters更具有优势.     

基于MD5和布鲁姆过滤器的重复数据删除算法

针对目前重复数据处理技术的低效性和不可靠性,本文提出了一种基于MD5算法和布鲁姆过滤器的重复数据删除算法。新算法采用两级布鲁姆过滤器并有效结合MDS算法的方式,在发挥布鲁姆过滤器空间效率的同时汲取了MD5算法的可靠性,使得文件级别和数据块级别的重复数据删除策略交替工作。测试分析表明,新算法性能稳定并且实现了高效且可靠的重复数据删除功能。