一种面向数据流模型的流计数算法

在研究数据流过程中,基于现有的概要数据结构Bloom Filter,给出改进的K Bloom Filter结构,从理论上对假阳性误判进行分析,得出两者具有相同的在误判率f0下表示集合规模的上限n0,因此,K Bloom Filter的误判率在可控范围内。提出基于K Bloom Filter的流计数算法,与基于Bloom Filter的流计数算法相比,在相同的空间复杂度O(m)和插入操作时间复杂度O(k)情况下,该算法降低了统计结果的误差。     

基于Bloom filter的RFID中间件数据过滤算法研究

有效地减少RFID系统中冗余阅读器或天线采集到的大量重复数据,可以降低系统能耗和提高处理效率。经研究,提出采用改进的布隆过滤器(Bloom filter)对RFID采集数据进行去重过滤,并运用到中间件系统中。改进的Bloom filter主要将两个标准的Bloom filter组成二维并行Bloom filter,对RFID采集数据所包含的两个属性值tag ID和reader ID进行并行过滤。经实验可见,标准Bloom filter与哈希过滤(hash filter)相比具有明显的优势,对其改进后,采用二维并行Bloom filter在误判率、吞吐率和存储空间上具有更高的系统性能。     

基于布隆过滤器的RFID数据冗余处理算法研究

RFID技术作为物联网领域的关键技术,具有广阔的应用前景。然而RFID设备在读取标签信息时会产生大量冗余数据。因此,RFID数据冗余处理的研究对于减少RFID中间件系统负荷、快速检测出入标签有着重要的意义。之前针对RFID数据冗余过滤的研究往往是单维度、静态场景的简单过滤,无法实现复杂场景下标签的出入检测。因此,本文提出一种名为时间距离布隆过滤器（TDBF）的算法,该算法从时间和空间两个维度进行冗余过滤。与常用的时间布隆过滤器相比,该算法兼顾了RFID标签的读取时间和读取距离,极大的降低了数据的冗余问题。在保证漏读率较低的情况下,极大的降低了数据的误读率。同时该算法支持动态场景中移动标签的冗余过滤,能够较好的满足出入监控需求。     

基于 BIoom fiIter 的 RFID 中间件数据过滤算法研究

有效地减少 RFID 系统中冗余阅读器或天线采集到的大量重复数据,可以降低系统能耗和提高处理效率。经研究,提出采用改进的布隆过滤器（Bloom filter）对 RFID 采集数据进行去重过滤,并运用到中间件系统中。改进的 Bloom filter 主要将两个标准的 Bloom filter 组成二维并行 Bloom filter,对 RFID 采集数据所包含的两个属性值 tagID 和 readerID 进行并行过滤。经实验可见,标准 Bloom filter 与哈希过滤（hash filter）相比具有明显的优势,对其改进后,采用二维并行 Bloom filter 在误判率、吞吐率和存储空间上具有更高的系统性能。     

Hadoop下改进布隆过滤器算法的网页去重

针对服务器中存储的大量重复和相似数据造成的空间浪费问题,改进的布隆过滤器(Bloom Filter)算法通过增加位数组并根据位数组的重复命中次数所计算的权重来动态优化重复数据的副本数,然后在Hadoop分布式集群下对改进的算法进行并行实现,以进一步提高作业处理效率。实验结果表明,与传统网页去重算法相比,改进的Bloom Filter算法的并行实现不仅提高了作业的处理效率,而且通过基于位数组下动态重复次数对副本数的优化,在一定程度上节省了服务器的存储空间。     

改进的Bloom Filter算法及其性能分析

基于Bloom Filter的搜索过滤器不仅会有误判的发生,并且在查询目标进入过滤器后,查询整个关键字的步骤耗费太多成本.针对上述问题,提出了一套新的搜索过滤器架构.此架构在比对步骤中以关键字的特征来建立一个查表目录,当误判发生时,只需要以其关键字最小值所分配的位置做查询并判别是否正确.实验结果表明,该过滤器不仅能减少误判率的发生,还能降低整个过滤器的搜索成本,让搜索过滤器有更好的性能.     

K分组合型Bloom Filter方法的设计

Bloom Filter是一种采用位向量表示数据集合并利用Hash函数支持有效数据查找的方法.它能够很好地判定某个元素是否属于给定的集合.拆分型Bloom Filter是Bloom Filter的一种改进,它能较好地缓解分布式环境下集合元素动态增长导致的查找误称率增大问题.作为一种新的K分组合型Bloom Filter,通过与Bloom Filter和拆分型Bloom Filter比较分析的结果表明,该方法能够在误称率、向量空间和平均判定时间3个指标中得到较好的平衡.     

一种基于双重Counter Bloom Filter 的长流识别算法

提出了一种基于双层Counter Bloom Filter的长流识别算法(algorithm based on double counter bloom filter for long flows identification,简称CCBF).该算法使用两层Counter Bloom Filter结构,将长流过滤和长流存在分开处理.分析了该算法的误判率,通过模拟数据分析了算法错误率和内存资源限制的关系,并在相同内存资源限制的条件下,将该算法与类似算法的准确性进行了比较.结果表明,在数据量较大的情况下,该算法具有比现有算法更小的平均错误率;对算法的时间效率分析表明,该算法可以达到1 500kpps的处理速度.各项指标反映出,该算法可以应用于大规模主干网的长流监测.     

数据流中频繁项近似挖掘算法

提出新的数据结构ESBF(Extensible and Scalable Bloom Filter)-可扩展的Bloom Filter.并提出基于ESBF的数据流中频繁项近似挖掘算法,该算法在保证较高精度的同时,实现比同类算法具有更好的时间效率且在一般情况下具更好的空间效率,并证明只需ln(-M/lnρ)·e/ε·1/(ε·M)个计数器就能保证满足用户规定的误差ε及可信度ρ要求.     

基于伪名的VANET恶意节点检测研究

针对车载自组网(VANET)节点通信时间短、实时性要求高的特点,设计一种压缩型Bloom Filter机制,并将其应用于基于伪名的VANET恶意节点检测中。该Bloom Filter机制能减少伪名恶意节点集合的数据存储量,以及节点数据更新时的信息交换量,同时获得更高的恶意节点检测率和更低的假阳性率。分析结果表明,该方法可降低VANET节点间实际传输的数据量和通信开销,提高通信实时性。