基于bloom filter算法的信息安全风险评估方法

信息安全是企业经济效益和社会效益的保障,企业信息网络的安全越来越受到重视.针对当前信息安全方面的问题,我们提出了一种基于bloom filter算法的风险评估方法,该方案通过bloom filter算法以及加权平均算法,使得用户能够通过具体的数值对比得到相应的风险等级,最终得到一个量化的风险评估结果.     

基于Sample-CBF技术的长流识别实现

根据网络上的流统计呈现很强的重尾分布的特性，该文提出了使用周期抽样和counting bloom filter(CBF)技术相结合的方法，即Sample-CBF方法来实现长流识别，并根据抽样策略的不同，将其具体化为两种方法：PSample-CBF方法和FSample-CBF方法。理论分析和仿真结果表明，在存在可容忍流长度测量误差的条件下，两种方法都可以准确识别长流，有效地减少存储空间和提高处理速度。     

高速网络流频繁项挖掘算法

在当前骨干网络链路速率呈几何倍数增长的情况下,实时准确地挖掘出网络流中的频繁项对于网络管理和网络安全具有重要的意义.在SS(space saving)计数算法的启发之下,针对网络流的实际特性,提出了一种剪枝操作受时间和流长双重约束的网络流频繁项挖掘算法(integrated weighted frequent items mining,IWFIM).IWFIM计数算法采用时间和流长组合赋权的方式为每个流项赋权,且算法每次剪枝操作时总是删除权值最小的流项.在IWFIM算法的基础上,依据网络流的重尾分布特性,又提出了一种能够结合散列方法和计数方法优点的网络流频繁项挖掘算法(counting Blooming filter and integrated weighted frequent items mining,CBF_IWFIM).CBF_IWFIM算法首先采用改进的计数型布鲁姆过滤器(counting Blooming filter,CBF)在不保存网络流信息的情况下过滤掉绝大部分的短流,然后采用IWFIM算法实现网络流频繁项挖掘.通过实际网络流量测试表明,CBF_IWFIM和IWFIM算法具有非常高的空间利用率和准确率,2种算法对于网络流频繁项的挖掘效果明显优于SS等3种算法,即使在使用其他算法1?3缓存的极端情况下,CBF_IWFIM和IWFIM 2种算法的频繁项识别效果仍然要优于SS等算法.     

基于bloom filter的深度流搜索的性能建模

网络入侵系统是一种广泛使用的工具来对抗来自网络的恶意攻击,为了检测攻击,它需要能够快速检测报文的负荷,查看有无恶意代码,因此,快速的字符串匹配方法成为网络入侵检测系统的关键技术。Bloom filter由于需要的存储相对较少,同时能达到的性能可以满足线速的要求,成为人们关注的技术。然而由于bloom filter存在一定误检的概率,因此可能还需要使用精确匹配的分析器,但是分析器可能成为提高性能的瓶颈。本文利用随机Petri网对基于bloom filter的深度流搜索方法进行了性能建模,得到了基于bloom filter的深度流搜索的性能情况,并据此分析了基于bloom filter方法的缺点和改进方向。     

结构化网络中聚合Top-K查询优化技术

top-k查询在分布式环境中引起越来越多的关注,但是现存的一些top-k算法大都只适用于集中式网络.提出了一个解决分布式网络中top-k查询的新方法—Histogram-Container算法(简称为HC算法),它不仅网络延迟小,网络带宽花费少,而且能够运行在任何结构的分布式网络中.本文将基于一个树型拓扑网络来说明如何使用本地的直方图和bloom filter信息来优化查询,以及如何在中间节点进行部分结果的合并.实验评估和性能分析表明HC算法在网络带宽消耗和查询响应时间方面要优于其他同类方法.     

基于动态bloom filter的云存储安全去重方案

现有的所有权证明去重方案容易遭受诚实但好奇服务器的威胁影响,借助可信第三方解决该问题将导致开销过大。基于动态bloom filter提出一种改进的、无须可信第三方的所有权证明安全去重方案,采用收敛加密算法抵抗诚实但好奇的服务器,并通过服务器检查数据块密文和标签的一致性来防止数据污染攻击。此外,采用密钥链机制对收敛密钥进行管理,解决了现有方案中收敛密钥占用过多存储空间的问题。分析与比较表明,该方案具有较小的密钥存储开销和传输开销。     

基于颜色和形状信息的快速人数统计方法

人数统计一直以来都是计算机视觉和智能视频监控领域的重要研究内容;但是由于遮挡、阴影和光照变化使得构建一个实时、准确的人数统计算法变得异常困难;提出的结合颜色信息和形状信息的人数统计算法对人头进行检测和跟踪,有效地减小了行人遮挡对算法精度的影响;提取颜色信息在HSV空间中的V通道进行,大大降低了阴影和光照变化对统计精度的影响;算法首先使用颜色信息和形状信息实现快速人头检测,然后使用一种融合颜色、距离和形状信息的跟踪方法对人头进行跟踪,最后通过对跟踪轨迹分析,推断出人数.另外,快速模板匹配技术的使用,极大地减小了算法的运算复杂度;实验结果表明该算法可以快速、有效地实现对指定区域的人数统计.     

L-priorities bloom filter: A new member of the bloom filter family

A Bloom filter is a space-efficient data structure used for concisely representing a set as well as membership queries at the expense of introducing false positive. In this paper, we propose the L-priorities Bloom filter (LPBF) as a new member of the Bloom filter (BF) family, it uses a limited multidimensional bit space matrix to replace the bit vector of standard bloom filters in order to support different priorities for the elements of a set. We demonstrate the time and space complexity, especially the false positive rate of LPBF. Furthermore, we also present a detailed practical evaluation of the false positive rate achieved by LPBF. The results show that LPBF performs better than standard BFs with respect to false positive rate.     

针对动态集的矩阵型Bloom filter表示与查找*

提出一种针对动态集合的矩阵型Bloom filter表示与查找法（matrix Bloom filter,MBF）,它使用一个s×m位矩阵对数据集合进行哈希表示与查找,较同类算法SBF和DBF,能继承Bloom filter算法常数查找开销的基本精髓。     

基于流抽样和LRU的高速网络大流检测算法

在高速主干网络中,随着网络链路速率的不断提高和网络流数量的增加,如何及时、准确地检测出网络中的大流信息,成为目前网络流测量的热点问题。根据传统LRU算法由于突发性大量小流导致淘汰大流的测量缺陷和网络重尾分布的特点,提出一种新的识别大流的算法——基于流抽样和LRU的大流检测算法。算法通过流抽样技术过滤大部分的小流,并通过LRU算法识别大流信息,将过滤和识别过程分离,减少小流错误淘汰大流的可能性,提高算法测量准确性。分析算法的复杂度和漏检率,并通过实际试验数据分析了算法参数配置对于大流测量的准确性的影响。理论分析和仿真结果表明,与标准LRU算法和LRU_BF算法相比,在使用相同的存储空间下,新算法具有更高的测量准确性和实用性。     

K分组合型Bloom Filter方法的设计

Bloom Filter是一种采用位向量表示数据集合并利用Hash函数支持有效数据查找的方法.它能够很好地判定某个元素是否属于给定的集合.拆分型Bloom Filter是Bloom Filter的一种改进,它能较好地缓解分布式环境下集合元素动态增长导致的查找误称率增大问题.作为一种新的K分组合型Bloom Filter,通过与Bloom Filter和拆分型Bloom Filter比较分析的结果表明,该方法能够在误称率、向量空间和平均判定时间3个指标中得到较好的平衡.     

多模式匹配算法及硬件实现

介绍了多模式匹配的算法和硬件实现方法.首先介绍了两种常用的多模式匹配算法--Aho-Corasick基于自动机的算法和Wu-Manber基于hash的后缀匹配加移位跳跃的算法以及相关的改进算法.并通过实验对各种多模式匹配算法的时空复杂度进行了分析比较.通过几个硬件实现的实例介绍了多模式匹配的硬件实现方法及策略.最后对多模式匹配的发展趋势进行了展望.     

基于源目的IP地址对数据库的防范DDos攻击策略

提出了一种基于源目的IP地址对数据库的防范分布式拒绝服务攻击(distributed denial of service attacks,简称DDos)攻击策略.该策略建立正常流量的源目的IP地址对数据库(source and destination IP address database,简称SDIAD),使用扩展的三维Bloom Filter表存储SDIAD,并采用改进的滑动窗口无参数CUSUM(cumulative sum)算法对新的源目的IP地址对进行累积分析,以快速准确地检测出DDos攻击.对于SDIAD的更新,采用延迟更新策略,以确保SDIAD的及时性、准确性和鲁棒性.实验表明,该防范DDos攻击策略主要应用于边缘路由器,无论是靠近攻击源端还是靠近受害者端,都能够有效地检测出DDos攻击,并且有很好的检测准确率.     

数据流中频繁项近似挖掘算法

提出新的数据结构ESBF(Extensible and Scalable Bloom Filter)-可扩展的Bloom Filter.并提出基于ESBF的数据流中频繁项近似挖掘算法,该算法在保证较高精度的同时,实现比同类算法具有更好的时间效率且在一般情况下具更好的空间效率,并证明只需ln(-M/lnρ)·e/ε·1/(ε·M)个计数器就能保证满足用户规定的误差ε及可信度ρ要求.     

一种新型精确深度包检测引擎研究与设计

传统的深度包检测算法通常存在频率带宽瓶颈、不能精确匹配、不切实际的存储要求等其中之一或数个缺点.本文基于哈希与Bloom Filter提出一种新型精确匹配结构:Bloom Filter分类器,首先基于哈希对特征串分组,再用多组Bloom Filter对输入串分类,在每长度定位到唯一可能的匹配串并对比验证.对Snort、ClamAV集合进行了存储实验评估,以约1.22(字节/字符)的低存储代价实现对万条字符串集的精确匹配.该结构具有精确匹配、多字节匹配扩展简单、不存在带宽瓶颈等优点.     

基于遗传算法改进的一阶滞后滤波和长短期记忆网络的蓝藻水华预测方法

河湖藻类水华形成过程中所具有的突发性和不确定性,导致对藻类水华爆发预测准确性不高。为解决此问题,以叶绿素a的浓度值作为蓝藻水华演化过程表征指标,提出基于长短期记忆（LSTM）循环神经网络（RNN）蓝藻水华预测模型。首先,用遗传算法改进的一阶滞后滤波（GF）优化算法对数据进行平滑滤波处理;然后,搭建GF-LSTM网络的蓝藻水华预测模型,实现对水华发生的精准预测;最后,以太湖水域梅梁湖区域的采样数据为样本,对预测模型进行检验,并与传统的RNN和LSTM网络进行对比。仿真结果表明,提出的GF-LSTM网络模型平均相对误差控制在16%~18%,而RNN模型的预测平均相对误差为28%~32%,LSTM网络模型的平均相对误差为19%~22%,对采用数据的平滑性处理效果较好,预测精度更高,对样本具有更好的适应性,克服了传统RNN模型在长期训练时出现的梯度消失与梯度爆炸缺点。     

d-Left CBF技术在P2P中的研究

分析了Bloom Filter技术在时下流行的P2P分布式系统中的应用,着重介绍基于Bloom Filter的d-Left Counting Bloom Filtr(CBF)技术,d-left CBF利用d-lef thashing的方法存储fingerprint,将hash value分为两部分,分别用于存储随机地址和fingerprint,从而提高工作效率,并支持节点动态删除操作,应用于节点异常活跃的P2P系统中.     

分片计数布隆过滤器及其在Hbase二级索引的应用

针对Hadoop Database(Hbase)仅支持主索引结构,即通过主键和主键的range来检索数据的问题,提出利用Counting Bloom Filter的新变体建立二级索引来支持非主键数据的检索.分析了已有的Counting Bloom Filter(CBF)技术,针对CBF溢出概率高的问题,提出一种新的Split Counting Bloom Filter(SCBF)技术,SCBF将标准CBF分成多个相互独立的区域,由这多个区域共同存储元素的fingerprint.实验结果表明,与标准CBF相比,SCBF降低了溢出概率,充分提高了过滤器的性能,可以很好地用来建立Hbase二级索引.     

采用RBF来支撑互联网络上的电路模拟服务

Circuit Emulation Service (CES) aims to enable packet switched networks to provide guaranteed services with comparable qualities of circuit switched networks. Our paper addresses the key issue of QoS of CES flows over Internet. Enlightened by the time division idea popularly used in circuit switched networks, we propose a time division based control mechanism to provide guaranteed QoS for the constant-rate CES flows. The control mechanism is able to estimate the arrival times of the coming packets in CES flows, and reserve the time slots for them. Accordingly, it enables the packets to consume the reserved time slots of their own, so the CES flows are guaranteed to be processed. Refreshing Bloom Filter (RBF), an efficient data representation structure, is proposed to support the time division control mechanism. It consists of multiple bloom filters, and can efficiently record the arrival time slots of millions of packets. The proposed control system model could be a practical tool to support Circuit Emulation Services over Internet.     

基于多维布隆过滤器的模式匹配引擎

针对传统的模式匹配引擎不具备完整报文检测功能的问题和出现的速度瓶颈,提出了基于FPGA实现的多维布隆过滤器解决方案,设计了能够同时检测报头和有效负载的多模式匹配引擎。引擎使用多维布隆过滤器过滤出可疑报文,由位拆分状态机进行精确匹配。分析和试验结果表明：与传统方法相比,基于多维布隆过滤器的模式匹配引擎可以并行检测报头和报文内容,在降低过滤器误判率的同时,有效提高了引擎的吞吐量。