基于单哈希计数布隆的DDS自动发现算法

针对DDS简单自动发现算法中网络传输量大、内存消耗高以及端点匹配时间长的问题,提出一种基于单哈希计数布隆过滤器的DDS自动发现算法——SDP＿OHCBF。通过将标准布隆过滤器升级为计数布隆过滤器以支持元素删除操作,使用单个哈希函数和取模运算代替标准布隆过滤器中的多个哈希运算,加快布隆过滤器的元素查询过程。仿真验证结果表明,该算法降低了DDS自动发现过程的网络传输量与内存消耗,支持元素删除操作,提高了数据发布/订阅的实时性。     

基于单哈希多维布隆过滤器的DDS自动发现算法

SDPBloom算法减小了基于简单发现协议的自动发现算法SDP_ADA的网络数据传输量和内存消耗,但在自动发现过程中存在哈希运算量大的问题,导致参与者端点之间发布/订阅消息的时间过长.为解决这一问题,在简单发现协议的基础上,提出一种基于单哈希多维布隆过滤器的自动发现算法SDP_OMBF.该算法将单哈希多维布隆过滤器向量(OMBF)用于参与者端点信息的匹配.实验结果表明,该算法提高了数据分发服务(Data Distribution Service,DDS)自动发现过程中的实时性.     

基于计数型布隆过滤器的可排序密文检索方法

云计算环境下密文检索困难,已有的可搜索加密方案存在时间效率低、文件检索索引不支持更新、检索结果不能实现按精确度排序等问题。首先基于计数型布隆过滤器构建文件检索索引,将文件集中的关键词哈希映射到计数型布隆过滤器索引向量,实现了按关键词进行密文检索,同时,支持密文检索索引的动态更新。其次,由于计数型布隆过滤器本身不具备语义功能,不能实现按相关度对检索结果排序,引入关键词频率矩阵和词频逆文本频率（TF-IDF）模型计算关键词的相关度分值,以实现按相关度分值对检索结果排序。最后,理论和实验性能分析证明了该方法的安全性、可更新能力、可排序能力和高效性。     

基于布隆过滤器的网页搜索去重方法

介绍布隆过滤器的相关理论,对MD5哈希算法进行较为详细的分析,对GPU和CPU的结构及运算特点进行分析比较,提出一种基于布隆过滤器并使用GPU进行URL的MD5计算的网页搜索去重方法。     

基于存储改进的分区并行关联规则挖掘算法

针对现有算法存储结构简单、生成大量冗余的候选集、时间和空间复杂度高,挖掘效率不理想的情况,为了进一步提高关联规则算法挖掘频繁集的速度,优化算法的执行性能,提出基于内存结构改进的关联规则挖掘算法。该算法基于Spark分布式框架,分区并行挖掘出频繁集,提出在挖掘过程中利用布隆过滤器进行项目存储,并对事务集和候选集进行精简化操作,进而达到优化挖掘频繁集的速度、节省计算资源的目的。算法在占用较少内存的条件下,相比于YAFIM和MR-Apriori算法,在挖掘频繁集效率上有明显的提升,不但能较好地提升挖掘速度,降低内存的压力,而且具有很好的可扩展性,使得算法可以应用到更大规模的数据集和集群,从而达到优化算法性能的目的。     

增量式多关键字可搜索加密算法

为满足加密文件的多关键字检索需求并解决云存储模式下文件频繁更新导致用户重构安全索引的问题,提出增量式多关键字可搜索加密算法。基于新型的多元素随机布隆过滤器,使用户提交的多个查询关键字被随机哈希并混合,在随机布隆过滤器中得到快速判定。该算法保障数据与查询机密性的同时,保护用户访问模式的隐私性,支持文件的独立更新,有效避免可搜索结构的整体重构,其效率与检索准确率与同类算法相比有较大提高。实验验证了该方案的实用性。     

基于布隆过滤器属性基的多关键词可搜索方案

在云计算环境下,基于属性加密的多关键词可搜索加密能够同时实现对加密数据的访问控制和加密数据可搜索。为提高密文检索效率、降低关键词索引代价,本文提出一种基于布隆过滤器属性基的多关键词搜索方案。首先,对于文件关键词集合,利用布隆过滤器生成对应于关键词集合的固定长度索引向量,从而降低关键词索引的存储复杂度。然后,为防止敌手对索引的统计分析,利用置换将索引向量中元素随机化,同时利用属性加密技术将此置换进行共享,只有合法用户才能获取此置换并构建查询关键词的陷门。最后,通过安全性分析和实验分析,表明本文方案的安全性、高效性和实用性。     

基于服务力向量的发布/订阅自动发现算法

由于SDPBloom自动发现算法无法预先在参与者发现阶段对端点QoS策略的兼容性进行判断,使得各节点和网络中均出现大量QoS不兼容的端点信息,从而消耗过多的内存和网络资源。为解决该问题,提出一种基于服务力向量(SAV)的发布/订阅自动发现算法,利用布隆过滤器向量和SAV对端点主题名、主题类型以及QoS策略进行匹配,以减少不必要信息的传输和存储。实验结果表明,与SDP_ADA和SDPBloom算法相比,该算法具有更低的网络负载和内存消耗。     

SparkSql上自适应数据集的高效频繁集挖掘算法

针对基于Spark框架的关联规则算法存在I/O开销大、数据结构和挖掘频繁集方式单一、计算支持度的方式效率低等问题,提出基于SparkSql进行分布式编程的算法。将数据集加载到DataFrame,利用改进后的布隆过滤器高效存储频繁集挖掘过程中产生的项集,解决RDD内存资源和计算速度受限问题。基于先验定理对事务、项目和项集进行精简,同时提出用Sql语句对项集中项目对应事务集合求交集的方式计算项集支持度,提高计算支持度的效率。提出了两种迭代算法和自适应数据的选择条件,增强该算法对各种数据集的泛化性。进行多组实验,证明提出的算法总是自适应本次迭代数据的特点选择最优的迭代方法,同时具有较高并行算法性能,可以扩展到更大规模集群和数据;同基于Spark框架的关联规则算法YAFIM和R-Apriori进行对比,在每次迭代和总体运行计算效率上有更好的表现。     

多级敏感区域室内定位中的隐私保护算法

随着城市智能化发展,室内定位技术已成为各类位置服务的重要应用基础。在一些室内应用场景中,服务器端需要在保护用户位置隐私的前提下,完成特定区域的用户访问统计。为此,提出了一种基于布隆过滤器和Paillier同态加密的多级敏感区域室内定位算法,旨在保护用户位置隐私的同时服务器能判断用户是否进入特定区域。算法根据区域的类别或敏感级别对室内进行划分,利用Paillier算法对服务器端和用户端的数据进行加密,设计了一种改进的基于布隆过滤器的算法在密文域完成用户位置的判定,减少了加密运算带来的巨大通信开销与计算开销。在公共数据集上的实验结果表明,与已有的空间布隆过滤器算法相比,提出的哈希数组合并算法在同样的通信和计算开销时具有更低的误判率,也可扩展至其他应用中实现多类数据集的编码。     

矩阵与前缀树方法挖掘频繁项集

传统频繁项集挖掘算法的执行效率较低。提出了一种基于矩阵与前缀树的频繁项集挖掘算法MPFI,能快速地挖掘事务数据库中的频繁项集。MPFI算法只需扫描事务数据库一次,构建垂直方向的二进制矩阵,应用二进制位向量表达频繁项集信息,利用前缀树压缩存储频繁项集的相关信息,不产生候选项集。理论分析与实验结果表明,MPFI算法能有效地提高频繁项集挖掘效率。     

关联规则挖掘中Apriori算法的研究与改进

经典的产生频繁项目集的Apriori算法存在多次扫描数据库可能产生大量候选及反复对候选项集和事务进行模式匹配的缺陷,导致了算法的效率较低。为此,对Apriori算法进行以下3方面的改进:改进由k阶频繁项集生成k+1阶候选频繁项集时的连接和剪枝策略;改进对事务的处理方式,减少Apriori算法中的模式匹配所需的时间开销;改进首次对数据库的处理方法,使得整个算法只扫描一次数据库,并由此提出了改进算法。实验结果表明,改进算法在性能上得到了明显提高。     

基于频繁项目集链式存储方法的关联规则算法

为了提高经典关联规则Apriori算法的挖掘效率,针对Apriori算法的瓶颈问题,提出了一种链式结构存储频繁项目集并生成最大频繁项目集的关联规则算法.该算法采用比特向量方式存储事务,生成频繁项目集的同时,把包含此频繁项目的事务作为链表连接到频繁项目之后,生成最大频繁项目集.该算法能够减小扫描事物数据库的次数和生成候选项目集的数量,从而减少了生成最大频繁项目集的时间,实验结果表明,该算法提高了运算效率.     

An efficient algorithm for incrementally mining frequent closed itemsets

The purpose of mining frequent itemsets is to identify the items in groups that always appear together and exceed the user-specified threshold of a transaction database. However, numerous frequent itemsets may exist in a transaction database, hindering decision making. Recently, the mining of frequent closed itemsets has become a major research issue because sets of frequent closed itemsets are condensed yet complete representations of frequent itemsets. Therefore, all frequent itemsets can be derived from a group of frequent closed itemsets. Nonetheless, the number of transactions in a transaction database can increase rapidly in a short time period, and a number of the transactions may be outdated. Thus, frequent closed itemsets may be changed with the addition of new transactions or the deletion of old transactions from the transaction database. Updating previously closed itemsets when transactions are added or removed from the transaction database is challenging. This study proposes an efficient algorithm for incrementally mining frequent closed itemsets without scanning the original database. The proposed algorithm updates closed itemsets by performing several operations on the previously closed itemsets and added/deleted transactions without searching the previously closed itemsets. The experimental results show that the proposed algorithm significantly outperforms previous methods, which require a substantial length of time to search previously closed itemsets.     

基于矩阵的数据流Top-k频繁项集挖掘算法

传统的数据挖掘算法在挖掘频繁项集时会产生大量的冗余项集,影响挖掘效率。为此,提出一种基于矩阵的数据流Top-k频繁项集挖掘算法。引入2个0-1矩阵,即事务矩阵和二项集矩阵。采用事务矩阵表示滑动窗口模型中的事务列表,通过计算每行的支持度得到二项集矩阵。利用二项集矩阵得到候选项集,将事务矩阵中对应的行做逻辑与运算,计算出候选项集的支持度,从而得到Top-k频繁项集。把挖掘的结果存入数据字典中,当用户查询时,能够按支持度降序输出Top-k频繁项集。实验结果表明,该算法在挖掘过程中能避免冗余项集的产生,在保证正确率的前提下具有较高的时间效率。     

一种基于单事务项集组合的频繁项集挖掘算法

Apriori是挖掘频繁项集的基本算法,目前该算法及其优化变种都没有解决候选项及重复扫描事务数据库的问题.文章通过对Apriori及其优化算法的深入探究,提出了一种基于单事务组合项集的挖掘算法,该算法在一个事务内部对"数据项"进行组合,在事务数据库中对所有相同"项集"进行计数.不经过迭代过程,不产生候选项集,所有频繁项集的挖掘过程只需对事务数据库一次扫描,提高了频繁项集挖掘效率.     

一种高效的最大频繁项集挖掘算法DFMFI-Miner

分析最大频繁项集和完全频繁项集的关系,提出了一个挖掘最大频繁项集的高效算法DFMFI—Miner（The Miner Basedon Depth—First Searching for Mining Maximal Frequent Itemsets）,采用深度优先方法搜索项集空间,采用垂直位图及一定的压缩方法对表示事务数据库并进行约简,并采用多种有效剪枝策略和优化策略,提高了算法的效率。在多个数据集上进行了实验,实验结果表明该算法特别适于挖掘具有长频繁项集的数据集。     

基于二进制的频繁项集挖掘新算法

频繁项集挖掘是数据挖掘中的一个经典的问题。然而,大部分算法需要扫描数据库多次,算法效率比较低。该文提出了一个效率比较好的挖掘频繁项集的新算法,在这个算法中,所有的事务都是以二进制的形式表示,所以挖掘极大频繁项集的任务就变成了从二进制集中发现频繁模式。而且,这种算法只需要扫描原始数据库一次。最后,利用试验来证明这种算法的效率和优势。     

滑动窗口中数据流最大频繁项集挖掘算法研究

数据流最大频繁项集的项集数目相对很少并且已隐含所有的频繁项集,所以数据流中最大频繁项集的挖掘具有很好的时空效率并且有很大的意义,也受到了业界更多的关注。针对数据流最大频繁项集的挖掘,提出了在滑动窗口中基于矩阵的数据流最大频繁项集挖掘方法SWM-MFI,主要采用两个矩阵来存储数据信息：一个矩阵是事务矩阵,存储事务数据;一个矩阵是二项集矩阵,存放频繁2-项集。通过二项集矩阵扩展得到频繁k-项集,基于SWM-MFI算法挖掘出最大频繁项集。经过理论和实验证明该算法具有很好的时效性。     

基于充分挖掘增量事务的关联规则更新算法

目前已提出了许多快速的关联规则增量更新挖掘算法,但是它们在处理对新增事务敏感的问题时,往往会丢失一些重要规则。为此,文章提出了一种新的挖掘增量更新后的数据库中频繁项集的算法EUFIA（ Entirety Update Frequent Itemsets Algorithm）,该算法先对新增事务数据分区,然后快速扫描各分区,能全面有效地挖掘出其中的频繁项集,且不丢失重要规则。同时,最多只扫描1次原数据库也能获得更新后事务数据库的全局频繁项集。研究表明,该算法具有很好的可测量性。