SFP-Max——基于排序FP-树的最大频繁模式挖掘算法

FP-growth算法是目前较高效的频繁模式挖掘算法之一,但将它用于最大频繁模式挖掘时却不能获得较高的效率.深入分析了造成低效的原因,提出了利用排序FP-树挖掘最大频繁模式的算法SFP-Max. 算法的主要思想如下：①基于排序FP-树;②利用最大频繁模式的性质,减小产生的候选最大模式的规模;③设置中间结果集,缩小检验的范围,从而减少检验候选最大模式的时间.实验表明,SFP-Max是一个高效的最大频繁模式的挖掘算法,对于测试的数据集,SFP-Max的性能多数情况下都优于MAFIA算法.     

基于压缩FP-树和数组技术的频繁模式挖掘算法

FP-growth算法是目前较高效的频繁模式挖掘算法之一.它只需扫描数据库两次,而且不需要产生和测试候选集,避免了这些费时的工作,因此该算法具有较高的效率.然而,FP-growth算法需要递归地生成大量的条件FP-树,这耗费了大量的存储空间和时间.综合已有的几项优势技术,提出了一种频繁模式挖掘算法CFPmine. 一是采用了基于压缩FP-树的约束子树的挖掘方法,避免在挖掘过程中生成条件FP-树,减少内存占用;二是采用基于数组的技术,减少FP-树的遍历时间,提高算法的效率.另外,在算法中还实现了统一的内存管理.实验结果表明,CFPmine是一个高效的频繁模式挖掘算法,其性能优于Apriori,Eclat和FP-growth算法,而需要的内存却少于FP-growth算法.     

基于改进FP-树的最大模式挖掘算法

频繁模式挖掘是数据挖掘领域中的一个非常重要的分支,但是由于其内在的计算复杂性,挖掘密集型数据的频繁模式完全集非常困难而且数量往往大得惊人,难以理解和应用。最大频繁模式(最大模式)压缩隐含了所有的频繁模式,存储所占用的空间远远小于完全集,因而最大模式挖掘具有十分重要的意义。该文改进了传统的FP-树结构并提出了一种有效的基于改进FP-树的最大模式挖掘算法IFP-M ax;通过引入后缀子树的概念,算法在挖掘过程中不用生成最大频繁模式候选集,从而大大提高了算法的时间效率和空间可伸缩性。实验表明,IFP-M ax的挖掘速度比M AFIA和GenM ax大约快一个数量级。     

在FP-树中挖掘频繁模式而不生成条件FP-树

FP-growth算法是目前已发表的最有效的频繁模式挖掘算法之一．然而，由于在挖掘频繁模式时需要递归地生成大量的条件FP-树，其时空效率仍然不够高．改进了FP-树结构，提出了一种基于被约束子树挖掘频繁项集的有效算法．改进的FP-树是单向的，每个结点只保留指向父结点的指针，这大约节省了三分之一的树空间．通过引入被约束子树(可以用3个很小的数组表示)，算法在挖掘频繁模式时不生成条件FP-树，从而大大提高了频繁模式挖掘的时空效率．实验表明，与FP-growth算法相比，算法的挖掘速度提高了1倍以上，而所需的存储空间减少了一半．此外，随着数据库规模的增大，算法具有很好的可伸缩性．对于稠密数据集，算法也具有良好的性能．     

基于逆向FP-树的频繁模式挖掘算法

提出了一种称为逆向FP 合并的算法,该算法逆向构造FP 树并通过在其中寻找频繁扩展项集与合并子树来挖掘频繁模式。新算法在时空效率方面均优于FP 增长算法,其中时间效率提高了2倍以上。此外,新算法还具有良好的伸缩性。     

基于改进的FP-树和数组技术的频繁模式挖掘算法

FP-growth算法是目前较高效的频繁模式挖掘算法之一,该算法不产生候选项集,但递归构造“条件FP-Tree”的CPU 开销和存储很大.为此提出了一种频繁模式挖掘算法IFPmine.首先,为了节省内存空间,采用了约束子树的挖掘方法;其次,采用了数组技术来减少树的遍历时间,从而提高算法的效率.实验结果表明,IFP算法是一种较有效的频繁模式挖掘算法,其挖掘效率优于STFP-树算法和FP-树算法,而需要的内存却少于STFP-树和FP-树算法.     

基于频繁模式树的负关联规则挖掘算法

典型的正关联规则仅考虑事务中所列举的项目。负关联规则不但要考虑事务中所包含的项目集，还必需考虑事务中所不包含的项目，它包含了非常有价值的信息。然而，对于负关联规则的研究却很少，仅有的几种算法也存在一定的局限性。为此，该文提出了一种基于FP-tree的负关联规则挖掘算法，该算法不但可以发现事务数据库中所有的负关联规则，而且整个过程只需扫描事务数据库两次，算法是有效和可行的。     

基于静态IS-树的频繁模式挖掘

提出一种基于静态IS-树的频繁模式挖掘有效算法IS-mine,并与经典的Apriori算法和FP-growth算法进行了实验比较.算法直接构造频繁项集,不进行Apriori算法采用的代价较高的候选集产生与测试操作.算法采用深度优先,模式增长的策略,挖掘任务只在一棵静态的IS-树上进行,避免了FP-growth算法所采用的代价较高的动态树的构建.针对不同特征数据集算法采取不同的过滤技术来缩小搜索空间.实验与理论分析表明,对于稠密和稀疏数据两类数据集,算法都具有较好的时空效率.     

一种基于FP-Tree的频繁模式挖掘自适应算法

不同数据集中数据的不同分布特征,对于频繁模式挖掘算法往往有着较大影响.将不同的现有算法结合起来,根据数据集的不同特性采用不同的挖掘策略,有可能构造出鲁棒性强的新算法.本文首先提出了一种基于FP-tree的简单深度优先搜索算法NDFS,并简单分析了其在不同数据集上的特性.在分析的基础上,本文进一步将NDFS和经典的FP-growth算法进行结合,提出了一种在挖掘过程中根据局部空间特征动态采用不同策略的自适应算法SAFP.实验证明,SAFP算法在不同数据集上均能达到或优于原有最优算法的性能,具有较好的鲁棒性.     

基于FP-增长算法的复合项关联规则挖掘

文章基于FP-增长算法提出了一种新的挖掘复合项关联规则的算法。实验证明,该算法具有良好的可伸缩性和很高的运行效率,解决了复合项关联规则挖掘在实际应用中的效率瓶颈问题,适用于实际的大型数据库。     

一种基于组合方式改进的频繁项集挖掘算法

FP-growth算法用于关联规则挖掘分成两个阶段：构建频繁模式树和进行频繁模式挖掘;对这两个阶段分别进行改进,若项头表中存在同频度的频繁项,在构建FP-tree的过程动态调整其位置,构建压缩的最优化FP-tree,提出了IMFP-tree算法。在进行频繁模式挖掘阶段,提出CFP-mine算法,CFP-mine算法采用一种新方法构建条件模式基,且采用组合方式挖掘频繁项集,有别于传统FP-growth算法的挖掘过程,理论上证明和实验验证本算法的正确性和高效性。     

基于互关联后继树的频繁模式挖掘研究

关联规则挖掘是数据挖掘的一个重要的研究内容,而产生频繁模式集是关联规则挖掘的第1步工作。很多传统的频繁模式挖掘算法都需要产生候选模式集,因而效率很低。该文提出了一种不需要产生候选集,而直接构造频繁集的频繁模式挖掘算法——基于互关联后继树的频繁模式挖掘算法。实验证明,该算法具有较好的性能。     

基于FP-tree的最大频繁模式挖掘算法

在FP-tree结构的基础上提出了最大频繁模式挖掘算法FP-Max。算法FP-Max只需要两次数据库扫描,挖掘过程不会产生候选项集。实验表明．算法FP-Max在挖掘密集型数据集方面是高效的。     

基于哈希的B+树结构的频繁模式挖掘

提出了一种基干改进的B 树结构及一种新的数据挖掘算法,HB-Minc,该算法通过构造哈希函数,获得B 树的关键字,并在B 树的叶子结点上构建链表结构,记录卡H关关键字的项集及频数,这样在无需产生巨大的候选项集的情况下,挖掘出频繁模式,且具有较高的时间效率。     

一种动态的频繁项集挖掘算法

提出了一种基于无向项集图的动态频繁项集挖掘算法。当事务数据库和最小支持度发生变化时,该算法只需重新遍历一次无向项集图,即可得到新的频繁项集。与传统的频繁项集挖掘算法相比,在执行效率上有显著提高。     

一种基于MapReduce模型的高效频繁项集挖掘算法

由于互联网技术急速发展及其用户迅速地增加,很多网络服务公司每天不得不处理TB级甚至更大规模的数据量。在如今的大数据时代,如何挖掘有用的信息正变成一个重要的问题。关于数据挖掘(Data Mining)的算法在很多领域中已经被广泛运用,挖掘频繁项集是数据挖掘中最常见且最主要的应用之一,Apriori则是从一个大的数据集中挖掘出频繁项集的最为典型的算法。然而,当数据集比较大或使用单一主机时,内存将会被快速消耗,计算时间也将急剧增加,使得算法性能较低,基于MapReduce的分布式和并行计算则被提出。文中提出了一种改进的MMRA (Matrix MapReduce Algorithm)算法,它通过将分块数据转换成矩阵来挖掘所有的频繁k项集;然后将提出的算法和目前已经存在的两种算法(one-phase算法、k-phase算法)进行比较。采用Hadoop-MapReduce作为实验平台,并行和分布式计算为处理大数据集提供了一个潜在的解决方案。实验结果表明,改进算法的性能优于其他两种算法。     

一个改进的关联规则的频繁项目集数据挖掘算法

在关联规则中的Apriori算法,具有天生的缺陷,运行效果很不理想。为了克服Apriori算法的缺点,本文提出了一个改进的算法：在产生频繁项目集组合时,只需扫描数据库一次,这样就可以有效率地降低I／O的存取时间,更快速地找出符合使用者需求的关联规则。仿真实验表明,该算法是有效的。