基于节点表的FP-Growth算法改进

针对FP-Growth算法在构建FP-tree过程中需要对事务数据库扫描两次,同时在利用FP-tree挖掘频繁项集过程中产生大量条件模式基和条件模式树的问题,提出一种改进的FP-Growth算法。该算法只需扫描一次事务数据库,就能构建一棵无相同节点的新的FP-tree;弃用项头表,新增与新的FP-tree关联的节点表,将构建新的FP-tree过程中"多余"的项信息存入节点表;利用新的FP-tree和节点表挖掘频繁项集。实验结果表明了该算法的可行性和有效性,其提高了数据挖掘的效率。     

一种优化FP-growth的支持度相同项的排序算法

Han等人提出了频繁模式增长FP-growth算法,该算法在第一次扫描数据库后,得到频繁项集合和每个频繁项的支持度,并按支持度降序排列,但没有对支持度相同项的排列做进一步说明。本文依据"越是频繁出现,越可能被共享"的建树原则,提出了通过比较该项与前后项项集的支持度,较大者先排列的方法,使后续构建的FP-tree比任意排序构建的FP-tree更优。     

基于FP-tree最大频繁项集的FP-MFI算法研究

由于基于Fp-tree的DMFIA算法在生成最大频繁项目集时会产生大量的候选频繁项集,通过改进传统的FP-tree结构,并提出了一种基于改进FP-tree的最大频繁模式挖掘算法FP-MFI,该算法不需要生成最大频繁候选项目集,改进的FP-tree是单向的,每个节点只保留了指向父节点的指针,可节约树空间.实验结果表明FP-MFI算法在数据库中频繁项目很多,而每一个事务中频繁项目很少的情况下,比同样基于FP-tree的DMFIA算法挖掘最大频繁项目集的效率更高.     

一种高效的FP-tree算法研究

在数据挖掘中数据库的I/O扫描成本一直是一个瓶颈问题。基于这个问题许多类似FP-tree算法被提出,这些算法包括所有的频繁项集挖掘,频繁闭项集挖掘和前k-项频繁封闭项集挖掘。然而,从数据库中创建FP-tree必须扫描数据库两次。为了增强的FP-tree算法的效率,提出了一种新颖的算法称为HFP-tree,利用缓冲和合并的方法,其可以创建FP-tree及数据库进行一次扫描。     

一种基于组合方式改进的频繁项集挖掘算法

FP-growth算法用于关联规则挖掘分成两个阶段：构建频繁模式树和进行频繁模式挖掘;对这两个阶段分别进行改进,若项头表中存在同频度的频繁项,在构建FP-tree的过程动态调整其位置,构建压缩的最优化FP-tree,提出了IMFP-tree算法。在进行频繁模式挖掘阶段,提出CFP-mine算法,CFP-mine算法采用一种新方法构建条件模式基,且采用组合方式挖掘频繁项集,有别于传统FP-growth算法的挖掘过程,理论上证明和实验验证本算法的正确性和高效性。     

改进FP-growth融合K-means算法的西装定制搭配方法

为解决西装定制企业中用户定制款式信息未充分利用这一问题, 结合关联规则FP-growth算法对多维大型数据集进行挖掘时, 存在内存资源消耗较大以及执行效率不高的问题, 本文提出一种改进FP-growth融合K-means算法的西装定制搭配挖掘方法, 对FP-growth算法从使用哈希表建立项头表、有序FP-tree代替传统FP-tree建树过程和新增不平衡比评价指标3个角度对其进行改进. 实验结果表明, 与其他关联规则算法对比, 改进FP-growth算法的内存资源使用减少了约6.7%、执行效率提高了15%左右; 通过人工审核实验结果得出, 该算法将挖掘出用户感兴趣且有意义的关联规则, 验证该算法提出的可行性.     

基于邻接矩阵的FP-tree构造算法

提出了一种基于邻接矩阵的FP-tree构造方法。首先通过扫描数据库建立2-项集支持数的邻接矩阵,通过邻接矩阵对项进行过滤和新方式排序,然后再利用邻接矩阵构造FP-tree,使得FP-tree的分支、节点数和深度大幅度地减少,从而使存储空间减少、遍历时间缩短。最后使用标准数据集进行验证测试并和其他算法的比较,实验结果表明,该算法在保证结果的同时有效地提高频繁项集挖掘的效率。     

改进的频繁模式挖掘算法

FP-growth算法是关联规则挖掘中一种经典的算法,它不需要产生候选集,只需要扫描事务数据库两次来构建项目头表和FP-Tree.但该算法项节点查询比较耗时,而且要递归生成条件FP-tree,所以内存开销大.针对上述问题,文中提出了一种基于FP-growth的新的频繁模式挖掘算法MGFP-growth.其思想是:首先算法弃用项目头表,使用二维矩阵存储事务的信息,按照矩阵列进行分组,并建立parenttrace关系;最后利用存储在数组中的gourp信息可以快速的构建频繁模式树,从而进行频繁项集的挖掘.实验表明,该算法只对事务数据库扫描一次,同时利用分组将项存储,节省了内存空间,有效解决了传统算法的固有缺陷,提高了算法效率.     

有效的不确定数据概率频繁项集挖掘算法

针对已有概率频繁项集挖掘算法采用模式增长的方式构建树时产生大量树节点,导致内存空间占用较大以及发现概率频繁项集效率低等问题,提出了改进的不确定数据频繁模式增长(PUFP-Growth)算法。该算法通过逐条读取不确定事务数据库中数据,构造类似频繁模式树(FP-Tree)的紧凑树结构,同时更新项头表中保存所有尾节点相同项集的期望值的动态数组。当所有事务数据插入到改进的不确定数据频繁模式树(PUFP-Tree)中以后,通过遍历数组得到所有的概率频繁项集。最后通过实验结果和理论分析表明:PUFP-Growth算法可以有效地发现概率频繁项集;与不确定数据频繁模式增长(UF-Growth)算法和压缩的不确定频繁模式挖掘(CUFP-Mine)算法相比,提出的PUFP-Growth算法能够提高不确定数据概率频繁项集挖掘的效率,并且减少了内存空间的使用。     

基于FP-Growth改进算法的云服务器故障数据分析

针对云服务器使用过程中参数异常的问题,介绍了云服务器的参数数据获取、数据清洗整理和有效分析过程。针对现有频繁模式增长(FP-Growth)算法中存在的条件FP-tree构建过程过于冗余以及数据量级越大处理效率越低的问题,提出了一种改进的FP-Growth算法,引入数组标记策略,每个FP-tree节点只保留指向父节点的指针。改进算法在挖掘过程中无需生成条件FP-tree,减少了时空消耗。实验结果表明,改进后的FP-Growth并行算法能够有效地提高云平台虚拟机异常数据的关联分析效率,并且改进算法也适用于较大规模数据集的数据挖掘工作。     

新型频繁项集快速挖掘模式树的方法*

在FP_growth算法中,FP_tree及条件FP_tree的构造和遍历占了算法绝大部分的时间,为了能减少这方面的时间,提出了一种新型快速的方法——改进的层次频繁模式树（inproved hierarchy FP_tree,IHFP_tree）。该方法采用首先对数据库扫描一遍,产生每个项的等价类;然后去掉不频繁项,对等价类进行重新改写;最后再创建FP_tree。引入层次频繁模式的概念,在挖掘过程中大大提高了算法的时空效率。与其他频繁模式挖掘的常用算法进行了时间复杂度和空间复杂度的比较,实验表明,IHFP     

Incrementally fast updated frequent pattern trees

The frequent-pattern-tree (FP-tree) is an efficient data structure for association-rule mining without generation of candidate itemsets. It was used to compress a database into a tree structure which stored only large items. It, however, needed to process all transactions in a batch way. In real-world applications, new transactions are usually inserted into databases. In this paper, we thus attempt to modify the FP-tree construction algorithm for efficiently handling new transactions. A fast updated FP-tree (FUFP-tree) structure is proposed, which makes the tree update process become easier. An incremental FUFP-tree maintenance algorithm is also proposed for reducing the execution time in reconstructing the tree when new transactions are inserted. Experimental results also show that the proposed FUFP-tree maintenance algorithm runs faster than the batch FP-tree construction algorithm for handling new transactions and generates nearly the same tree structure as the FP-tree algorithm. The proposed approach can thus achieve a good trade-off between execution time and tree complexity.     

基于改进的FP-tree的频繁模式挖掘算法

FP-growth算法是一种基于FP-tree数据结构的高效的频繁模式挖掘算法,它不产生候选集。构造频繁模式树FP-tree需扫描数据库两次,在第二遍扫描中还扫描了那些仅包含了非频繁项的事务,针对此问题,在深入分析了FP-tree特性的基础上, 改进了FP-tree构造过程,同时用一种基于Hash表的辅助存储结构,节省了项目查找时间,提高了挖掘效率。     

Maintenance of fast updated frequent pattern trees for record deletion

The Frequent-Pattern-tree (FP tree) is an efficient data structure for association-rule mining without generation of candidate itemsets. It was used to represent a database into a tree structure which stored only frequent items. It, however, needed to process all transactions in a batch way. In the past, Hong et al. thus proposed an efficient incremental mining algorithm for handling newly inserted transactions. In addition to record insertion, record deletion from databases is also commonly seen in real-applications. In this paper, we thus attempt to modify the FP-tree construction algorithm for efficiently handling deletion of records. A fast updated FP-tree (FUFP-tree) structure is used, which makes the tree update process become easier. An FUFP-tree maintenance algorithm for the deletion of records is also proposed for reducing the execution time in reconstructing the tree when records are deleted. Experimental results also show that the proposed FUFP-tree maintenance algorithm for deletion of records runs faster than the batch FP-tree construction algorithm for handling deleted records and generates nearly the same tree structure as the FP-tree algorithm. The proposed approach can thus achieve a good trade-off between execution time and tree complexity.     

一种改进的加权频繁项集挖掘算法

FP-growth算法是挖掘频繁项集的经典算法,它利用FP-树这种紧凑的数据结构存储事务数据库与频繁项集挖掘相关的全部信息,但对于挖掘加权频繁项集并不合适。分析了现有加权频繁项集挖掘算法中存在的问题,并对FP-树进行改进,构造新的加权FP-树,提出了有效挖掘加权频繁项集的算法。最后举例说明了算法的挖掘过程,并通过实验验证了算法的有效性。     

The Pre-FUFP algorithm for incremental mining

The frequent pattern tree (FP-tree) is an efficient data structure for association-rule mining without generation of candidate itemsets. It was used to compress a database into a tree structure which stored only large items. It, however, needed to process all transactions in a batch way. In real-world applications, new transactions are usually incrementally inserted into databases. In the past, we proposed a Fast Updated FP-tree (FUFP-tree) structure to efficiently handle new transactions and to make the tree update process become easier. In this paper, we attempt to modify the FUFP-tree construction based on the concept of pre-large itemsets. Pre-large itemsets are defined by a lower support threshold and an upper support threshold. It does not need to rescan the original database until a number of new transactions have been inserted. The proposed approach can thus achieve a good execution time for tree construction especially when each time a small number of transactions are inserted. Experimental results also show that the proposed Pre-FUFP maintenance algorithm has a good performance for incrementally handling new transactions.     

基于FP-tree的多层关联规则快速挖掘算法

研究了多层关联规则挖掘的理论和方法，提出了一种基于FP-tree的快速挖掘算法FAMML_FPT。该算法不仅实现了同层次关联规则的挖掘，也能实现跨层次关联规则的挖掘，其中引入了修补项、跨层修补项的概念，以便从低到高逐层建立FP-tree，有效减少了扫描数据库的次数，且不用产生大量的候选项集，提高了数据挖掘的效率。     

基于改进FP-tree的最大频繁项目集挖掘算法

针对已有算法为了减少PF-tree中路径被重复遍历的次数,需要保存FP-tree中所有频繁1-项集的条件模式基的问题,对FP-tree的数据结构进行修改,使得只需要保存FP-tree中每个叶子节点的父节点到根节点路径上项目组成的条件模式基,降低了保存条件模式基的存储空间开销。在分析最大频繁项目集挖掘算法中搜索空间以及数据表示方法的基础上,通过理论分析和证明,设计了剪枝策略和压缩策略,缩小了算法搜索空间,压缩了FP-tree的规模,提高了算法的执行效率。最后将新算法分别与NHTFPG算法、FpMAX算法进行对比,验证算法的正确性和有效性。实验结果表明,新算法保存FP-tree条件模式基所需要的存储空间不到NHTFPG算法的50%,执行效率比FpMAX算法提高了2~3倍。     

基于频繁模式树的负关联规则挖掘算法

典型的正关联规则仅考虑事务中所列举的项目。负关联规则不但要考虑事务中所包含的项目集，还必需考虑事务中所不包含的项目，它包含了非常有价值的信息。然而，对于负关联规则的研究却很少，仅有的几种算法也存在一定的局限性。为此，该文提出了一种基于FP-tree的负关联规则挖掘算法，该算法不但可以发现事务数据库中所有的负关联规则，而且整个过程只需扫描事务数据库两次，算法是有效和可行的。