多重最小支持度频繁项集挖掘算法研究

某些情况下提取关联规则挖掘时需要根据项目的特点设置不同的最小支持度,针对此问题进行了多重最小支持度的频繁项集挖掘算法研究。在FP-growth的基础上提出了多重最小支持度树(MS-tree)的新方法,并设计了MS-growth算法对MS-tree进行频繁模式集的挖掘。该算法只需扫描一次数据库,克服了MSapriori算法在生成关联规则时需要重新扫描数据库的缺点。实验表明,新算法的性能可以和FP-growth算法相比,而且可以处理多重最小支持度的问题。     

基于事务映射区间求交的高效频繁模式挖掘算法

关联规则挖掘是数据挖掘重要研究课题,大数据处理对关联规则挖掘算法效率提出了更高要求,而关联规则挖掘的最耗时的步骤是频繁模式挖掘。针对当前频繁模式挖掘算法效率不高的问题,结合Apriori算法和FP-growth算法,提出一种基于事务映射区间求交的频繁模式挖掘算法IITM（interval interaction and transaction mapping）,只需扫描数据集两次来生成FP树,然后扫描FP树将每个项的ID映射到区间中,通过区间求交来进行模式增长。该算法解决了Apriori算法需要多次扫描数据集,FP-growth算法需要迭代地生成条件FP树来进行模式增长而带来的效率下降的问题。在真实数据集上的实验显示,在不同的支持度下IITM算法都要要优于Apriori、FP-growth以及PIETM算法。     

E－FP：一种挖掘多层高维频繁序列的高效算法

一、引言频繁序列挖掘一直是数据挖掘的一个活跃的研究课题。大部分的频繁序列挖掘算法是基于统一的最小支持度,如Apriori算法、SPADE、FP-growth等。但这将会丢失支持度较低的有效集合,或是遇到集合产生的瓶颈。除FP-growth之外,其余算法需要多次扫描数据库。为此,我们将FP-growth加以扩展,使其可以处理多层高维频繁序列。二、问题的定义多层高维频繁序列是一个具有广阔前景的研究课题,而     

基于矩阵技术的频繁项目集挖掘算法

频繁模式挖掘算法FP-growth算法需递归地生成大量的条件FP-树,且耗费大量存储空间和时间。为此,采用矩阵技术统计约束子树中的频繁项集和频繁项集的支持度,以进行数据挖掘。实验结果表明,该频繁模式挖掘算法是有效的,具有较高的时间效率及空间 效率。     

基于预制数据库的FP-tree构造算法

以Apriori类的候选集产生-检查迭代法为代表的频繁模式挖掘在数据挖掘中扮演了十分重要的角色,详细研究了FP-growth频繁模式挖掘算法存在的瓶颈,提出了基于预制数据库的PFP-tree构造算法,该算法既能有效地利用FP-growth算法的优点,又能利用预制数据库技术将大型数据库按时间区段化成多个视图分而论之,适于并行运算,大大提高了速度性能.该算法还能有效地避免重复运算,有效地支持数据库的数据更新,具有良好的可伸缩性.     

基于事务树的最大频繁项集挖掘算法

针对Apriori算法在寻找频繁项集的过程中需多次扫描数据库、侯选项集过多、支持度计算过于复杂等问题,提出TT-Apriori算法。该算法将事务数据库转化成事务树,通过遍历事务树能直接快速地找到最大频繁项目集。简化支持度的计算,避免对整个数据库的扫描和大量的连接步骤,从而提高挖掘效率。     

基于事务树的最大频繁项集挖掘算法

针对Apriori算法在寻找频繁项集的过程中需多次扫描数据库、侯选项集过多、支持度计算过于复杂等问题,提出TT-Apriori算法。该算法将事务数据库转化成事务树,通过遍历事务树能直接快速地找到最大频繁项目集。简化支持度的计算,避免对整个数据库的扫描和大量的连接步骤,从而提高挖掘效率。     

改进的频繁项集挖掘算法研究

通过对关联规则挖掘技术及经典算法Apriori和FP-growth的研究和分析,提出了一种改进的频繁项集挖掘算法。该算法利用矩阵存储数据,并结合矩阵运算求项集的支持数,有效减少了事务数据库的扫描次数;利用有序频繁项目邻接矩阵创建频繁模式树,有效减少了频繁模式树的分支和层数。通过实例分析了频繁项集的挖掘过程。     

频繁模式挖掘的约束算法

在频繁模式挖掘过程中能够动态改变约束的算法比较少.提出了一种基于约束的频繁模式挖掘算法MCFP.MCFP首先按照约束的性质来建立频繁模式树,并且只需扫描一遍数据库,然后建立每个项的条件树,挖掘以该项为前缀的最大频繁模式,并用最大模式树来存储,最后根据最大模式来找出所有支持度明确的频繁模式.MCFP算法允许用户在挖掘频繁模式过程中动态地改变约束.实验表明,该算法与iCFP算法相比是很有效的.     

向量内积策略的多支持度正负关联规则挖掘

在研究负关联规则相关特性的基础上,将向量内积引入到该领域,提出了一种基于向量内积的多最小支持度正负关联规则挖掘算法。考虑到事务数据库中各项集分布不均而导致的单一最小支持度难以设定的问题,采用了多最小支持度策略,设计了一种能同时挖掘出频繁与非频繁项集,以及从这些项集中挖掘出正负关联规则的算法。实验结果表明,该算法仅需扫描一次数据库,且具有动态剪枝,不保留中间候选项和节省大量内存等优点,对事务数据库中负关联规则的挖掘具有重要意义。     

一种面向中医药领域的二维最大频繁项集挖掘算法

在中医药领域挖掘药组频繁项集时发现,尽管有些项集的支持度比人们需要的频繁项集的支持度高很多,但这些项集并不是人们感兴趣的,即过分频繁反而变得平凡.本文引入支持度区间的概念,提出了适合中药数据挖掘的二维TCM-FP森林结构及其建树算法.在针对疾病症状的中药药组挖掘过程中,采用优化的搜索策略开发了基于支持度区间的TCMA维间最大频繁项集挖掘算法.这种算法既缩小了挖掘的范围又提高了规则的意义,并且具有较高的执行效率.     

基于IS~±树模型的频繁模式挖掘

IS-树是一种新型的全文存储索引模型.提出一种基于扩展I-S树模型的频繁模式挖掘算法.和FPgrowth方法一样,算法直接构造频繁项集,不进行Apriori算法所采用的代价很高的候选集产生与测试操作.然而它比FP-树模型具有更多的优点:只需扫描一遍事务库;挖掘任务只局部关联于一棵根树;动态更新性好,仅做增量变化.实验表明,其具有与FP-growth算法相当甚至更高的效率.更重要的是,IS 树模型同时是一种事务库的良好索引形式,具有高效支持事务查询的能力.     

基于FP-Tree有效挖掘最大频繁项集

最大频繁项集的挖掘过程中,在最小支持度较小的情况下,超集检测是算法的主要耗时操作.提出了最大频繁项集挖掘算法FPMFI(frequent pattern tree for maximal frequent item set)使用基于投影进行超集检测的机制,有效地缩减了超集检测的时间.另外,算法FPMFI通过删除FP子树(conditional frequent pattern tree)的冗余信息,有效地压缩了FP子树的规模,减少了遍历的开销.分析表明,算法FPMFI具有优越性.实验比较说明,在最小支持度较小时,算法FPMFI的性能优于同类算法1倍以上.     

基于FP-growth算法的高维混合属性数据挖掘方法

常规高维混合属性数据挖掘方法多采用云平台技术,无法完整保留数据的结构相似性,使得数据挖掘效率较低。为此,提出了基于FP-growth算法的高维混合属性数据挖掘方法。为了改善数据质量,根据高维混合属性数据在数据库中的存储结构,采用了一种固定算法实现数据去噪,并依据数据类型计算分类型和数值型相似度,结合FP-growth算法对频繁项样本分支进行筛选生成项表头,保证数据结构相似性的完整性,通过搜索项表头输出有效关联规则,实现数据挖掘过程。实验结果表明,所提方法具有较高的挖掘效率。     

一种基于倒排索引树的增量更新关联挖掘算法

增量更新关联规则挖掘主要解决事务数据库中交易记录不断更新和最小支持度发生变化时关联规则的维护问题。针对目前诸多增量更新关联规则挖掘算法存在效率低、计算成本高、规则难以维护等问题,提出一种基于倒排索引树的增量更新关联挖掘算法。该算法有效地将倒排索引技术与树型结构相结合,使得交易数据库中的数据不断更新和最小支持度随应用环境不同而不断改变时,以实现无需扫描原始交易数据库和不产生候选项集的情况下生成频繁项集。实验结果表明,该算法只需占用较小的存储空间、且检索项集的效率较高,能高效地解决增量更新关联规则难以维护的问题。     

在FP-树中挖掘频繁模式而不生成条件FP-树

FP-growth算法是目前已发表的最有效的频繁模式挖掘算法之一．然而，由于在挖掘频繁模式时需要递归地生成大量的条件FP-树，其时空效率仍然不够高．改进了FP-树结构，提出了一种基于被约束子树挖掘频繁项集的有效算法．改进的FP-树是单向的，每个结点只保留指向父结点的指针，这大约节省了三分之一的树空间．通过引入被约束子树(可以用3个很小的数组表示)，算法在挖掘频繁模式时不生成条件FP-树，从而大大提高了频繁模式挖掘的时空效率．实验表明，与FP-growth算法相比，算法的挖掘速度提高了1倍以上，而所需的存储空间减少了一半．此外，随着数据库规模的增大，算法具有很好的可伸缩性．对于稠密数据集，算法也具有良好的性能．     

基于改进FP-树的最大项目集挖掘算法*

挖掘最大频繁项目集是多种数据挖掘应用中的关键问题。FP-growth算法是目前最有效的频繁模式挖掘算法之一,其在挖掘最大项目集时要递归生成大量的条件FP-树,存在时空效率不高的问题。于是结合改进的FP-树,提出了一种快速挖掘最大项目集的算法。该算法利用改进的FP-树是单向的且每个节点只保留指向父节点的指针,可以节约大量的存储空间;同时引入项目序列集和它的基本操作,使挖掘最大频繁项目集时不生成含大量候选项目的集合或条件FP-树,可以快速地挖掘出所有的最大频繁项目集。实例分析证明所提出的算法是可行的。     

一种混合型的增量数据关联规则挖掘算法

在数据库中增加数据且调整最小支持度时,数据库中关联规则会发生变化,为从数据量和最小支持度同时发生变化的数据库中快速获取频繁项集,发现变化后的关联规则,通过对FIM和AIUA算法进行分析,提出一种结合两种算法优点的增量数据关联规则挖掘My_FIM_AIUA算法,该算法能减少数据库扫描次数,减少候选项集数量。通过实验表明My_FIM_AIUA算法能在数据量和最小支持度同时变化时快速找到频繁项集,提高挖掘增量数据关联规则的速度。