多重最小支持度频繁项集挖掘算法研究

某些情况下提取关联规则挖掘时需要根据项目的特点设置不同的最小支持度，针对此问题进行了多重最小支持度的频繁项集挖掘算法研究。在FP-growth的基础上提出了多重最小支持度树(MS-tree)的新方法，并设计了MS-growth算法对MS-tree进行频繁模式集的挖掘。该算法只需扫描一次数据库，克服了MSapriori算法在生成关联规则时需要重新扫描数据库的缺点。实验表明，新算法的性能可以和FP-growth算法相比，而且可以处理多重最小支持度的问题。     

基于分段函数的多支持度关联规则挖掘算法

在多支持度关联规则挖掘算法中,针对最小支持度的选取问题,提出一种基于分段函数的多支持度关联规则挖掘算法.在多支持度算法中挖掘频繁集的时候,最小支持度由项集最小项支持度的最小值、最大值和给定的参考值所决定,这样避免了采用最小值作为最小支持度算法的时间复杂度高和存在无效规则的问题,以及采用最大值致使剪枝程度过大而造成规则遗漏的问题.通过实验结果表明了该算法的有效性.     

基于分解事务矩阵的关联规则挖掘算法

Apriori算法是数据挖掘领域挖掘关联规则频繁项目集的经典算法,但该算法存在产生大量的候选项目集及需要多次扫描数据库的缺陷。为此提出一种新的挖掘关联规则频繁项目集算法（ CApriori算法）：利用分解事务矩阵来压缩存放数据库的相关信息,进而对分解事务矩阵进行关联规则挖掘;优化了由频繁k -1项目集生成频繁k项目集的连接过程;提出了一种不需要扫描数据库,利用行集“与运算”快速计算支持数的方法,改进算法挖掘所有的频繁项目集只需扫描数据库两次。实验结果表明,改进算法在最小支持度较小时效率高于Apriori算法。     

最大值控制的多最小支持度关联规则挖掘算法

大部分关联规则挖掘算法使用同一最小支持度阈值进行挖掘,但在实际使用中由干各项目发生频率的不同,理应有不同的最小支持度支持。该文提出了一种多最小支持度关联规则挖掘算法,为每一项目设置一最小支持度,同时在生成舒选集和最大频繁集的过程中使用最大值控制来实现剪枝,有效地提高了该算法的效率,最后用一个超市销售物品的例子来说明该算法的使用。     

基于概念格的数据挖掘方法

1引言 关联规则是数据挖掘领域中的一个重要课题,挖掘关联规则的算法已经有很多,比较重要的有Rakesh Agrawal等提出的Apriori算法[3],Ramakrishnan Srikant等提出的挖掘定量关联规则的算法,Sergey Brin等提出的DIC算法[5].这些算法都是离线的或者批处理式的,Christian Hidber提出了挖掘关联规则找出数据项频集的在线算法Carma,CharuC.Aggarwal提出了根据数据项频集的集合找出关联规则的在线算法[2],在线挖掘关联规则的算法允许用户随时调整最小支持度(阈值),如果中间结果已经令人满意,用户也可以随时终止算法的执行.     

使用多支持度的关联规则分类算法

传统关联分类算法使用单一最小项目支持度挖掘关联规则,导致稀有项关联规则无法被发现,从而影响分类的准确性和实用性。提出一种多支持度关联规则分类算法MS-CBAR(Multiple Supports-Classification Based on Association Rules),将多最小项目支持度模型应用于关联分类,以有效挖掘稀有项。该算法为数据库中的规则项提供了用户可定义的最小项目支持度。MS-CBAR算法使用项的最小项支持度阈值、类的最小类支持度值和规则项的最小支持度值决定分类规则是否频繁。生成分类规则集后,使用最高优先度规则覆盖法基于规则集建立分类器。实验表明,所提算法在包含稀有项目及稀有类的数据集中准确率高于传统关联分类算法及其相关算法,表现更稳定。     

一种基于概率的多最小支持度挖掘算法

传统的Aprion耐算法由于始终保持单一的最小支持度,所以在实际应用中不能挖掘小比例事件中的关联规则。针对这一缺陷,该文提出并实现了一种基于概率的多最小支持度关联规则算法。该算法针对每个项目设定了最小项支持度,最小项支持度与该项目的出现概率相关。实验证明该算法不仅能有效地挖掘出发生概率较低的事件中的关联规则,同时又不丢失原有的大概率事件中的关联规则。另外,实验结果也说明该算法存在候选项集增多的缺点。     

多段支持度数据频繁模式关联规则挖掘仿真

针对传统数据关联挖掘过程只适用于单段数据集,导致内存负担重、挖掘频繁项集效率不高等问题,提出一种多段支持度数据频繁模式关联规则挖掘方法.运用多支持度算法对数据集逐步搜索,数据集按照数据项的MIS大小有序排列,采用最小值作为最小支持度,确保该算法的地推性.构建FP_ tree树,利用FP_tree算法对待选项实施剪枝,从而准确挖掘出频繁模式的关联规则.仿真结果证明,多段支持度数据频繁模式关联规则挖掘具有较好的性能,有效提高了关联规则的挖掘效率.     

向量内积策略的多支持度正负关联规则挖掘

在研究负关联规则相关特性的基础上,将向量内积引入到该领域,提出了一种基于向量内积的多最小支持度正负关联规则挖掘算法。考虑到事务数据库中各项集分布不均而导致的单一最小支持度难以设定的问题,采用了多最小支持度策略,设计了一种能同时挖掘出频繁与非频繁项集,以及从这些项集中挖掘出正负关联规则的算法。实验结果表明,该算法仅需扫描一次数据库,且具有动态剪枝,不保留中间候选项和节省大量内存等优点,对事务数据库中负关联规则的挖掘具有重要意义。     

概念格上规则产生集的算法研究与应用

用传统的规则生成算法产生的关联规则集合相当庞大,其中很多规则可由其它规则导出。使用闭项集可以减少规则的数目,而概念格节点间的泛化和例化关系非常适用于规则的提取。目前几种基于概念格的规则提取算法局限于得到准确支持度、信任度的无冗余规则。提出了一种在概念格上挖掘出能推导出所有满足最小支持度、信任度规则的规则产生集算法,文中称之为组规则产生集算法,减少了规则的规模,提高了挖掘效率,进一步给出了组规则产生集的存储数据结构和根据应用需要用其导出单一后项规则的算法。     

发现含有第一类项目约束的频繁集的快速算法

与Apriori-like类型的算法相比,Zaki提出的基于垂直数据库结构及基于网络理论的算法将关联规则挖掘的运行速度提高了一个数量级,并且这些算法非常适合挖掘低支持度、长模式的关联规则。以Ecalt算法为原型,讨论了如何将项目约束引入关联规则挖掘过程的问题,从理论上证明了引入约束后的Eclat＋算法可以大大提高算法的效率和速度,并对相关的算法进行了比较。     

基于数据仓库的高效关联规则的挖掘

提出在基于数据仓库的关联规则发现中生成最小关联规则集来代替完全关联规则集，最小关联规则集必须具备两个条件：（1）最小关联规则集是最小、最简单的关联规则集合；（2）最小关联规则集与完全关联规则集有相同的置信度。通过最小关联规则集，可以有效地剪除弱关联规则，大幅度减少候选频繁项目集，从而提高规则发现效率。是后，在传统经典算法Apriori基础上设计了一个相应的高效算法。     

频繁项集挖掘的研究进展及主流方法

关联分析作为数据挖掘的主要研究模块之一,主要用于发现隐藏在大型数据集中的强关联特征。而多数关联规则挖掘任务可分为频繁模式(频繁项集、频繁序列、频繁子图)的产生和规则的产生。前者发现数据集中满足最小支持度阈值的项集、序列与子图;后者从上一步发现的频繁模式中提取高置信度的规则。频繁项集挖掘是许多数据挖掘任务中的关键问题,也是关联规则挖掘算法的核心。十几年来,学者们致力于提高频繁项集的生成效率,从不同的角度进行改进以提高算法效率,大量的高效可伸缩性算法被提出。文中对频繁项集挖掘进行深入分析,对完全频繁项集、闭频繁项集、极大频繁项集的典型算法进行介绍和评述,最后对频繁项集挖掘算法的研究方向进行简要分析。     

空间关联规则的增量维护

为了得到有趣且有效的空间关联规则通常需要多次执行挖掘操作,可以使用增量维护算法来提高挖掘效率。然而,能够直接使用空间数据的关联规则增量更新算法尚属空白。为解决这一问题,对挖掘阈值改变和空间数据集更新后通过筛选或增量挖掘等方法实现规则维护的策略进行了分析,并提出适用于支持度阈值减小和空间图层增加这两类情况的增量挖掘算法——ISA。ISA算法不依赖于空间事务表的构建与更新,可以直接使用空间图层作为输入数据。在基于实际数据的实验中,采用ISA算法所得结果与类Apriori算法一致,耗时则相对缩短20.0%至71.0%;此外,对1372772条规则进行了基于筛选的更新,耗时低于0.1s。实验结果表明,所提出的空间关联规则增量维护策略和算法是可行、正确且高效的。     

一种基于逻辑的频繁序列模式挖掘算法

传统的类Apriori频繁序列模式挖掘算法都是基于支持度框架理论,需要预先设定支持度阈值,而这通常需要较深的领域知识或大量的实践,因此目前仍没有一种很好的设定方法.同时,序列模式的挖掘结果往往数量很大且不易理解,可用性较低.针对上述问题,提出了一种基于逻辑的频繁序列模式挖掘算法即LFSPM算法,并首次在频繁序列模式挖掘算法中引入了逻辑的思想,通过逻辑规则过滤,大大优化了结果集.实验证明,该算法较好地解决了支持度设置问题及挖掘结果可理解性不高的问题.     

Application of particle swarm optimization to association rule mining

In the area of association rule mining, most previous research had focused on improving computational efficiency. However, determination of the threshold values of support and confidence, which seriously affect the quality of association rule mining, is still under investigation. Thus, this study intends to propose a novel algorithm for association rule mining in order to improve computational efficiency as well as to automatically determine suitable threshold values. The particle swarm optimization algorithm first searches for the optimum fitness value of each particle and then finds corresponding support and confidence as minimal threshold values after the data are transformed into binary values. The proposed method is verified by applying the FoodMart2000 database of Microsoft SQL Server 2000 and compared with a genetic algorithm. The results indicate that the particle swarm optimization algorithm really can suggest suitable threshold values and obtain quality rules. In addition, a real-world stock market database is employed to mine association rules to measure investment behavior and stock category purchasing. The computational results are also very promising.     

利用马尔可夫模型挖掘关联规则的元规则

关联规则挖掘主要用于发现事务数据集中项与项之间的关系,现有的关联规则挖掘算法多是挖掘一种静态的关联规则,实际上规则随着时间的推移可能会有很大变化,为规则建立元规则对其支持度和置信度变化趋势进行分析和预测,有利于进一步指导挖掘和决策。通过一个实例介绍了一种基于马尔可夫模型的预测和分析的元规则的具体方法,并通过与其他方法的对比说明它是一个合理的模型。     

基于MapReduce计算模型的并行关联规则挖掘算法研究综述

关联规则挖掘是最常用、最重要的数据挖掘任务之一,经典的关联规则挖掘算法有Apriori、FP-Growth、Eclat等。随着数据的爆炸式增长,传统的算法已不能适应大数据挖掘的需要,需要分布式、并行的关联规则挖掘算法来解决上述问题。MapReduce是一种流行的分布式并行计算模型,因其使用简单、伸缩性好、自动负载均衡和自动容错等优点,得到了广泛的应用。本文对已有的基于MapReduce计算模型的并行关联规则挖掘算法进行了分类和综述,对其各自的优缺点和适用范围进行了总结,并对下一步的研究进行了展望。     

一种无阈值的频繁模式生成算法

在数据挖掘的关联规则挖掘算法中,传统的频繁模式挖掘算法需要用户指定项集的最小支持度。引入Top-k模式挖掘概念的改进算法虽然无需指定最小支持度,但仍需指定阈值k。针对上述问题,对传统挖掘算法进行改进,提出一种新的频繁模式挖掘算法(TNFP- growth)。该算法无需指定最小支持度或阈值,按照支持度降序排列进行模式挖掘,有序地返回频繁模式给用户。实验结果证明,该算法的执行效率更高,具有更强的伸缩性。     

一个新的不需要候选集的挖掘关联规则算法--Relim算法的研究

Fp-growth算法是当前挖掘频繁项目集算法中速度最快,应用最广,并且不需要候选集的一种挖掘关联规则的算法。但是,Fp-growth算法也存在着算法结构复杂和空间利用率低等缺点。Relim算法是在Fp—growth算法的基础上提出的一种新的不需要候选集的挖掘关联规则算法。它具有算法结构简单,空间利用率高,易于实现等显著优点。本文在详细阐述Relim算法后．对Fp-growth算法和Relim算法的性能进行了分析和比较。结果表明,Relim算法尽管结构简单,但其运行速度与Fp-growth算法相比并不慢,而且当对最小支持度高或者频繁规则比较少的数据集进行挖掘时,Relim算法的运行速度往往比Fp—growth算法要快。