基于二进制编码的Apriori增量更新算法研究

针对经典Apriori算法在迭代过程中频繁扫描数据库,且动态数据更新后需要重新处理数据的不足,提出一种基于二进制编码的增量更新改进CBEF-Apriori算法。该算法的核心思想是将添加增量后的项集、事务转换成二进制编码,从而将计算项集支持度转化为项集与事务数据库的二进制编码位运算过程。改进算法筛选原数据库生成的频繁项集与增量数据库新生成的候选项集,有效减少了候选项集的规模,提高算法效率的同时更符合现实需要。实验结果表明,相比于经典Apriori算法和CBE-Apriori算法,改进算法在挖掘出正确频繁项集的数量不降低的情况下,明显提升了计算效率,在小数据规模下相比经典Apriori算法最高提升3.6倍,相比CBE-Apriori算法最高提升1.4倍。在较大数据规模下相比经典Apriori算法最高提升10.41倍,相比CBE-Apriori算法最高提升11.53倍。     

一种基于Spark的频繁项集快速挖掘算法

如何在海量数据集中提高频繁项集的挖掘效率是目前研究的热点.随着数据量的不断增长,使用传统算法产生频繁项集的计算代价依然很高.为此,提出一种基于Spark的频繁项集快速挖掘算法（fast mining algorithm of frequent itemset based on spark,Fmafibs）,利用位运算速度快的特点,设计了一种新颖的模式增长策略.该算法首先采用位串表达项集,利用位运算来快速生成候选项集;其次,针对超长位串计算效率低的问题,考虑将事务垂直分组处理,将同一事务不同组之间的频繁项集通过连接获得候选项集,最后进行聚合筛选得到最终频繁项集.算法在Spark环境下,以频繁项集挖掘领域基准数据集进行实验验证.实验结果表明所提方法在保证挖掘结果准确的同时,有效地提高了挖掘效率.     

一种改进的关联规则混合挖掘算法

对数据挖掘技术中关联规则挖掘算法Apriori和AprioriTid进行了分析。首先提出Apriori的改进算法Apriori-New,然后提出基于Apriori-New的混合算法AprioriHybrid。通过实验对比,在由候选项集生成频繁项集的过程中,其时间开销比Apriori和AprioriTid都要小,尤其对于事务数多的大项集,取得了快速挖掘频繁项集的目的。     

一种改进的关联规则混合挖掘算法

对数据挖掘技术中关联规则挖掘算法Apriori和AprioriTid进行了分析.首先提出Apriori的改进算法Apriori-New,然后提出基于Apriori_New的混合算法AprioriHybrid.通过实验对比,在由候选项集生成频繁项集的过程中,其时间开销比Apriori和AprioriTid都要小,尤其对于事务数多的大项集,取得了快速挖掘频繁项集的目的.     

基于位集合的Apriori算法的改进

针对经典Apriori算法运行效率瓶颈问题,结合位集合占用内存空间少、逻辑运算快的特点,提出一种基于位集合的改进算法ABS.该算法通过一次数据库扫描,构建事务集位集合;采用位集合逻辑“与”运算和位统计操作确定频繁项集;改进连接和剪枝策略,采用位集合的逻辑“或”运算,统计运算结果重复出现次数,生成候选项集.挖掘实例数据库Northwind的频繁项集,对比Apriori算法,改进算法运行时间明显减少.该算法避免了数据库的重复扫描和繁琐的连接减枝操作,进一步提高了Apriori算法的运行效率.     

向量法关联规则挖掘在冠心病诊断中的应用

针对传统关联规则频繁项集生成效率较低的问题,提出一种改进的基于向量法的数据关联规则挖掘算法。该算法只需扫描一次事务数据库即可完成布尔矩阵的转换,通过向量运算完成频繁项集的查找,减少候选频繁项集的生成。在冠心病中医诊断中的应用结果表明,该算法可有效提取冠心病中医辨证规则。     

基于矩阵的改进的Apriori算法

针对Apriori算法的不足之处,提出了基于矩阵的算法,该算法首先将事务数据库用矩阵表示出来,并对矩阵进行处理,找出包含最多项的频繁K-项集,最后再利用矩阵找出从频繁2-项集到频繁K-1项集的所有频繁项集.通过一个实例表明了该算法的具体实现过程,并与其它算法进行比较,阐述了该算法的优缺点.该算法不但充分利用了矩阵这一工具,用"与运算"的方法代替了到数据库中去查找的算法,而且大大减少了候选频繁项集的产生,从而节省了计算频繁项集的时间,提高了计算的效率.     

一种基于矩阵的Apriori改进算法

针对Apriori算法中I/O负载大和减枝过程中生成大量中间结果两个性能瓶颈问题,提出了一种事务矩阵和项集矩阵的Apriori改进算法.算法的基本思想是:扫描数据库生成事务矩阵,通过事务矩阵和项集矩阵之间的运算代替Apriori算法中的数据库扫描得到频繁项集,减少I/O负载,加快候选项集的验证速度;通过对频繁项集矩阵的操作,减少生成候选频繁项集的数目,避免Apriori算法减枝步骤中对候选项集的分解和判断.通过仿真验证了改进算法的有效性.     

基于差异节点集的加权频繁项集挖掘算法

针对基于WN-list的加权频繁项集挖掘算法NFWI挖掘效率低的问题,提出一种基于WDiffNodeset的加权频繁项集挖掘算法DiffNFWI。对DiffNodeset数据结构进行扩展得到WDiffNodeset,采用集合枚举树和混合搜索策略相结合的方法查找加权频繁项集,以避免大量的交集运算并实现高效查找。使用差集策略计算项集的加权支持度,从而降低计算量。在mushroom、pumsb等数据集上的实验结果表明,DiffNFWI算法的运行效率优于NFWI算法。     

多段支持度数据挖掘算法研究

在基于相联规则的数据挖掘算法中,Apriori等算法最为著名。它分为两个主要步骤：（1）通过多趟扫描数据库求解出频繁项集;（2）利用频繁项集生成规则。随后的许多算法都沿用Apriori中“频繁项集的子集必为频繁项集”的思想,在频繁项集Lk-1上进行JOIN运算构成潜在k项集Ck。由于数据库和Ck的规模较大,需要相当大的计算量才能生成频繁项集。AprioriTid算法给每个事务增加了一个唯一标识Tid,其特点是只扫描一趟数据库,其余趟扫描（如第k趟扫描）均在相应的数据集Ck^-上进行。由于数据规模改变不大,各算法的效率差别并不明显。该文提出分段计算支持度的思想,是把一个项集的支持度分段计算,每一个段记录该项集在相应规模事务中出现的频度,从而构成一个支持度向量。由于有了项集的多段支持度,可以推测出该项集能否包含在更大规模的频率项集中,采用这种算法既提高了在扫描数据库中的信息获取度,又能及时剔除超集不是频繁项集的项集,进一步缩减了潜在项集的规模,在数据集扫描过程中,按文中定理1的思想调整数据集,达到提高频繁项集生成效率的目的。     

一种基于位运算的频繁闭项集挖掘算法

针对相关算法在挖掘频繁闭项集时所存在的问题, 提出了一种基于位运算的频繁闭项集挖掘算法。该算法首先将数据集转换成布尔矩阵, 只需扫描数据集一次; 通过位运算计算支持度, 利用矩阵和数组存储辅助信息, 减少时间和空间消耗; 深度优先搜索产生频繁闭项集时利用剪枝策略进一步减少挖掘时间; 利用同生项集性质进行闭合性检测, 无须检查超集或子集。理论分析和实验结果验证了该算法的有效性。     

基于频繁项目集链式存储方法的关联规则算法

为了提高经典关联规则Apriori算法的挖掘效率,针对Apriori算法的瓶颈问题,提出了一种链式结构存储频繁项目集并生成最大频繁项目集的关联规则算法.该算法采用比特向量方式存储事务,生成频繁项目集的同时,把包含此频繁项目的事务作为链表连接到频繁项目之后,生成最大频繁项目集.该算法能够减小扫描事物数据库的次数和生成候选项目集的数量,从而减少了生成最大频繁项目集的时间,实验结果表明,该算法提高了运算效率.     

MLFI：新的最大长度频繁项集挖掘方法

在理解现有的最大长度频繁项集挖掘问题的定义,探索最大长度频繁项集的几个具体应用后,提出了一种新的基于FP-tree（Frequent Pattern tree）结构的最大长度频繁项集挖掘方法——MLFI算法。该算法仅对初始的FP-tree实现遍历操作,从而完成对最大长度频繁项集的挖掘。在算法整个执行过程中,仅用到了一棵初始的FP-tree。理论分析和实验证明,该算法加快了挖掘速度,提高了挖掘效率。     

基于位串数组的最大频繁项目集挖掘算法

关联规则挖掘的主要性能由发现频繁项目集决定.频繁项目集是最大频繁项目集的子集,因而找到所有最大频繁项目集是问题的关键.本文使用位串数组的数据结构提出了一种挖掘最大频繁项目集的算法MMFI.该算法通过位串与操作直接得到最大频繁项目集.     

基于有序FP-tree的最大长度频繁项集挖掘算法

频繁项集的挖掘受到大量候选频繁项集和较高计算花费的限制,只挖掘最大长度频繁项集已满足很多应用。提出一种基于有序FP-tree结构挖掘最大长度频繁项集的算法。即对有序FP-tree的头表进行改造,增加一个max-level域,记录该项在有序FP-tree中的最大高度。挖掘时仅对max-level 大于等于已有最大长度频繁项集长度的项进行遍历,不产生条件模式基,无需递归构造条件FP-tree,且计算出最大长度频繁项集的支持度。实验结果表明该算法挖掘效率高、速度快。     

关联规则挖掘中对Apriori算法的一种改进研究

通过对关联规则挖掘算法的详细分析,提出了一种基于无向项集图的动态频繁项集挖掘算法.当事务数据库和最小支持度发生变化时,该算法只需重新遍历一次无向项集图即可得到新的频繁项集.该算法不仅简单、只需扫描一次数据库,而且还具有搜索速度快、节省内存空间等优点.     

基于频繁项集挖掘最大频繁项集和频繁闭项集

提出了基于频繁项集的最大频繁项集（BFI-DMFI）和频繁闭项集挖掘算法（BFI-DCFI）。BFI-DMFI算法通过逐个检测频繁项集在其集合中是否存在超集确定该项集是不是最大频繁项集;BFI-DCFI算法则是通过挖掘所有支持度相等的频繁项集中的最大频繁项集组合生成频繁闭项集。该类算法的提出,为关联规则的精简提供了一种新的解决方法。     

频繁闭项目集挖掘算法研究

目前已提出了许多基于Apriori算法思想的频繁项目集挖掘算法,这些算法可以有效地挖掘出事务数据库中的短频繁项目集,但对于长频繁项目集的挖掘而言,其性能将明显下降.为此,提出了一种频繁闭项目集挖掘算法MFCIA,该算法可以有效地挖掘出事务数据库中所有的频繁项目集,并对其更新问题进行了研究,提出了一种相应的频繁闭项目集增量式更新算法UMFCIA,该算法将充分利用先前的挖掘结果来节省发现新的频繁闭项目集的时间开销.实验结果表明算法MFCIA是有效可行的.     

矩阵约束下的频繁项集挖掘方法研究

数据挖掘中的关联分析技术旨在发现大量数据项集之间有趣的关联关系,其核心问题是寻找频繁项集。针对传统的基于矩阵的关联挖掘算法中矩阵规模和事务数据库大小相关,在处理超大型事务数据库时,仍会存在内存瓶颈的问题,提出了一个矩阵规模和事务数据库大小无关、通过矩阵约束预挖掘后验证的频繁项集发现算法。实验结果显示,该算法提高了频繁项集的挖掘速度。     

数据流中基于滑动窗口的最大频繁项集挖掘算法*

挖掘数据流中最大频繁项集是从数据流中获得信息的一种有效手段,是数据流挖掘研究的热点之一。结合数据流的特点,提出了一种新的基于滑动窗口的最大频繁项集挖掘算法。该算法用位图来存储数据流中流动的数据;采用直接覆盖的方法存储和更新数据流上的数据;在深度优先搜索挖掘最大频繁项集时,除采用经典的剪枝策略外,还提出了与父等价原理相对应的子等价剪枝策略;最后将挖掘结果存储在索引链表中以提高超集检测效率,进一步减少挖掘最大频繁项集的时间。理论分析和实验结果证实了该算法在时间和空间上的有效性。