基于Spark的并行关联规则挖掘算法研究综述

关联规则挖掘是数据挖掘的一个重要分支，但随着数据的快速增长，传统关联规则挖掘算法不能很好地适应大数据的要求，需要在分布式、并行计算的平台上寻找突破。Spark是专门为大数据处理而设计的一个适合迭代运算的并行计算模型，相比MapReduce具有更高效、充分利用内存、更适合迭代计算和交互式处理的优点。对已有的基于Spark的并行关联规则挖掘算法进行了分类和综述，并总结了各自的优缺点和适用范围，为下一步的研究提供参考。     

分布式环境下挖掘约束性关联规则的算法研究

关联规则是数据挖掘的重要研究内容。基于约束的关联规则挖掘可以促进交互式探查与分析。该文主要研究了分布式环境中挖掘约束性关联规则的问题。在并行关联规则挖掘算法CD和约束性关联规则挖掘算法Direct的基础上,提出了一种新的分布式挖掘约束性关联规则算法DMA_IC。该算法对于解决分布式挖掘约束性关联规则的问题是十分有效的。同时,文章还对DMA_IC算法的通信性能进行了讨论。     

云计算环境下基于MapReduce并行的Apriori算法优化研究

根据MapReduce模型并行运行实现的特点,针对可扩展性差的传统Apriori的特点和传统Apriori算法,采用了＂云＂强大的廉价计算处理方式和关联规则挖掘算法,改进提高Apriori算法的运算效率。通过改进在云计算环境下MapReduce编程框架,并且结合验证MR-Apriori算法的实验为基础,这对传统意义上的Apriori算法在数据挖掘过程中所出现的客观问题进行处理,从而真正意义上的完成了本文研究的基于MapReduce并行的Apriori算法的扩展性提升的目标,并且表明了元计算技术结合关联规则挖掘算法的可能性。     

FP—Growth算法MapReduce化研究

随着云计算概念的盛行,以及数据挖掘技术在分布式环境下的应用问题,该文献针对当前业界中流行的大规模并行计算模型MapReduce,将其引入数据挖掘领域关联规则算法的并行化改进中,提出基于FP-Growth算法并行化改进的MR—FP算法,为并行化关联规则挖掘提供节点可扩展、可容错、故障可恢复的运行保证。并通过案例分析得出系统在事务数呈数量级级别增长下仍可保持较高的性能。通过理论分析和案例实验表明,数据挖掘理论和方法在云计算环境下可以充分发挥能力,具有广阔的、有价值的研究空间。     

基于MapReduce的关联规则挖掘

关联规则挖掘是数据挖掘的一项重要技术,它主要是通过频繁项集挖掘得到关联规则。基于云计算的MapReduce模型的数据挖掘算法可以提高挖掘的效果及性能。     

改进Apriori挖掘算法的网格实现

科学和工商业应用需要分析分布在各异构站点的海量数据。传统的关联规则挖掘算法探讨的对象基本上都是集中式的数据集,对分布式的动态数据库群无能为力,因而迫切需要对分布式数据挖掘算法进行研究探讨。在研究OGSA面向服务的体系结构基础上,将网格技术与数据挖掘技术有机地结合在一起,提出了一种基于网格的分布式关联规则挖掘方法。是改进Apriori挖掘算法在网格环境下的具体应用。仿真实验表明方法具备网格的并行挖掘特性,能够成功实现位于多个异构站点E的分布式数据挖掘,且挖掘速度和运算效率较之集中式Apriori挖掘算法有较大幅度的提高。     

云计算环境下关联规则挖掘算法的研究

云计算为存储和分析海量数据提供了廉价高效的解决方案,云计算环境下的数据挖掘算法的研究具有重要的理论意义和应用价值。针对云计算环境下的关联规则挖掘算法展开研究,介绍了云计算的概念、Hadoop框架平台、MapReduce编程模型和传统的Apriori算法;在此基础上,以实现云计算环境下的并行化数据挖掘为目的,对Apriori算法进行了改进,给出了改进的算法在Hadoop中的MapReduce编程模型上的执行流程;通过一个简单的频繁项集挖掘实例展示了改进的算法的执行效率及实用性。     

PFPonCanTree：一种基于MapReduce的并行频繁模式增量挖掘算法

频繁模式挖掘是最重要的数据挖掘任务之一,传统的频繁模式挖掘算法是以"批处理"方式执行的,即一次性对所有数据进行挖掘,无法满足不断增长的大数据挖掘的需要。MapReduce是一种流行的并行计算模式,在并行数据挖掘领域已得到了广泛的应用。将传统频繁模式增量挖掘算法CanTree向MapReduce计算模型进行了迁移,实现了并行的频繁模式增量挖掘。实验结果表明,提出的算法实现了较好的负载均衡,执行效率有明显提升。     

分布式系统中关联规则挖掘研究

在分布式系统中如何挖掘关联规则是数据挖掘领域研究的一个重要课题。本文对关联规则分布式挖掘问题进行探讨，给出了关联规则分布式挖掘系统DAMINER的体系结构，提出了一种基于DAMINER的关联规则分布式挖掘算法ARDM。该算法具有通信代价小和时间开销少等优点。     

关联规则挖掘研究综述

关联规则挖掘是近年来数据挖掘研究中一个非常活跃的领域,给出了关联规则及相关术语的定义,对关联规则挖掘中的频繁模式、频繁闭模式及并行／分布式挖掘作了阐述,着重介绍了近几年来发表的一些新算法,并对未来的发展趋势进行了预测和展望。     

Decentralized Association Rule Mining on Web Using Rough Set Theory

A central part of many algorithms for mining association rules in large data sets is a procedure that is to find so called frequent itemsets. The frequent itemsets are very large due to transactions data increasing. This paper proposes a new approach to find frequent itemsets employing rough set theory that can extract association rules for each homogenou.s cluster of transaction data records and relationships between different clusters. This paper conducts an algorithm to reduce a large number of itemsets to find valid association rules.     

一种基于聚类分析与关联规则的联合挖掘算法

本文分析了基于关联规则的Apriori算法及其存在的缺陷,提出了一种将聚类分析和关联规则相结合的联合数据挖掘算法。在大项集数量相等时,联合挖掘算法明显优于Apriori算法。     

聚类后的关联规则快速更新算法研究*

关联规则和聚类分析是数据挖掘中重要的研究课题。通过对关联规则挖掘算法Apriori算法进行分析与研究,指出了其在实用中存在的两个主要问题。鉴于此,在分析聚类分析和关联规则两种挖掘算法的基础上,讨论了将这两种独立的挖掘方法集成起来的联合挖掘,使其可以有效地压缩数据规模。给出了聚类后的关联规则快速更新算法描述。实验结果表明,算法性能优良,提高了数据挖掘执行效率。     

Shared-nothing并行事务数据库系统中规则的挖掘与更新算法

关联规则是数据挖掘中的一个重要研究内容．本文提出了Shared—nothing并行事务数据库系统(简称SNPDBS)中一种快速的关联规则挖掘算法SNPMAR，并考虑当最小支持度发生变化后SNPDBS中关联规则的高效更新问题，提出了一种有效的关联规则更新算法SNPIUA．     

一种无冗余的Web日志挖掘算法

Web日志挖掘是Web数据挖掘的一个重要研究领域。Web日志挖掘通过发现Web日志中用户的访问规律和模式,可以提取出其中潜在的规律和信息,人们对这个领域的研究也日益重视。然而,传统的基于关联规则的Web日志挖掘算法都是基于所有关联规则的。这种方式往往挖掘产生大量的候选规则,而且存在大量冗余的规则。提出了一种新的无冗余的Web日志挖掘算法,该算法通过引入频繁闭项集合最小关联规则的概念,从而解决了以往基于所有关联规则挖掘算法中出现的上述问题。     

影响关联规则挖掘的有趣性因素的研究

关联规则挖掘是数据挖掘研究中的一个重要方面,而其中一个重要问题是对挖掘出的规则的感兴趣程度的评估。实际应用中可从数据源中挖掘出大量的规则,但这些规则中的大部分对用户来说是不一定感兴趣的。关联规则挖掘中的有趣性问题可从客观和主观两个方面对关联规则的兴趣度进行评测。利用模板将用户感兴趣的规则和不感兴趣的规则区分开,以此来完成关联规则有趣性的主观评测;在关联规则的置信度和支持度基础上对关联规则的有趣性的客观评测增加了约束。     

数据库中关联规则的并行挖掘算法

提出了数据库中挖掘关联规则的并行算法,探讨了相关的数据结构,并对算法进行了定性分析。该算法不仅适用于布尔型属性,而且也适用于非布尔型属性。     

基于云南气象数据的空间关联规则挖掘

空间关联规则挖掘可以深入发现现实世界大量空间谓词和非空间谓词之间的特定空间关系。论文结合气象数据的特点和已有传统关联规则挖掘算法的优点,针对云南气象数据提出了一种基于项目序列集的空间关联规则挖掘算法。通过严格的算法分析和具体实验表明,该算法是有效、可行的。     

一种基于MapReduce的频繁闭项集挖掘算法

频繁闭项集的挖掘是发现数据项之间关联规则的一种有效方式。当前以MapReduce模式为基础的云计算平台为解决海量数据中的关联规则挖掘问题提供新的解决思路。文中提出并实现一种基于Hadoop云计算平台的频繁闭项集的并行挖掘算法。该算法主要包括并行计数、构造全局频繁项表、并行挖掘局部频繁闭项集和并行筛选全局频繁闭项集四个步骤。在多个数据集上的实验表明,该方法能较大提高数据挖掘的效率,具有较好的加速比。