An Adaptive Algorithm for Mining Association Rules on Shared-Memory Parallel Machines

Mining association rules from large databases is very costly. We propose to develop parallel algorithms for this task on shared-memory multiprocessor (SMP). All proposed parallel algorithms for other paradigms follow the conventional level-wise approach: they need as many iterations as the length of the maximum large itemset. To make matter worse, they impose a synchronization in every iteration which would cause serious I/O contention on shared-memory parallel system. An adaptive asynchronous parallel mining algorithm APM has been proposed for SMP. All processors generate candidates dynamically and count itemset supports independently without synchronization. Two optimization techniques have been proposed for the reduction of database scanning and the number of candidates. The algorithm APM has been implemented on a Sun Enterprise 4000 shared-memory multiprocessor with 12 nodes. The experiments show that the optimizations have very good effects and APM has a substantial lead in performance over other proposed level-wise algorithms.     

并行关联规则挖掘综述

关联规则发现作为数据挖掘的重要研究内容,在许多实际领域内得到了广泛的应用。因为在挖掘过程中涉及到大量的数据和计算,高性能计算成为大规模数据挖掘应用的一个重要组成部分。该文介绍了当前并行关联规则挖掘方面的研究进展,对一些典型算法进行了分析和评价,从并行度、负载平衡以及和数据库的集成等方面展望了并行关联规则挖掘的研究方向。     

挖掘关联规则的并行算法

从大型数据库中挖掘关联规则是数据挖掘中一个重要的课题 .从挖掘要求的时间和空间上看 ,传统的顺序算法已很难适应于现实中不断增大的数据库规模 .而研究和发展高性能、可扩展的并行算法对解决这一问题就显得十分必要 .本文介绍了挖掘关联规则一些主要的并行算法 ,并对它们进行了一定分析 ,指出了发展并行算法要考虑的一些问题 .     

基于关联规则的数据挖掘技术的快速算法

提出了一种改进的Apriori算法的数据挖掘模式,探讨了对其中的生成候选频繁项目集、生成强关联规则等几个关健步骤运用标准SQL语言的算法实现。     

对演变数据进行关联规则挖掘的新方法

针对已有经常性周期关联规则在演变数据和周期长度方面的局限性,文章提出一种新的方法,从而可以对演变数据进行经常性长周期关联规则的挖掘,这种方法针对演变数据的动态环境,通过对数据块的动态聚类得到周期分段,然后在每一分段内利用低支持度关联规则挖掘算法来发现周期较长的关联规则,整个算法可以在GEMM算法的基础上进行动态模式保持。     

基于关联规则的数据挖掘研究

关联规则挖掘可以发现大量数据中项集之间相关联系的知识,这些重要信息是关于这些数据的整体特征描述以及对其发展趋势的预测,对决策的制定有着重要的参考价值。主要介绍了数据挖掘和关联规则挖掘的概念,并对数据挖掘经典算法Apriori的进行了分析与改进,算法的改进可以有效地减少对数据库的扫描次数,使挖掘的效率更好更快。     

一个改进的并行关联规则算法研究

在研究关联规则挖掘算法的基础上,对并行关联规则算法进行了比较全面的分析,并给出了并行数据挖掘的计算框架。提出了一个以计算服务器为中心节点的并行挖掘算法,可以发挥各局部节点的优势,无需各局部节点进行通信,减少了各局部节点的通信负荷。通过理论分析和实验数据验证,该算法具有较好的可扩展性和海量处理能力,特别是在节点数目较多的情况下更显示出优势。     

关联规则在空间数据挖掘中的研究

在智能化、集成化的空间数据应用领域中,空间数据挖掘是一门很重要的技术,而关联规则分析是空间数据挖掘的主要方法之一。文章基于数据挖掘中的关联规则分析方法,提出不同于一般数据挖掘的算法,设定兴趣度量,并通过将项的概念泛化为空间谓词,事务的概念泛化为邻域,关联规则的概念泛化为同位规则,发现多种形式的有效规则,并用逻辑语言或类SQL语言方式描述规则,以使空间数据挖掘趋于规范化和工程化。最后进行了实评。     

关联规则的并行挖掘算法研究

给出了并行挖掘关联规则的形式化描述和并行挖掘的模型.在研究基于Aprior算法的各种并行实现如CD、DD、IDD和HD算法后,针对这些算法扩展性差以及负载不平衡的缺点,提出了在IDD和HD算法上使用Sidle调度策略,有效地解决了IDD和HD算法中非常重要的候选项目集在各个处理器节点之间的划分问题,尽可能使得各个节点负载平衡,从而提高算法的效率.     

运用模糊集挖掘数量属性数据的关联规则

绝大多数关联规则的挖掘方法基于布尔属性数据,但在现实应用中会经常需要对数量属性的数据进行关联挖掘。该文就提出一种算法,在经典Apriori后选集算法的基础上引入了模糊逻辑集合的概念,将数据集中的数量属性按照模糊集合定义进行划分从而将原始事务数据转化成基于模糊集的数据,然后再运用Apriori算法发现潜在的关联规则。     

数据挖掘及其一种关联规则算法

文章主要论述了数据挖掘的概念、过程及应用前景,此外还重点介绍了数据挖掘中常用的一种算法-关联规则算法.     

关于关联规则算法中规则遗失问题的研究

针对Apriori算法及ML-T2算法在应用时会造成规则遗失的问题,文章对关联规则进行了研究,并提供了可行的解决方案。其一为不改变原算法从顶到底的思想,充分利用预先设置的minSup值,通过在高层上预存可能会在底层上构成候选大项集的项集来保证有用规则的完全提取;其二则采用从底到顶的思想,运用不产生候选大项集方法,并把它扩展到由底层到顶层的各层建立各自的FP树,这样也不会造成有用规则的丢失。     

基于数据立方体的关联规则挖掘及其实现

联机分析处理和数据挖掘是两种重要的数据分析方法。使用数据立方体作为数据存储结构,将两者集成起来,使得用户可以从不同角度、不同抽象层次分析数据。针对数据立方体的特点,本文提出了挖掘维间关联规则的算法,并编程实现了该算法,取得满意的结果。     

关联规则挖掘的基本算法

介绍了加权模糊关联规则挖掘算法的基本思想及实现步骤,并给出挖掘算法的多种策略。在此基础上,分析了加权模糊关联规则与模糊关联规则、布尔型属性加权关联规则、布尔型属性关联规则之间的内在联系,并指出加权模糊关联规则挖掘算法是一种最基本的关联规则挖掘算法,蕴涵了其它3种关联规则挖掘算法。     

基于关联规则数据挖掘技术在数据仓库中的应用

介绍了关联规则的基本概念,以及关联规则的种类和核心算法。详细说明了多层关联规则的主要内容,结合实际数据在数据仓库和数据挖掘中的处理过程,讨论了关联规则在科学数据库系统中的应用。最后介绍了多维关联规则挖掘技术的基本概念和关键问题的处理方法。     

分布式关联规则挖掘中的聚类分区算法

在分布式关联规则挖掘中,首先需要解决分布式环境下的聚类分区问题。该文基于CURE的工作原理,提出了D-CURE算法。实验证明,D-CURE算法可以很好地解决在分布式环境下的聚类分区问题。     

关联规则的多支持度挖掘在销售数据中的应用

介绍了一种关联规则的多支持度挖掘算法,并将该算法改进后用于超市销售数据的智能挖掘系统中,取得了成功的应用。     

基于SAS／EM的图书借阅数据关联规则数据挖掘

以SAS数据挖掘系统EM模块中的Association节点为关联规则数据挖掘平台,对经过数据预处理的读者借阅数据进行关联规则数据挖掘,揭示数据间的关联关系,用来指导图书馆图书借阅工作和采购工作。     

基于关联规则的数据挖掘算法研究

首先介绍了关联规则的基本概念,然后详细地介绍了Apriori算法,同时也指出了Apriori算法的一些不足。针对这些不足提出了解决方法,描述了几种优化算法。最后对关联规则研究范围进行了拓展。     

Multipass Algorithms for Mining Association Rules in Text Databases

In this paper, we propose two new algorithms for mining association rules between words in text databases. The characteristics of text databases are quite different from those of retail transaction databases, and existing mining algorithms cannot handle text databases efficiently because of the large number of itemsets (i.e., words) that need to be counted. Two well-known mining algorithms, Apriori algorithm and Direct Hashing and Pruning (DHP) algorithm, are evaluated in the context of mining text databases, and are compared with the new proposed algorithms named Multipass-Apriori (M-Apriori) and Multipass-DHP (M-DHP). It has been shown that the proposed algorithms have better performance for large text databases. Received 12 November 1999 / Revised 27 September 2000 / Accepted in revised form 25 October 2000