一种高效的多维关联规则挖掘算法研究

对经典关联规则挖掘算法进行深入研究的基础上，结合数据立方体的结构特点和OLAP技术，给出了一种高效的多维关联规则挖掘算法，并对不同数据立方体下的算法的性能进行了分析比较。     

在线教学中影响学习者学习效果的因素分析与实证研究

在教育信息化、全球化的大环境下,如MOOC、可汗学院、高校精品课程等在线教育平台应运而生,这些平台每年都会产生海量的学习活动和教学管理数据,如何有效地利用这些数据提升学生的学习效率已经成为在线教育面临的挑战之一。目前,对在线学习过程中影响学习效果的因素,研究者持有不同的态度。本文利用某高校在线教育平台数据,探索与验证在线教学过程中影响学习者学习效率的相关因素。首先对目前在线教育情况与分析技术进行说明,再结合统计与关联规则挖掘算法的特点,将数据预处理后,通过统计与Apriori关联分析算法进行分析,并将结果可视化呈现。分析发现,教师批阅作业所给出的平均成绩与教师批阅的作业量负相关;学生完成在线作业普遍具有“延迟性”;学习效果与登录次数、在线时间和在线讨论次数正相关。最后通过分析结果,给出在线学习过程中提高学生学习效果的建议。     

Batch incremental processing for FP-tree construction using FP-Growth algorithm

In the present scenario of global economy and World Wide Web, large sets of evolving and distributed data can be handled efficiently by incremental data mining. Frequent patterns are very important in knowledge discovery and data mining process, such as mining of association rules, correlations. FP-tree is a very versatile data structure used for mining of frequent patterns in knowledge discovery and data mining process. FP-tree is a compact representation of transaction database that contains frequency information of all relevant frequent patterns (FP) of the database. All of the existing incremental frequent pattern mining algorithms, such as AFPIM, CATS, CanTree, CP-tree, and SPO-tree, perform incremental mining by processing one transaction of the incremental part of database at a time and updating it to the FP-tree of initial (original) database. Here, in this paper, we propose a novel method that takes advantage of FP-tree representation of incremental transaction database for incremental mining. We propose a batch incremental processing algorithm BIT_FPGrowth that restructures and merges two small consecutive duration FP-trees to obtain a FP-tree of the FP-Growth algorithm. Our BIT_FPGrowth uses FP-tree as preprocessed data repository to get transactions (i.e., item-sets), unlike other sequential incremental algorithms that read transactions from database. BIT_FPGrowth algorithm takes less time for constructing FP-tree. Our experimental results show that, as the size of the database increases, increase in runtime of BIT_FPGrowth is much less and is least of all the other algorithms.     

一种基于时间窗口的数据预处理算法

提出了一个基于时间窗口的数据预处理算法．面向具体应用,根据已有知识,此算法可以智能化地滤去一些“噪声”数据．与一般的定义不同．本文所谓的“噪声”数据是指那些由一些已知的规则决定性地影响着的数据,研究显示它们会对进一步的数据挖掘形成极大干扰．实际测试结果表明,本算法能够改善一些已有数据挖掘算法的执行效果．     

加权增量关联规则挖掘在通信告警预测中的应用

针对通信网络告警预测中预测精度不高、模型训练效率较低等缺陷,提出告警权值确定方法和基于自然序树（Can-tree）的加权增量关联规则挖掘的通信网络告警预测方案。首先,对告警数据进行预处理,确定告警数据权值并压缩到Can-tree结构中;其次,应用增量关联规则挖掘算法对Can-tree进行挖掘,生成告警关联规则;最后,使用模式匹配的方法对实时告警信息进行预测,并对结果进行优化整理。实验结果表明,基于Can-tree的加权增量关联规则挖掘算法是高效的,利用前次挖掘的结果和信息提高了挖掘的效率,网络告警数据的权值分配方案能够合理地区分告警数据的重要程度,有助于将重要程度高的告警关联规则挖掘出来,并加快过时告警关联规则的淘汰,提高预测的准确度和精度。     

MARSW:一种高效的基于滑动窗口数据流关联规则挖掘方法

数据流中的关联规则在预测和在线分析系统中有重要应用.现有的研究大多集中在事务数据模型上,鲜有对数据项之间的关联规则挖掘.由于数据的实时性特点,用户又往往对新产生的数据所包含的信息更感兴趣.为了实时而准确地挖掘最近一段时间内数据项间的关联规则,提出了MARSW(mining association rules on sliding window)算法,利用滑动窗口模型对数据流进行关联规则挖掘.MARSW算法在给定的误差范围内,能够有效去除历史数据的影响,并以有限的空间代价快速挖掘大量数据间存在的关联规则.大量仿真实验结果表明,MARSW算法具有较高的效率和优良的可扩展性.     

基于垂直数据分布的大型稠密数据库快速关联规则挖掘算法

为进一步解决对大型事务数据库进行关联规则挖掘时产生的CPU时间开销大和I/O操作频繁的问题,给出了一种基于垂直数据分布的改进关联规则挖掘算法,称为VARMLDb算法。该算法首先有效地把数据库分为内存可以满足要求的若干划分,然后结合有向无环图和垂直数据形式diffse、差集来存储和计算频繁项集,极大地减少了存储中间结果所需的内存大小,解决了传统垂直数据挖掘算法对稠密数据库挖掘效率低下的问题,使该算法可有效地适用于大型稠密数据库的关联规则挖掘。整个算法吸取CARMA算法的优势,只需扫描两次数据库便可完成挖掘过程。实验结果表明该算法是正确的,在大型稠密数据库中,VARMLDb算法具有较高的执行效率。     

原关联规则及其应用

在大型数据库项目之间发现关联规则是一个重要的数据挖掘问题,而挖掘出的关联规则数目常常是巨大的。文中介绍了简单关联规则和原关联规则的概念,而传统算法挖掘出的关联规则集中的任何规则,均可以由原关联规则导出,并且原关联规则的数目远远小于传统算法挖掘出的关联规则数目。对简单关联规则和原关联规则进行了分析比较,给出了挖掘原关联规则算法,并举例说明算法的执行过程。     

基于MapReduce计算模型的并行关联规则挖掘算法研究综述

关联规则挖掘是最常用、最重要的数据挖掘任务之一,经典的关联规则挖掘算法有Apriori、FP-Growth、Eclat等。随着数据的爆炸式增长,传统的算法已不能适应大数据挖掘的需要,需要分布式、并行的关联规则挖掘算法来解决上述问题。MapReduce是一种流行的分布式并行计算模型,因其使用简单、伸缩性好、自动负载均衡和自动容错等优点,得到了广泛的应用。本文对已有的基于MapReduce计算模型的并行关联规则挖掘算法进行了分类和综述,对其各自的优缺点和适用范围进行了总结,并对下一步的研究进行了展望。     

Flexible online association rule mining based on multidimensional pattern relations

Most incremental mining and online mining algorithms concentrate on finding association rules or patterns consistent with entire current sets of data. Users cannot easily obtain results from only interesting portion of data. This may prevent the usage of mining from online decision support for multidimensional data. To provide ad-hoc, query-driven, and online mining support, we first propose a relation called the multidimensional pattern relation to structurally and systematically store context and mining information for later analysis. Each tuple in the relation comes from an inserted dataset in the database. We then develop an online mining approach called three-phase online association rule mining (TOARM) based on this proposed multidimensional pattern relation to support online generation of association rules under multidimensional considerations. The TOARM approach consists of three phases during which final sets of patterns satisfying various mining requests are found. It first selects and integrates related mining information in the multidimensional pattern relation, and then if necessary, re-processes itemsets without sufficient information against the underlying datasets. Some implementation considerations for the algorithm are also stated in detail. Experiments on homogeneous and heterogeneous datasets were made and the results show the effectiveness of the proposed approach.     

A GA-based Fuzzy Mining Approach to Achieve a Trade-off Between Number of Rules and Suitability of Membership Functions

Data mining is most commonly used in attempts to induce association rules from transaction data. Transactions in real-world applications, however, usually consist of quantitative values. This paper thus proposes a fuzzy data-mining algorithm for extracting both association rules and membership functions from quantitative transactions. We present a GA-based framework for finding membership functions suitable for mining problems and then use the final best set of membership functions to mine fuzzy association rules. The fitness of each chromosome is evaluated by the number of large 1-itemsets generated from part of the previously proposed fuzzy mining algorithm and by the suitability of the membership functions. Experimental results also show the effectiveness of the framework.     

一种有效的关联规则增量式更新算法

关联规则是数据挖掘中的一个重要研究内容。目前已经提出了许多用于高效地发现大规模数据库中的关联规则的算法,而对已发现规则的更新及维护问题的研究却较少。文章提出了基于频繁模式树的关联规则增量式更新算法,以处理事务数据库中增加了新的事务数据集后相应关联规则的更新问题,并对其性能进行了分析。     

一种实用的关联规则增量式更新算法

关联规则是数据挖掘中的一个重要研究内容。目前已经提出了许多用于高效地发现大规模数据库中的关联规则的算法,而对已发现规则的更新及维护问题的研究却较少。该文提出了一种实用的关联规则增量式更新算法,以处理事务数据库中增加了新的事务数据集后相应的关联规则的更新问题,并对其性能进行了分析。     

基于磁盘表存储FP-TREE的关联规则挖掘算法

随着现实待挖掘数据库规模不断增长,系统可使用的内存成为用FP-GROWTH算法进行关联规则挖掘的瓶颈.为了摆脱内存的束缚,对大规模数据库中的数据进行关联规则挖掘,基于磁盘的关联规则挖掘成为重要的研究方向.对此,改进原始的FP-TREE数据结构,提出了一种新颖的基于磁盘表的DTRFP-GROWTH(disk table resident FP-TREE growth)算法.该算法利用磁盘表存储FP-TREE,降低内存使用,在传统FP-GROWTH算法占用过多内存、挖掘工作无法进行时,以独特的磁盘表存储FP-TREE技术,减少内存使用,能够继续完成挖掘工作,适合空间性能优先的场合.不仅如此,该算法还将关联规则挖掘和关系型数据库整合,克服了基于文件系统相关算法效率较低、开发难度较大等问题.在真实数据集上进行了验证实验以及性能分析.实验结果表明,在内存空间有限的情况下,DTRFP-GROWTH算法是一种有效的基于磁盘的关联规则挖掘算法.     

关系数据库中的模糊关联规则挖掘算法研究

关联是数据挖掘领域的一个重要研究课题。对模糊关联规则挖掘进行了研究,针对普通关联规则不能精确表达数据库中模糊信息关联性的问题,提出了一种新的模糊关联规则挖掘算法FARM_New,结果表明算法是有效的,提高了模糊挖掘的速度。     

挖掘空间拓扑关联的有效算法

在基于空间事务的横向关联规则挖掘中,为了能够在海量数据中有效地提取空间拓扑关联规则,提出一种挖掘空间拓扑关联的有效算法,其适合挖掘多层横向空间关联规则.该算法用二进制数存储空间拓扑关系,使空间事务和数字建立对应关系,用数字递增的方法产生候选频繁项.在计算支持数时,算法在用逻辑运算的同时还利用数字特性减少扫描的空间事务数,大大地提高了效率.实验结果表明,在提取多层空间拓扑关联规则时,其比现有的算法更快速更有效.     

一种基于Apriori的动态关联规则挖掘方法

文章介绍了一种动态关联规则的挖掘方法，该方法的核心思想是仅使用更新的事务和前面阶段的挖掘结果，用Apriori类算法作为局部过程来产生频集，并给出了具体的动态挖掘算法。     

散货船代数据聚类分析

针对数据挖掘技术在散货船代数据中的应用,通过聚类规则分析航线繁忙度和航线价值.首先预处理原始散货船代数据并提取符合挖掘目标的数据:再通过改进的k-means算法挖掘预处理后的数据;最后对挖掘结果进行分析,为船代企业的资源分配及策略制定提供参考.     

一种交替搜索空间拓扑关联的挖掘算法

针对现有挖掘算法不能有效提取空间拓扑关联的问题,提出一种交替搜索空间拓扑关联的挖掘算法,适合在海量空间数据中挖掘空间拓扑关联规则。该算法从候选数字区间的两端,用数字递增和递减2种方式产生候选频繁项,实现交替搜索空间拓扑关联规则。在计算支持数时用数字特征减少被扫描的事务数,达到提高挖掘效率的目的。实验结果表明,在空间数据中挖掘空间拓扑关联规则时,该算法比现有算法更快速、有效。     

Fast algorithms for online generation of profile association rules

The results discussed in this paper are relevant to a large database consisting of consumer profile information together with behavioral (transaction) patterns. We introduce the concept of profile association rules, which discusses the problem of relating consumer buying behavior to profile information. The problem of online mining of profile association rules in this large database is discussed. We show how to use multidimensional indexing structures in order to actually perform the mining. The use of multidimensional indexing structures to perform profile mining provides considerable advantages in terms of the ability to perform very generic range-based online queries.