多数据库中全局负关联规则挖掘研究

全局负关联规则挖掘是多数据库关联信息挖掘的重要研究内容,具有广泛的应用范围和使用价值.合并各子数据库的负关联规则是现有全局负关联规则挖掘常用的方法,但数据密度大、规则不全面及运算时间高等问题影响了已有全局负关联规则挖掘方法的效率.本文给出一种新的全局负关联规则挖掘算法,其具体步骤为:(1)扫描各子数据库,建立多数据库频繁模式树;(2)依据频繁项集全局一致性原则,对多数据库频繁模式树执行精简操作;(3)在此基础上产生全局极小非频繁项集;(4)依据极大频繁项集向上闭包原则,产生全局非频繁项集;(5)在规则相关度的基础上提取全局负关联规则.大量的对比实验结果表明,本文算法具有快速发现全局负关联规则的能力.     

一种基于多核微机的闭频繁项集挖掘算法

随着数据量的增长,如何快速有效发现频繁项集已成为挖掘关联规则的核心问题,而并行计算和闭频繁项集分别是一种处理大量数据直接有效的方法和频繁项集的无失真信息最小集合。分析一些经典闭频繁项集算法和并行关联规则算法及其不足,提出一种基于多核微机的并行闭频繁项集挖掘算法,提高了闭频繁项集挖掘的效率。     

基于片上多核的频繁项集并行挖掘算法

关联规则挖掘中最主要的工作是如何高效地挖掘频繁项集。目前在单机平台上,由于计算量大等原因,大数据集上的关联规则挖掘很难得到理想结果。在分析现有频繁项集挖掘算法的基础上,结合Eclat和dEclat挖掘算法优点,针对大数据集和片上多核共享内存计算环境,提出一种高效的并行频繁项集挖掘算法PEclat,算法实现了任务级并行挖掘频繁项集,并在大数据集上进行了多项测试。实验结果表明,无论数据稠密程度如何,该算法均能取得较好的性能。     

模式矩阵的FP-DMMFI并行算法在教师科研素养挖掘中的应用

本文为了获取高校教师在科研素养方面与各影响因子的内在关联,在分析Apriori和FP_growth算法的基础上,提出了一种模式矩阵的并行频繁项集挖掘算法(FP-DMMFI算法)。该算法通过映射方式,将频繁项集压缩到模式矩阵中,利用矩阵挖掘频繁信息,从而发现隐藏的、有意义的关联规则信息。并通过实际例子对该算法进行了验证。     

一种基于事务规则树的高效关联规则挖掘算法

提出了基于事务规则树改进的关联规则快速挖掘算法--FG算法.该算法不需要查找频繁项集,可直接求出所有无冗余的关联规则;将FG算法与其他算法进行实验比较,结果表明,FG算法在效率上优于其他算法,是有效的、可行的关联规则挖掘算法.     

基于传感器网络的关联规则挖掘算法研究

现有的传感器网络数据处理系统只能向用户提供简单的查询操作,如何高效地处理传感器网络的海量数据流,从中获取有用的知识成为新的挑战.提出一种基于传感器网络特性的分布式关联规则挖掘算法,采用树型通信结构,各个传感器通过改进的单一数据流频繁项集挖掘算法找出本地的局部频繁项集,并逐层上传、合并,最后由sink节点将所有子节点的局部频繁项集合并成全局的频繁项集,并产生相应的关联规则.实验证明该算法占用较少的计算时间和内存.     

分布式环境下约束性关联规则的快速挖掘

研究人员针对单机环境提出了约束性关联规则的挖掘算法,但它们不适用于分布式环境.为此本文讨论分布式环境下约束性关联规则的快速挖掘技术,提出一种基于分布式环境的约束性关联规则快速挖掘算法DCAR,其中包括局部约束性频繁项目集挖掘算法MLFC和全局约束性频繁项目集挖掘算法MGFC.该算法根据布尔约束条件产生向导集,采用一种新的候选项集生成函数Reorder-gen,该函数通过向导集高效地产生分布式环境中满足约束条件的、数量较少且完备的候选项集,并且求解全局约束性频繁项集过程中,传送局部候选项集支持数的通信量为O(n),从而提高了算法的挖掘效率.将本文提出的算法加以实现,实验结果表明DCAR算法高效可行,其效率大约是DMA-IC算法的2-3倍.     

基于数据库划分的关联规则算法

关联规则是数据挖掘的一个重要研究方向.分析了FP算法的优缺点,提出了一种基于数据库划分的算法PFp算法,从理论上证明了该算法的正确性.该方法将事务数据库划分为子事务数据库,在子事务数据库中挖掘局部频繁项集,并入到全局频繁项集中,采用连接和剪枝策略有效挖掘出局部不频繁但全局频繁的频繁项集.实验结果表明,该算法比FP算法更加有效.     

基于充分挖掘增量事务的关联规则更新算法

目前已提出了许多快速的关联规则增量更新挖掘算法,但是它们在处理对新增事务敏感的问题时,往往会丢失一些重要规则。为此,文章提出了一种新的挖掘增量更新后的数据库中频繁项集的算法EUFIA（ Entirety Update Frequent Itemsets Algorithm）,该算法先对新增事务数据分区,然后快速扫描各分区,能全面有效地挖掘出其中的频繁项集,且不丢失重要规则。同时,最多只扫描1次原数据库也能获得更新后事务数据库的全局频繁项集。研究表明,该算法具有很好的可测量性。     

基于抽样的分布式约束性关联规则挖掘算法研究

本文采用抽样的方法，在基于约束的Eclat类算法（例如Eclat A和Eclat M）的基础上，提出了一种分布式约束性关联规则的挖掘算法——DMCASE算法。本算法在各数据站点上对一个较小的样本采用基于约束的Eclat类算法，挖掘局部约束频繁项集，采用归纳学习的方法归并所有局部约束频繁项集，产生全局约束频繁项集。只需1次扫描数据库，挖掘效率较高。实验证明：该算法是一种十分有效的解决基于约束条件下的分布式关联规则挖掘算法。