正相关频繁项集的挖掘算法

由频繁项集产生的关联规则往往不能保证规则前、后件中的项是正相关的,因此可能产生无意义的关联规则;当这些关联规则用于分类时,会产生大量无用分类规则,增加了时间开销.因此,基于数学期望提出了正相关的频繁项集的分类算法.该算法在挖掘正相关频繁项集时,利用置信度进行规则选取,生成正相关关联规则组成的分类器对数据集进行分类.实验表明,这种分类算法可以大幅度减少所产生的频繁项集数量,分类准确率达到C4.5和CMAR的水平,且显著减少了算法的时间.     

基于项集分解的快速挖掘最大频繁项集算法

对Apriori算法的分析,提出采用分解事务数据库中最长的项集,使用前缀划分的表示方法,从而快速地归纳出事务数据库中的最大频繁项集.     

一种有效的负频繁项集挖掘方法

目前负关联规则研究的主要形式是左右两边项集全正或者全负,如(a1a2)■┐(b1b2)、┐(a1a2)#(b1b2),但有时形如a1┐a2■b1┐b2的负关联规则能够提供更多的决策信息,然而要挖掘这样的负关联规则需要先挖掘形如a1┐a2■b1┐b2的负频繁项集。为此,本文提出了一个有效的方法来挖掘这样的负频繁项集。该方法包含一个有效的负候选项集生成算法,和仅利用正频繁项集有关信息来计算负候选项集支持度的方法,而不用再次扫描数据库。实验表明了提出方法的有效性。     

基于加权频繁项集的文本分类规则挖掘

针对特征向量分量的权重和文本大小对分类规则产生的影响,提出一种可以提高关联文本分类性能的文本分类规则挖掘方法,提出了加权频繁项集的概念和相应的加权频繁项集挖掘算法,在分类规则中突出特征向量权重大的向量分量;提出一种特征向量预处理方法,消除文本大小对挖掘分类规则的影响.实验表明,解决上述两个问题将可以很好的提高文本分类的性能.     

多支持度在非频繁项集挖掘中的研究

关联规则是当前数据挖掘研究最重要的分支之一,目前的关联规则多是在频繁项集的基础上进行挖掘,而没有挖掘非频繁项集的算法。本文在多支持度算法的基础上,提出了一种新的算法模型,在挖掘频繁项集的同时还能够对非频繁项集进行挖掘。     

一种面向数据流的频繁项集挖掘算法

与传统静态数据库中的数据不同,数据流是一个按时间到达的有序的项集,这使得经典的频繁项集挖掘算法难以适用到数据流中．根据数据流的特点,提出了数据流频繁项集挖掘算法FP—SegCount．该算法将数据流分段并利用改进的FP—growth算法挖掘分段中的频繁项集．然后,利用Count Min Sketch进行项集计数．算法解决了压缩统计和计算快速高效的问题．通过和FP—Ds算法的实验对比,FP—SegCount算法具有较好的时间效率．     

关于Top-N最频繁项集挖掘的研究

最频繁项集挖掘决定了文本关联规则挖掘算法的性能,是文本关联规则挖掘中研究的重点和难点。该文分析了当前最频繁项集挖掘方面的不足,改进了传统的倒排表,结合最小支持度阈值动态调整策略,提出了一个新的基于改进的倒排表和集合理论的Top-N最频繁项集挖掘算法。同样,给出了几个命题和推论,并把它们用于该文算法以提高性能,实验结果表明,所提算法的规则有效率和时间性能优于NApriori算法和IntvMatrix算法。     

由频繁项集生成关联规则的算法设计和实现

关联规则挖掘是数据挖掘的一个重要研究方向。关联规则挖掘分为两个阶段:发现频繁项集和由频繁项集产生关联规则。介绍由频繁项集产生关联规则的算法设计,并用VC 6.0实现,程序运行能满足要求。     

关联规则挖掘中最大频繁集的双向查找算法

在事务数据库中挖掘关联规则已成为数据挖掘领域的一个重要研究课题,而其中频繁项集的查找时间是影响挖掘效率的关键因素。基于Apriori算法,根据最大频繁集的双向查找算法,提出了算法的实现步骤,让两个方向的剪枝工作实现信息共享,加快最大频繁集的查找速度,节省I/O操作时间,并且通过实例和仿真实验验证了算法的高效性。     

大数据环境下频繁项集挖掘的研究

多种频繁项集挖掘(FIM)方法组合用来对大数据进行挖掘会暴露很多问题。针对暴露的问题,在MapReduce平台上对两种频繁项集挖掘算法进行了研究。采用两种新的大数据集挖掘方法:Dist-Eclat和BigFIM,前者侧重于速度,利用基于k-FIs的简易负荷平衡方案来解决问题。而后者通过先验变体对k-FIs进行挖掘后将找出的频繁项集分配给映射程序,通过优化后在真正大的数据集上运行。最后通过实验证明该方法时间复杂度较低,数据量越大优势将越明显,扩展效果越好。     

基于随机相遇的频繁项集挖掘方法

频繁项集挖掘是关联规则挖掘的重要内容,而现有的频繁项集挖掘算法在数据库扫描和复杂数据结构构建方面消耗过多的时间,效率较低。为克服现有频繁项集挖掘算法的不足,提出了基于随机相遇的频繁项集挖掘算法。在随机相遇过程中,不断从原始事务集中随机挑选两条事务,将其交集作为新事务集中的元素,通过计算新事务集中最小支持度与原事务集中最小支持度的关系,将在原事务集上的频繁项集挖掘转化为在新事务集上的频繁项集挖掘,算法的时间复杂度和空间复杂度大大降低。由于随机样本蕴含原始数据集的主要统计特性,新事务集具有原事务集的统计特性,通过调整参数,算法在新事物集上挖掘结果的准确度可以得到保证。并利用一个零售超市的交易数据对该算法的有效性进行了测试。测试结果表明,该算法能将挖掘速度提升数十倍,同时挖掘结果的准确度和其它算法相差不大。     

基于概念格的频繁闭项集增量挖掘算法研究

近年的研究表明，概念格可以应用于解决频繁闭项集的挖掘问题．针对已有渐进式概念格构造算法中存在的问题，提出了一种基于概念格的频繁闭项集增量挖掘新算法——FIPT-I算法．新算法利用模式树对概念格进行组织，并利用模式树压缩数据库中的事务，在渐进式构造概念格的同时实现了事务的批处理，减少了概念格的调整操作时间．实验结果表明，与其他同类算法相比，FIPT-I算法对于增量挖掘频繁闭项集来说具有更高的效率．     

垂直分布下的隐私保护频繁闭合项集挖掘算法

针对垂直分布下的隐私保护关联规则挖掘算法效率低、安全性不高的问题,提出一种隐私保护频繁闭合项集的挖掘算法。算法利用挖掘频繁闭合项集代替频繁项集,IT-Tree作为搜索空间,Diffsets作为压缩结构,采用基于RSA可交换加密算法的隐私保护集合差集协议。实验结果表明,算法具有较好的隐私性、准确性、高效性。     

TRISCAN-IA:一种间接关联挖掘的快速算法

间接关联是数据挖掘领域中一种数据项之间的关联关系,为了有效地应用于市场营销、智能数据分析、web日志分析等领域,给出了一个基于频繁项目对支持矩阵直接生成频繁项目对之间候选间接关联的挖掘算法(TRISCAN-IA)。该算法只需要3次扫描数据集即可找出所有的间接关联,从而提高了算法的运行效率、在一个web log的真实数据集上进行了试验,与现有算法的比较表明,该算法具有更好的性能。     

增量式频繁闭合序列挖掘算法

在许多场合挖掘频繁闭合序列时,输入串数据库呈现实时动态增长的特点.分析Bide算法,给出并证明了闭合序列前缀中任意一个项目的后向扩展事件（BEE）项目交集随前缀的生长单调不增的定理,据此对BEE累计操作进行了优化,使其性能平均提高了48%.定义了闭合序列树作为频繁闭合序列的表示形式,并阐述了它的3个性质.分析发现,当新增输入串不同时包含前缀串和频繁项目时,两次连续挖掘的结果是相同的,给出了相应的定理和证明,据此实现了增量式频繁闭合序列挖掘算法BideInc.实验验证了BideInc算法的正确性,使用该算法后挖掘性能平均提高了47%.     

一种新的频繁集的挖掘算法

频繁集的挖掘问题是数据挖掘的关键问题，本文提出了一种基于频繁树的挖掘频繁集的新方法，该算法从频繁项开始搜索、筛选产生符合要求的频繁结点，构成频繁树，通过有效的筛选方法和独特的构成策略，大大的减少了候选集的数量。也方便产生支持度更高的频繁集。     

NIA2： A fast indirect association mining algorithm

Indirect association is a high level relationship between items and frequent item sets in data. There are many potential applications for indirect associations, such as database marketing, intelligent data analysis, web -log analysis, recommended system, etc. Existing indirect association mining algorithms are mostly based on the notion of post - processing of discovery of frequent item sets. In the mining process, all frequent item sets need to be generated first, and then they are fihered and joined to form indirect associations. We have presented an indirect association mining algorithm （NIA） based on anti -monotonicity of indirect associations whereas k candidate indirect associations can be generated directly from k - 1 candidate indirect associations, without all frequent item sets generated. We also use the frequent itempair support matrix to reduce the time and memory space needed by the algorithm. In this paper, a novel algorithm （NIA2） is introduced based on the generation of indirect association patterns between itempairs through one item mediator sets from frequent itempair support matrix. A notion of mediator set support threshold is also presented. NIA2 mines indirect association patterns directly from the dataset, without generating all frequent item sets. The frequent itempair support matrix and the notion of using tm as the support threshold for mediator sets can significantly reduce the cost of joint operations and the search process compared with existing algorithms. Results of experiments on a real - word web log dataset have proved NIA2 one order of magnitude faster than existing algorithms.     

一种基于FP-Growth的改进算法

关联规则挖掘由于表达形式简洁、易于解释和理解已成为数据挖掘中的研究热点,对关联规则的研究具有重要的理论价值和现实意义。文章分析频繁项集挖掘算法FP—growth算法,针对算法中存在的效率瓶颈问题,提出了一个改进的挖掘算法。改进后的算法通过投影统计的方法直接得到频繁1-项集的条件模式基,从而减少了FP-growth算法中构造FP—tree和搜索的开销。通过分析,说明改进的算法具有良好的性能。     

一种最大频繁项集的增量更新算法

提出了一种基于最小支持度变化的挖掘最大频繁项集的增量式更新算法MFIU(Maximum Frequent Itemsets Updating).针对最大频繁项集更新时的特性,分别对最小支持度变大和变小提出了两种不同的处理方法,对于最小支持度变大的复杂情况,采取了分块的更新策略,并为减少不必要的候选项集,利用了如果X是一个最大频繁项集,则其所有子集都是频繁项集,但都不可能是最大频繁项集,而进行了独特的剪枝方法.最后通过实例分析了该算法.     

基于动态裁剪频繁模式树的频繁项集并发挖掘算法

为解决FP(frequent pattern)-growth算法中构造频繁模式树(FP-树)所带来的存储和遍历开销较大的问题,提出了一种基于动态裁剪FP-树的频繁项集并发算法Dynamic prune。一方面,通过记录FP 树构造过程中频繁项目计数的变化,实现了FP 树的动态剪枝;另一方面,使用并发策略达到了边构造FP-树,边挖掘频繁项集的效果。与FP growth算法相比,Dynamic-prune无需先构造整棵FP-树再挖掘频繁项集,节省了FP-树的存储开销。实验结果表明Dynamic-prune在运行效率和可扩展性上均优于FP growth算法。