基于模式增长的不确定数据的频繁模式挖掘算法

为提高不确定数据频繁模式(FP)挖掘算法的时空效率,提出了基于最大概率的不确定频繁模式挖掘(UFPM-MP)算法。首先,利用事务项集中的最大概率值预估期望支持数;然后,使用该期望支持数与最小期望支持数阈值进行比较,以确定某一项集是否为候选频繁项集,并对候选项集建立子树以递归挖掘频繁模式。实验中,UFPM-MP算法与AT-Mine算法进行了对比,并在6个典型的数据集上进行实验验证。实验结果表明,UFPM-MP算法的时空效率得到了提高,稀疏数据集上提高约30%,稠密数据集上的效率提高更为明显(约3~4倍)。预估期望支持数的策略有效地减少了子树和头表项的数量,从而提高了算法的时空效率;且最小期望支持数越小,或需要挖掘的频繁模式越多的时候,算法的时间效率提高越多。     

MAXFP-M iner: 利用FP- tree 快速挖掘最大频繁项集

为提高频繁项集的挖掘效率，提出了最大频繁项集树的概念和基于FP-tree的最大频繁项集挖掘算法MAXFP-Miner，首先建立了FP-tree，在此基础上建立最大频繁项集树MAXFP-tree，MAXFP-tree中包含了所有最大频繁项集，缩小了搜索空间，提高了算法的效率，算法分析和实验表明，该算法特别适合于挖掘稠密型及具有长频繁项集的数据集。     

频繁项集挖掘的研究与进展

挖掘频繁项集是许多数据挖掘任务中的关键问题，也是关联规则挖掘算法的核心，所以提高频繁项集的生成效率一直是近几年数据挖掘领域研究的热点之一，研究人员从不同的角度对算法进行改进以提高算法的效率。该文从频繁项集生成过程中解空间的类型、搜索方法和剪枝策略、数据库的表示方法、数据压缩技术等几个方面对频繁项集挖掘的基本策略进行了研究，对完全频繁项集挖掘、频繁闭项集挖掘和最大频繁项集挖掘的典型算法特别是最新算法进行了介绍和评述，并分析了各种算法的性能特点，指出其适于哪种类型的数据集。最后，对频繁项集挖掘算法的发展方向进行了初步的探讨。     

基于磁盘存储1项集计数的增量FP＿GROWTH算法

随着数据集规模的不断增大,提高频繁项集的挖掘效率成为数据挖掘领域的研究重点。频繁项集的增量更新挖掘算法因其可以利用已挖掘发现的信息提高对新数据集的挖掘效率,成为重要的研究方向。但现有频繁项集增量更新算法大多基于APRIORI算法框架,性能提高有限。最近出现的建立在FP‐T REE等树形结构上的增量更新算法又往往存在树形结构调整困难、已发现频繁项集及树形结构保存效率较低等问题,算法性能有待进一步地提高。对此,通过分析增量挖掘过程中的关键信息,提出了一种基于磁盘存储1项集计数的增量FP＿GROWTH算法（IU＿FPGROWTH＿1COUNTING）。该算法无需保存临时树形结构及临时挖掘结果,可以在原数据集及支持度均发生变化时,减少FP＿GROWT H算法对数据集的扫描,提高频繁项集的挖掘效率。在生成以及真实数据集上进行了验证实验以及性能分析,结果表明IU＿FPGROWTH＿1COUNTING是一种有效的频繁项集增量更新挖掘算法。     

基于文本的关联规则提取方法的研究

随着人们利用信息技术生产和搜集数据的能力的提高,数据资料的规模急速膨胀,从庞大的数据中提取有用的知识和信息是数据挖掘的主要任务,而关联规则的挖掘足数据挖掘领域中的一个重要分支.Fp-gmwth算法是目前最有效的关联规则频繁模式挖掘算法之一,然而,由于在挖掘的过程中需要递归的生成频繁模式树,直接把Fp-growth算法应用在文本中的算法效率并不高.针对文本数据的稀疏性,提出了一个基于频繁模式树即Fp-tree和支持度矩阵相结合的最大频繁项目集挖掘算法,缩小了搜索空间,提高了算法的效率.算法分析和实验表明,算法对稀疏型数据集和稠密型数据均适用.     

最大频繁项目集的快速更新

挖掘最大频繁项目集是多种数据挖掘应用中的关键问题．为克服基于Apriori的最大频繁项目集挖掘算法存在的不足，DMFIA采用FP-tree存储结构及自顶向下的搜索策略，有效地提高了最大频繁项目集的挖掘效率．但对于频繁项目多而最大频繁项目集维数相对较小的情况，DMFIA要经过多层搜索且在每一层产生大量的候选项目集，因而影响算法的执行效率．为此，该文提出了DMFIA的改进算法IDMFIA(the Improved algorithm of DMFIA)．IDMFIA采用自顶向下和自底向上双向搜索策略，可尽早修剪掉较短最大频繁项目集的超集和较长最大频繁项目集的子集．另外，该文还提出最大频繁项目集更新算法FUMFIA(Fast Updating Maximum Frequent Itemsets Algorithm)，该算法充分利用已建立的FP-tree和已挖掘的最大频繁项目集，可对已挖掘的最大频繁项目集进行高效维护．实验结果表明，IDMFIA和FUMFIA可有效提高最大频繁项目集的挖掘和更新效率．     

一种分布式全局频繁闭项目集快速挖掘更新算法

在数据挖掘研究中,频繁闭项目集挖掘成为重要的研究方向.目前已有的频繁闭项目集挖掘算法主要针对单机环境,有关分布式环境下的全局频繁闭项目集挖掘算法的研究尚不多见.针对无共享体系结构数据水平分布的情况,提出了一种分布式快速挖掘全局频繁闭项目集增量式更新算法,算法通过对各节点候选频繁项目集进行预处理,有效地降低网络通信量,提高全局频繁闭项目集挖掘算法的效率,该算法充分利用前次挖掘结果来发现新的全局频繁闭项目集,具有较高的效率.理论分析和实验结果表明算法是有效的.     

一种高效的最大频繁项集挖掘算法DFMFI-Miner

分析最大频繁项集和完全频繁项集的关系，提出了一个挖掘最大频繁项集的高效算法DFMFI—Miner（The Miner Basedon Depth—First Searching for Mining Maximal Frequent Itemsets），采用深度优先方法搜索项集空间，采用垂直位图及一定的压缩方法对表示事务数据库并进行约简，并采用多种有效剪枝策略和优化策略，提高了算法的效率。在多个数据集上进行了实验，实验结果表明该算法特别适于挖掘具有长频繁项集的数据集。     

快速挖掘频繁项目集算法

频繁项目集挖掘是数据挖掘领域最重要的基本问题之一,在分析已有算法的基础上,提出了一种能够快速挖掘频繁项目集的算法,对频繁项目集挖掘的搜索空间以及数据表示进行了优化,缩小搜索空间和数据表示的规模,减少计算项目集支持数的时间,提高算法的执行效率,实验结果表明,该算法在性能上优于FP-Growth算法.     

最大频繁项目集挖掘技术研究与展望

提高最大频繁项目集挖掘算法的效率是关联规则挖掘研究一个重点领域.本文主要对影响最大频繁项目集挖掘效率的数据分布、搜索策略、支持度计算及剪枝策略等技术进行了研究,并对已提出的最大频繁项目集挖掘算法进行了分析.     

采用映射哈希表的频繁模式挖掘方法

大多数对频繁模式挖掘算法的研究都着眼于逻辑层面算法过程的改进,而对数据在计算机内存中的物理存储方式的探索相对较少。以FP-Tree存储结构和FP-Growth算法为基础,提出了FP-Tree头表的顺序存储方式,并在此基础上,利用基于频繁项ID映射的哈希表对FP-Tree的存储方式进行了改进,提出了与之相对应的频繁模式挖掘算法。实验结果表明该算法是快速和有效的。     

有效的不确定数据概率频繁项集挖掘算法

针对已有概率频繁项集挖掘算法采用模式增长的方式构建树时产生大量树节点,导致内存空间占用较大以及发现概率频繁项集效率低等问题,提出了改进的不确定数据频繁模式增长(PUFP-Growth)算法。该算法通过逐条读取不确定事务数据库中数据,构造类似频繁模式树(FP-Tree)的紧凑树结构,同时更新项头表中保存所有尾节点相同项集的期望值的动态数组。当所有事务数据插入到改进的不确定数据频繁模式树(PUFP-Tree)中以后,通过遍历数组得到所有的概率频繁项集。最后通过实验结果和理论分析表明:PUFP-Growth算法可以有效地发现概率频繁项集;与不确定数据频繁模式增长(UF-Growth)算法和压缩的不确定频繁模式挖掘(CUFP-Mine)算法相比,提出的PUFP-Growth算法能够提高不确定数据概率频繁项集挖掘的效率,并且减少了内存空间的使用。     

频繁闭项目集挖掘算法研究

目前已提出了许多基于Apriori算法思想的频繁项目集挖掘算法,这些算法可以有效地挖掘出事务数据库中的短频繁项目集,但对于长频繁项目集的挖掘而言,其性能将明显下降.为此,提出了一种频繁闭项目集挖掘算法MFCIA,该算法可以有效地挖掘出事务数据库中所有的频繁项目集,并对其更新问题进行了研究,提出了一种相应的频繁闭项目集增量式更新算法UMFCIA,该算法将充分利用先前的挖掘结果来节省发现新的频繁闭项目集的时间开销.实验结果表明算法MFCIA是有效可行的.     

数据流中基于事务链表组的频繁闭项集挖掘

挖掘频繁项集是挖掘数据流的基本任务.许多近似算法能够对数据流进行频繁项集的挖掘,但不能有效控制内存资源消耗和挖掘运行时间.为了提高数据流挖掘的效率,通过挖掘数据流中的频繁闭项集来减少挖掘结果项集的数量,并借鉴Relim算法和Manku算法,引入事务链表组作为概要数据结构,提出了一种新的数据流频繁闭项集的挖掘算法.最后通过实验,证明了该算法的有效性.     

基于FC—tree的频繁闭项目集挖掘算法

目前提出的频繁项目集挖掘算法大多基于Apriori算法思想,但这类算法会产生巨大的候选集并且重复扫描数据库.本文针对这一问题,给出了一种基于FC-tree的频繁闭项目集挖掘算法Max-FCIA,该算法将频繁项目集存储在哈希表中,节省了程序的搜索时间.此外,利用广度优先搜索和有效的剪枝策略,大大限制了候选项目集的生成,缩小了搜索空间从而提高了程序的性能.实验结果表明该算法是快速有效的.     

数据流中基于矩阵的频繁项集挖掘

挖掘频繁项集是挖掘数据流的基本任务。许多近似算法能够有效地对数据流进行频繁项挖掘,但不能有效地控制内存资源消耗和挖掘运行时间。为了提高数据流频繁项集挖掘的时空效率,通过引入矩阵作为概要数据结构,提出了一种新的数据流频繁项集挖掘算法。最后通过实验证明了该算法的有效性。     

ESPM--频繁子树挖掘算法

随着互联网的发展,频繁模式的挖掘由频繁项集扩展到结构化数据：树和图．在这些结构上的挖掘工作被应用于更为复杂的领域,比如生物信息学、网络日志和XML文档．提出了一个新颖的算法：ESPM,以挖掘有序标号树中的频繁子树．不同于以往的工作,把树同构的判断工作放到了算法的晚期,从而减少了整个挖掘过程的时间开销．人工数据集和真实数据集上的实验都证明ESPM相较于其他算法的优越性．还提出了一些可能的改进．     

基于AC算法的比特流频繁序列挖掘

为解决比特流频繁序列挖掘效率不高以及易受用户数据影响而导致准确率低的问题,首先从理论上论证了短频繁序列挖掘存在的局限性,根据不同长度的频繁序列挖掘时存在的特点,将其分为长频繁序列与短频繁序列,提出比特流协议头部字段定位算法;基于AC多模式匹配算法分别针对长、短频繁序列挖掘的不同特点,提出了相应的挖掘方法,提高了挖掘结果的准确性。最后通过实验验证了所提算法的有效性。     

一种改进的基于FP-树的最大目标频繁项集挖掘算法

目前,基于FP-树的最大频繁项集挖掘算法存在的一个问题是FP-树的规模过大,遍历树需耗费大量的运行时间,并且挖掘出来的很多频繁项集是用户不感兴趣的,过多的无用频繁 模式影响了挖掘的效率。本文提出一种排序紧缩非冗余的STFP-树,以及基于STFP-树的最大目标频繁项集挖掘算法STFP-MAX。该算法在满足用户需求的基础上有效地缩小了FP--树的规模,又加快了搜索的速度,从而提高了挖掘的效率。     

快速更新频繁项集

发现频繁项集是数据挖掘应用中的关键问题，发现过程的高花费要求对增量数据挖掘算法进行深入研究，首先分析并指出了增量式更新频繁项集算法的技术难点－寻找新的有效频繁项集，其次提出了一种快速的增量式更新频繁项集算法FUFIA，最后对该算法进行了分析和讨论。