一种有效的负频繁项集挖掘方法

目前负关联规则研究的主要形式是左右两边项集全正或者全负,如(a1a2)■┐(b1b2)、┐(a1a2)#(b1b2),但有时形如a1┐a2■b1┐b2的负关联规则能够提供更多的决策信息,然而要挖掘这样的负关联规则需要先挖掘形如a1┐a2■b1┐b2的负频繁项集。为此,本文提出了一个有效的方法来挖掘这样的负频繁项集。该方法包含一个有效的负候选项集生成算法,和仅利用正频繁项集有关信息来计算负候选项集支持度的方法,而不用再次扫描数据库。实验表明了提出方法的有效性。     

一种面向数据流的频繁项集挖掘算法

与传统静态数据库中的数据不同,数据流是一个按时间到达的有序的项集,这使得经典的频繁项集挖掘算法难以适用到数据流中．根据数据流的特点,提出了数据流频繁项集挖掘算法FP—SegCount．该算法将数据流分段并利用改进的FP—growth算法挖掘分段中的频繁项集．然后,利用Count Min Sketch进行项集计数．算法解决了压缩统计和计算快速高效的问题．通过和FP—Ds算法的实验对比,FP—SegCount算法具有较好的时间效率．     

大数据环境下频繁项集挖掘的研究

多种频繁项集挖掘(FIM)方法组合用来对大数据进行挖掘会暴露很多问题。针对暴露的问题,在MapReduce平台上对两种频繁项集挖掘算法进行了研究。采用两种新的大数据集挖掘方法:Dist-Eclat和BigFIM,前者侧重于速度,利用基于k-FIs的简易负荷平衡方案来解决问题。而后者通过先验变体对k-FIs进行挖掘后将找出的频繁项集分配给映射程序,通过优化后在真正大的数据集上运行。最后通过实验证明该方法时间复杂度较低,数据量越大优势将越明显,扩展效果越好。     

基于数据流的top-k频繁项集挖掘

对数据流进行频繁项集挖掘具有重要意义.然而传统的办法是由用户设定合适的支持度阈值,这在数据流环境中非常困难.更实际的办法是由用户设置一个参数k,输出最频繁的K个项集.讨论了数据流的top-k频繁项集的挖掘,给出了相关定义,分析了挖掘中的相关技术和性质,提出了一个数据流top-K频繁项集挖掘算法LIONET,并分析了算法的优越性.     

频繁项集快速挖掘算法研究

为了进一步提高频繁项集挖掘算法的可扩展性,对频繁项集的搜索空间以及FP-tree的操作方法进行了研究.提出了通过FP-tree的操作实现频繁项集快速挖掘的相关性质和新的搜索策略,在此基础上提出了基于FP-tree的频繁项集挖掘的改进算法.算法运用递增构建候选项集模式树的策略缩小搜索空间,运用FP-tree的部分遍历操作简化搜索过程.在多个标准测试数据集上的实验结果表明,该算法的执行时间比同类算法减少了一个数量级,且占用较少的内存空间,因此该算法对于提高频繁项集和频繁闭项集的挖掘效率具有明显的效果.     

一种基于倒排索引的频繁项集挖掘方法

针对频繁项集挖掘算法中多次扫描数据库、生成大量无效频繁项集的问题,提出一种基于倒排索引和二维数组的挖掘算法。通过一次扫描数据库建立包含事务的倒排索引,解决多次扫描数据库的问题。在二维数组存储候选频繁项集时,引入标志位约束,避免产生大量无效的频繁项集。与其他算法在不同规模的数据集上进行性能比较,发现算法在数据集超过25万时执行效率优于其他算法。通过实验验证了所提出算法的高效性和可行性。     

一种最大频繁项集的增量更新算法

提出了一种基于最小支持度变化的挖掘最大频繁项集的增量式更新算法MFIU(Maximum Frequent Itemsets Updating).针对最大频繁项集更新时的特性,分别对最小支持度变大和变小提出了两种不同的处理方法,对于最小支持度变大的复杂情况,采取了分块的更新策略,并为减少不必要的候选项集,利用了如果X是一个最大频繁项集,则其所有子集都是频繁项集,但都不可能是最大频繁项集,而进行了独特的剪枝方法.最后通过实例分析了该算法.     

多支持度在非频繁项集挖掘中的研究

关联规则是当前数据挖掘研究最重要的分支之一,目前的关联规则多是在频繁项集的基础上进行挖掘,而没有挖掘非频繁项集的算法。本文在多支持度算法的基础上,提出了一种新的算法模型,在挖掘频繁项集的同时还能够对非频繁项集进行挖掘。     

基于动态裁剪频繁模式树的频繁项集并发挖掘算法

为解决FP(frequent pattern)-growth算法中构造频繁模式树(FP-树)所带来的存储和遍历开销较大的问题,提出了一种基于动态裁剪FP-树的频繁项集并发算法Dynamic prune。一方面,通过记录FP 树构造过程中频繁项目计数的变化,实现了FP 树的动态剪枝;另一方面,使用并发策略达到了边构造FP-树,边挖掘频繁项集的效果。与FP growth算法相比,Dynamic-prune无需先构造整棵FP-树再挖掘频繁项集,节省了FP-树的存储开销。实验结果表明Dynamic-prune在运行效率和可扩展性上均优于FP growth算法。     

关于Top-N最频繁项集挖掘的研究

最频繁项集挖掘决定了文本关联规则挖掘算法的性能,是文本关联规则挖掘中研究的重点和难点。该文分析了当前最频繁项集挖掘方面的不足,改进了传统的倒排表,结合最小支持度阈值动态调整策略,提出了一个新的基于改进的倒排表和集合理论的Top-N最频繁项集挖掘算法。同样,给出了几个命题和推论,并把它们用于该文算法以提高性能,实验结果表明,所提算法的规则有效率和时间性能优于NApriori算法和IntvMatrix算法。     

基于概念格的频繁闭项集增量挖掘算法研究

近年的研究表明，概念格可以应用于解决频繁闭项集的挖掘问题．针对已有渐进式概念格构造算法中存在的问题，提出了一种基于概念格的频繁闭项集增量挖掘新算法——FIPT-I算法．新算法利用模式树对概念格进行组织，并利用模式树压缩数据库中的事务，在渐进式构造概念格的同时实现了事务的批处理，减少了概念格的调整操作时间．实验结果表明，与其他同类算法相比，FIPT-I算法对于增量挖掘频繁闭项集来说具有更高的效率．     

一种新的频繁集的挖掘算法

频繁集的挖掘问题是数据挖掘的关键问题，本文提出了一种基于频繁树的挖掘频繁集的新方法，该算法从频繁项开始搜索、筛选产生符合要求的频繁结点，构成频繁树，通过有效的筛选方法和独特的构成策略，大大的减少了候选集的数量。也方便产生支持度更高的频繁集。     

一种基于频繁模式有向无环图的数据流频繁模式挖掘算法

频繁模式挖掘中基于FP-growth的算法需要扫描两次事务数据库,预先给定支持度,且不支持时间敏感型数据。本文提出了一种基于频繁模式有向无环图的数据流频繁模式挖掘算法,它根据事务到来的时间给每个事务一个序号,每个事务中的数据项在存储前按数据项的顺序进行调整,频繁模式有向无环图的构建遵循这个顺序并用序号来记录事务与数据项的包含关系,模式增长过程只需要增加有向边上的序号。通过逆向遍历带有相同序号的有向边,产生条件模式基,根据动态定义的阈值抽取条件模式基信息,一次扫描数据库得到频繁模式。实验结果表明,本文算法的执行效率优于FP-growth算法,且存储节点的数目明显减少。     

增量式频繁闭合序列挖掘算法

在许多场合挖掘频繁闭合序列时,输入串数据库呈现实时动态增长的特点.分析Bide算法,给出并证明了闭合序列前缀中任意一个项目的后向扩展事件（BEE）项目交集随前缀的生长单调不增的定理,据此对BEE累计操作进行了优化,使其性能平均提高了48%.定义了闭合序列树作为频繁闭合序列的表示形式,并阐述了它的3个性质.分析发现,当新增输入串不同时包含前缀串和频繁项目时,两次连续挖掘的结果是相同的,给出了相应的定理和证明,据此实现了增量式频繁闭合序列挖掘算法BideInc.实验验证了BideInc算法的正确性,使用该算法后挖掘性能平均提高了47%.     

基于数据流频繁模式挖掘的入侵检测模型

计算机网络入侵通常具有高频度特性,因此,识别是否正常访问,对数据流中重复元素的挖掘,给出频度指标,是一种重要的依据。提出一种基于数据流频繁模式的改进型AFP算法,该算法采用滑动窗口树技术,单遍扫描数据流及时捕获网络上的最新模式信息,并将该算法应用在入侵检测模型中正常数据和异常数据的在线挖掘。解决了有限存储和无限数据流的矛盾。实验结果表明,该模型有较高的报警率和较低的误报率。     

基于启发式链搜索的频繁子电路提取算法

针对数字集成电路规律性提取时由根节点选择产生的组合爆炸问题,提出了一种通过提取链状频繁子电路来降低根节点的算法。建立了顺序相关边权值模型,实现了小规模链状频繁子电路的快速提取。利用门级电路中链状模板与其他形状模板的结构依赖性,逐级删除非频繁根节点,避免了对小规模频繁子电路的重复提取,提高了规则性提取的效率。实验结果表明,该算法能够有效解决根节点组合爆炸问题,使支持度高的候选子电路得到优先提取,并显著减少了规律性提取的时间。     

基于相关集合的事务数据库挖掘

基于相关集合事务数据库这一挖掘思想,提出一个新的方法——寻找最大频繁集。并通过理论与事例分析了这一方法的可行性和正确性。