基于SQL的频繁模式挖掘的研究与实现

频繁模式挖掘是多种数据挖掘应用中的关键问题。以一种高效的频繁模式挖掘算法FP-gowth算法为例,利用关系数据库中的表来存储频繁模式村FP-tree,通过标准SQL语言硬Oracle数据库PL/SQL编程技术实现了这种基于SQL的频繁模式挖掘方法．并给出了该方法较为详细的实现步骤。     

基于最右扩展枚举的半结构化数据最大模式挖掘方法研究

本文以标记有序树作为半结构化数据的数据模型 ,研究了半结构化数据的树状最大频繁模式挖掘问题 .已有挖掘算法通常挖掘所有频繁模式 ,其中很多模式为其它模式的子模式 ,针对该问题 ,设计实现了一种最大模式挖掘算法 .该算法采用最右扩展枚举方法无重复枚举所有候选模式 ,利用频繁模式扩展森林实现高效剪枝扩展和挖掘频繁叶模式 ,通过计算频繁叶模式间的包含关系挖掘树状最大频繁模式 .试验结果表明该算法具有良好性能     

半结构化、层次数据的模式发现

Web数据资源及数据集成引发了半结构化数据问题,半结构化数据指其结构隐含或不规整的自描述数据。由于缺乏独立于数据的模式,有效地查询划浏览该类数据比较困难,半结构化数据的模式发现成为解决该问题的基础步骤。本文提出的算法能够快速有效地发现半结构化层次数据中的规整结构。它采用自顶向下的生成,结合有效的剪枝策略,从OEM模型表达的半结构化层次数据中构建模式树。     

基于Spark的并行频繁模式挖掘算法

在大数据环境下Apriori频繁模式挖掘算法在数据处理过程具有预先设定最小阈值、时间复杂度高等缺陷, 为此采用多阶段挖掘策略实现并行化频繁模式挖掘算法PTFP-Apriori。首先将预处理数据以模式树的形式存储,通过最为频繁的[k]个模式得到最优阈值。然后根据该值删除预期不能成长为频繁的模式以降低计算规模,并利用弹性分布式数据集RDD完成统计项集支持度计数、候选项集生成的工作。实验分析表明相比于传统的频繁模式挖掘算法,该算法具有更高的效率以及可扩展性。     

基于互关联后继树的频繁模式挖掘研究

关联规则挖掘是数据挖掘的一个重要的研究内容,而产生频繁模式集是关联规则挖掘的第1步工作。很多传统的频繁模式挖掘算法都需要产生候选模式集,因而效率很低。该文提出了一种不需要产生候选集,而直接构造频繁集的频繁模式挖掘算法——基于互关联后继树的频繁模式挖掘算法。实验证明,该算法具有较好的性能。     

半结构化数据的模式抽取

模式抽取在半结构化数据研究领域中具有重要意义。论文结合同类对象集和标签路径的概念,提出了一种从OEM模型中抽取模式的新方法。算法的基本思想是:在用OEM模型表示的半结构化数据中查找同类对象集,并通过构造模式表的方法来实现模式抽取。这种方法不但能从层次结构数据中抽取模式,而且还能从包含环路的OEM数据中进行模式抽取,克服了其它一些算法不能从带有环路的数据中进行模式抽取的缺点。     

半结构化数据的最小化模式发现

半结构化数据的模式抽取对于半结构化数据查询、优化及异构数据的集成具有重要的意义.结合标签路径及标签路径的目标集概念,提出了基于OEM(Object Exchange Model)模型的半结构化数据最小化模式抽取新方法,并给出了与标签路径目标集、支持度计算相关的两个定理.算法的基本思路:依据文中的两个定理,采用宽度优先自顶向下的遍历策略依次求出各标签路径的最后一个标签的目标集及支持度,标签支持度大的目标集优先映射为对应的模式节点.对同一半结构数据实例,算法抽取的模式与其他算法得到的模式相比规模小、算法执行时间短.算法适用于层次型及包含环路的OEM半结构化数据模式抽取.     

基于频繁模式树的频繁连通闭图集挖掘算法

随着频繁模式挖掘的深入研究,图模型被广泛地应用于为各种事务建模,因此图挖掘的研究显得越来越重要.文中针对唯一标识的有向连通图模型,基于频繁模式树结构,改进了频繁模式增长算法挖掘频繁连通闭合子图.使用生物代谢路径数据集的实验证明,这种算法能有效地挖掘出唯一标识的有向连通图集中的频繁闭图集,一次运算可以挖掘出多个阈值的最大频繁子图集.这种算法适用于以唯一标识的有向连通图建模的网络或图集,可以应用到基于图简化模型的生物网络的子图挖掘任务中.     

一种基于压缩前缀树的频繁模式挖掘算法

针对FP-growth算法存在动态维护复杂、在挖掘过程中需要递归地创建大量的条件频繁模式树,导致时空效率不高等不足,本算法在压缩前缀树的基础上,通过调整树中节点信息和节点链,采用深度优先的策略挖掘频繁模式,无需任何附加的数据结构,极大地减少了系统资源的消耗,减少树的规模和遍历次数,挖掘效率大大提高。     

基于半结构化数据的关联规则挖掘模式

针对关联规则挖掘应用所面临的困难,分析了XML语言的技术特点,提出了一种基于半结构化数据的关联规则挖掘模式。该模式充分利用了半结构化数据源的自描述性、开放性和可扩展性方面的优势。     

面向数据流的频繁模式挖掘研究*

数据流的无限性、高速性使得经典的频繁模式挖掘方法难以适用到数据流中。针对数据流的特点,对数据流中频繁模式挖掘问题进行了研究,提出了数据流频繁模式挖掘算法FP-SegCount。该算法将数据流分段并利用改进的FP-growth算法挖掘分段中的频繁项集,然后利用Count-Min Sketch进行项集计数。算法解决了压缩统计和计算快速高效的问题。通过实验分析,FP-SegCount算法是有效的。     

基于FS-tree的频繁模式挖掘算法

关联规则挖掘是数据挖掘中的一个重要研究方向,用于发现项集之间的关联性。FP-growth算法通过构造FP-tree产生频繁集,由于其不生成候选集从而大大降低了搜索开销,其缺点是占用大量的内存空间。基于FP-growth的算法思想,提出基于FS-tree（频繁1-项子树）的频繁模式挖掘算法,通过将FP-tree拆分为多棵FS-tree,使算法的空间复杂度明显减小。实验表明,该算法是有效的。     

基于Web日志的频繁偏爱路径挖掘算法

为了挖掘出更能如实反映Web用户兴趣偏好的使用模式,充分考虑了用户在页面的停留时间和点击次数两个因素,给出了频繁偏爱路径的定义,并提出了频繁偏爱路径的挖掘算法,该方法在求得最大向前路径的基础上,迭代产生更长的候选频繁偏爱路径,通过计算候选路径的频繁偏爱支持度来判断其是否为频繁偏爱路径.利用真实日志数据进行实验,实验结果表明,该算法具有较高的覆盖率和准确性.     

基于元学习的分布式挖掘频繁闭合模式算法研究*

利用元学习技术提出了一种分布式挖掘频繁闭合模式算法;为适应不同的分布式环境,还给出了该算法的一个变种;最后通过实验讨论了不同分布式下选取算法的策略。算法具有挖掘效率高、通信量少、可靠性高的特点,适合分布式挖掘。     

基于粒度计算的频繁闭项目集挖掘

针对现有频繁闭项目集挖掘算法存在的不足,提出了一种基于粒度计算的频繁闭项目集挖掘算法。通过混合进制数的变化来生成候选项目集,避免使用了复杂的数据结构,减少了内存和CPU的开销;利用粒度计算的分而治之思想来计算频繁闭项目集的支持度,避免了多次重复扫描数据库,减少了计算复杂度和I/O开销。实验结果表明该算法比经典的频繁闭项目集挖掘算法快速而有效。     

基于索引数组的频繁项集挖掘算法*

基于现有的关联规则挖掘算法,提出了一种通过循环迭代增加项为项集后缀的方式产生所有项集的新方法,构造了一种新的数据结构—索引数组,存储所发现的频繁1-项集及其相关信息,以便快速发现项集与事务之间的关系;并提出了一种基于索引数组的频繁项集挖掘新算法。该算法只需扫描数据库两次就能发现所有频繁项集。实验结果表明,该算法可以有效提高频繁项集的挖掘效率。     

一种高效的频繁模式挖掘算法

在分析研究具有代表性的关联知识挖掘算法的基础上,提出了挖掘频繁模式的一个新的数据库存储结构AFP-树,并在此结构上设计了一个频繁模式挖掘算法。理论研究已经阐明了AFP-树的有效性和相关算法的高效性。     

基于复合粒度计算的频繁模式挖掘研究

针对经典频繁模式挖掘算法存在的不足,提出了一种基于复合粒度计算的频繁模式挖掘算法。该算法借助复合粒度计算方法双向搜索频繁模式,即首先通过二进制的按位取反运算获得复合粒度内涵的像,然后构建复合粒度计算发现频繁模式;虽然该算法需要产生候选项,但它只需扫描一次数据库,减少了I/O开销;算法通过线性数组存储复合信息粒度减少内存使用。理论分析和实验比较表明,其效率优于经典的频繁模式挖掘算法,且内存利用率比较高。     

A Semi-Structured Document Model for Text Mining

A semi-structured document has more structured information compared to an ordinary document,and the relation among semi-structured documents can be fully utilized.In order to take advantage of the structure and link information in a semi-structured document for better mining,a structured link vector model (SLVM) is presented in this paper,where a vector represents a document,and vectors‘ elements are determined by terms,document structure and neighboring documents.Text mining based on SLVM is described in the procedure of K-means for briefness and clarity:calculating document similarity and calculating cluster center.The clustering based on SLVM performs significantly better than that based on a conventional vector space model in the experiments,and its F value increases from 0.65-0.73 to 0.82-0.86.