首页 | 本学科首页   官方微博 | 高级检索  
相似文献
 共查询到20条相似文献,搜索用时 78 毫秒
1.
一种高效的混合压缩数据挖掘算法*   总被引:1,自引:0,他引:1       下载免费PDF全文
针对基于垂直数据格式的关联规则挖掘算法在频繁项集查找过程中,需要在内存中保存大量的事务标志列表,有限的内存容量将成为此类算法的最大瓶颈,提出了一种新的混合压缩算法—HC-DM算法。实验结果表明,将HC-DM算法与dEclat算法相结合,再加上排序步骤,可以显著减少频繁项集挖掘过程中的内存使用量。  相似文献   

2.
提出知识发现中的可继承性问题,通过对知识发现过程和挖掘算法形式化描述和分析,抽象出各个阶段的形式联系及其约束条件,在此基础上提出初等知识的概念.在引入初等知识后,对传统的挖掘算法、增量式挖掘算法、可继承性挖掘算法进行形式化描述和比较,得出如下结论:可继承性挖掘算法能够有效的提高数据集变化、参数变化情况下的数据挖掘效率.  相似文献   

3.
序列模式图及其构造算法   总被引:11,自引:0,他引:11  
序列模式挖掘是数据挖掘的一个重要分支。在序列事务及有关信息处理中有着广泛的应用,目前已有许多序列模式模型及相应的挖掘算法,该文在对序列模式挖掘问题及挖掘算法进行分析的基础上。定义了一种称为序列模式图的序列模式框架。用于表示序列模式挖掘过程发现的所有序列模式,序列模式图是由离散状态的序列集到统一的图结构的桥梁,可以将序列模式挖掘结果统一到序列模式图中来,基于序列模式图进行研究可发现某些结构化的新知识,称之为后序列模式挖掘,文中还给出了序列模式图的有关性质及构造算法。  相似文献   

4.
一种基于Web日志文件的信息挖掘方法   总被引:19,自引:1,他引:19  
数据预处理和日志挖掘算法是Web日志挖掘中的关键技术。文中根据Web访问模式的用户特征,提出了一种基于Web日志文件的信息挖掘系统的体系结构。在此基础上,分析了其数据挖掘过程和信息挖掘算法。  相似文献   

5.
传统的频繁项集挖掘方法具有一定的局限性。Apriori算法需要重复扫描输入数据,导致很高的I/O负载,算法性能不高;Fp-growth算法需要在内存中建立Fp-tree并根据Fp-tree挖掘频繁项集,导致算法受到计算机的内存限制。在大数据时代,由于挖掘数据规模十分巨大,更加凸显这些传统算法的局限性。对此,一方面改进传统的频繁项集挖掘算法,另一方面基于Spark框架实现分布式频繁项集挖掘算法(FIMBS)。实验结果表明,该算法相比基于MapReduce框架的关联规则算法具有显著的优势。  相似文献   

6.
一种挖掘带否定关联规则的算法   总被引:4,自引:0,他引:4       下载免费PDF全文
关联规则挖掘算法的研究主要集中在提高Aptiori算法的效率上,而对带否定项关联规则的研究比较少。本文分析了目前带否定关联规则的两种基本算法,并在这两种基本算法的基础上进行改进。提出了一种新的挖掘算法。这种算法减少了在数据库中进行扫描计数的候选集个数,对于提高挖掘带否定关联规则的效率有一定的意义。  相似文献   

7.
林耀进  王晨曦 《福建电脑》2008,(1):74-74,103
该文从Web结构挖掘角度出发,利用概率论分析了Web结构挖掘的PageRank算法,得出挖掘结果,最后介绍Dijkstra算法在其挖掘结果的应用。  相似文献   

8.
布尔型关联规则挖掘算法研究   总被引:4,自引:0,他引:4  
高俊  何守才 《计算机工程》2006,32(1):116-118,141
在分析FP_growth关联规则挖掘算法的基础上,提出了一种MFP的算法,给出了算法的工作原理。MFP算法能在一次扫描事务数据库过程中,把该数据库转换成MFP树,然后对MFP树进行关联规则挖掘。MFP算法比FP_growth算法减少一次对事务数据的扫描,因此具有较高的时间效率。  相似文献   

9.
栾东庆  徐素琴 《微机发展》2003,13(8):83-86,89
多维序列模式挖掘是在序列模式挖掘的基础上发展起来的,文章阐述了有关概念,介绍了两种序列模式挖掘算法:GSP算法和PrefixSpan算法,在对两类算法进行比较分析的基础上形成了挖掘多维序列模式的UniSeq算法、Dim-Seq算法和Seq-Dim算法。针对不同维度的模式,各种算法特点不同。  相似文献   

10.
流程挖掘能够根据流程的执行日志重构出流程模型,有助于实现业务流程的优化和智能管理。首先,指出目前流程挖掘技术需要解决的关键问题。然后,介绍几种具有代表性的流程挖掘算法,并指出每种算法解决的问题和存在的不足。接着,从日志完整性、控制流结构、噪声处理和模型质量控制等方面对流程挖掘算法进行分析和比较。最后,指出流程挖掘技术未来的研究方向。  相似文献   

11.
冯洁  陶宏才 《微计算机信息》2007,23(18):164-166
关联规则的发现是数据挖掘的一个重要方面,产生频繁项集是其中一个关键步骤。提出了一种基于十字链表快速挖掘频繁项集的算法,该算法只需扫描一次数据库,充分利用已有信息产生频繁项集,无需存储候选项集。通过与其它一些算法比较,说明该算法有更好的性能。  相似文献   

12.
关联规则挖掘算法中的Apriori算法利用查找频繁项集来发现数据集中的关联规则,算法思路简单容易实现;但在由k-1次频繁项集生成k次频繁项集时需反复查找数据库,效率较低,在寻找高次频繁项集时其低效性更加明显;矩阵算法是通过直接查找高次频繁项集,避免了反复查找数据库,但要存储大量的非频繁项集,且查找低次频繁项集速度较慢。文中提出的矩阵等价类算法,利用等价关系进一步降低矩阵算法的时间空间复杂度,然后通过项目相似度直接求取所有最大频繁项集。实验结果证明了算法的可行性、高效性。  相似文献   

13.
研究挖掘关联规则的一个重要工作就是找出所有的频繁项集。基于FP—tree的最大频繁项集挖掘算法要多次生成大量的FP—tree,并且需要对其多次遍历,消耗了大量的时间。针对以上缺点,提出一种基于FP—tree并利用数组和矩阵技术进行优化的最大频繁项集挖掘算法(Mining Maximal Frequent Itemset。简称MMFI),它既减少创建FP—tree的数量,又节省遍历FP—tree的时间,实验证明本算法是有效的。  相似文献   

14.
由于能反映用户的偏好,可以弥补传统频繁项集挖掘仅由支持度来衡量项集重要性的不足,高效用项集正在成为当前数据挖掘研究的热点。为使高效用项集挖掘更好地适应数据规模不断增大的实际需求,提出了一种高效用项集的并行挖掘算法PHUI-Mine。提出了记录挖掘高效用项集信息的DHUI-树结构,描述了DHUI-树的构造方法,论证了DHUI-树的动态剪枝策略。在此基础上,给出了高效用项集挖掘的并行算法描述。实验结果表明,PHUI-Mine算法具有较高的挖掘效率及较低的存储开销。  相似文献   

15.
滑动窗口中数据流频繁项集挖掘方法   总被引:2,自引:0,他引:2       下载免费PDF全文
根据数据流的流动性与连续性,提出了一种滑动窗口中频繁项集挖掘算法NSW,满足了人们快速获取最近到达数据中频繁项集的需求。该算法采用二进制矩阵表示滑动窗口中的事务列表,通过直接删除最老事务、不产生候选项集等方法控制时间和空间的开销。实验表明,该算法具有较好的时间和空间效率。  相似文献   

16.
一种新的动态频繁项集挖掘方法   总被引:1,自引:0,他引:1       下载免费PDF全文
频繁项集挖掘是关联规则挖掘的重要步骤。在数据动态变化的环境下进行关联规则挖掘具有重要的现实意义。提出一种动态频繁项集挖掘算法,该算法建立在前一阶段挖掘的基础上,能避免过多地扫描数据库而影响挖掘性能,在最后生成全局频繁项集时,不需要全程扫描数据库,根据之前挖掘结果有选择地扫描相关的事务子集。实验表明,该算法挖掘性能远远优于Apriori算法,能有效地实现在数据动态变化环境下的挖掘频繁项集。  相似文献   

17.
基于向量和矩阵的挖掘关联规则的高效算法   总被引:8,自引:0,他引:8  
挖掘关联规则是数据挖掘中一个重要的课题,产生频繁项目集是其中的一个关键步骤。文章提出了一种基于向量和矩阵的挖掘算法AVM,并将该算法与两种经典的发现频繁项目集的算法进行了比较。该算法只需要对数据库扫描一遍,并且存放辅助信息所需要的空间也少。实验表明与原先的算法相比,该算法的效率较好。  相似文献   

18.
Apriori算法是关联规则挖掘中最经典的算法之一,其核心问题是频繁项集的获取。针对经典Apriori算法存在的需多次遍历事务数据库及需产生候选项集等问题,首先通过转换存储结构、消除候选集产生过程等方法对Apriori算法进行优化,同时,随着大数据时代的到来,数据量与日俱增,传统算法面临巨大挑战,因此,又将优化的Apriori与Spark相结合,充分利用Spark的内存计算、弹性分布式数据集等优势,提出了IABS(Improved Apriori algorithm based on Spark)。通过与已有的同类算法进行比较,IABS的数据可扩展性和节点可扩展性得以验证,并且在多种数据集上平均获得了23.88%的性能提升,尤其随着数据量的增长,性能提升更加明显。  相似文献   

19.
基于幂集的关联规则挖掘算法研究   总被引:13,自引:2,他引:13  
首次提出了利用幂集作为挖掘关联规则的工具,给出了基于幂集的关联规则挖掘算法。该算法有效解决了传统算法中需对数据库多次扫描的不足,实现了对数据库一次扫描就可挖掘出所有频繁集的功能。  相似文献   

20.
增量式频繁项集挖掘是当前研究的热点,基于FP-Growth的Pre-FUFP算法有效处理了频繁模式的更新,但需递归遍历FP-tree,导致效率较低。提出Pre-FIUT算法,引入频繁超度量树结构,提高了获得频繁项集挖掘效率;基于FIUT的Pre-FIUT可通过查看频繁超度量树叶子结点的支持度确定频繁项集,并与次频繁项集概念相结合进行增量式频繁项集挖掘。实验表明,Pre-FIUT算法能快速扫描和更新数据,合理利用内存,精确获得频繁项集。  相似文献   

设为首页 | 免责声明 | 关于勤云 | 加入收藏

Copyright©北京勤云科技发展有限公司  京ICP备09084417号