共查询到20条相似文献,搜索用时 93 毫秒
1.
孙志强 《计算机技术与发展》2006,16(12):233-236
数据挖掘可以利用各种分析工具从海量数据中发现模型和数据间的关系并做出预测。为了解决入侵检测在不降低精度的同时提高检测速度的问题,提高算法的效率,将FP—Growth算法应用于入侵检测系统中,提出对FP—Growth算法改进FP—tree的头表结构并引入关键属性来挖掘原始审计数据中的频繁模式,实验结果表明改进后的算法比传统的关联算法在入侵检测中的应用效果更好。可以看出,将FP—Growth算法应用于入侵检测中是可行的。 相似文献
2.
数据挖掘可以利用各种分析工具从海量数据中发现模型和数据间的关系并做出预测。为了解决入侵检测在不降低精度的同时提高检测速度的问题,提高算法的效率,将FP-Growth算法应用于入侵检测系统中,提出对FP-Growth算法改进FP-tree的头表结构并引入关键属性来挖掘原始审计数据中的频繁模式,实验结果表明改进后的算法比传统的关联算法在入侵检测中的应用效果更好。可以看出,将FP-Growth算法应用于入侵检测中是可行的。 相似文献
3.
Apriori和FP-Growth算法是频繁模式挖掘中的经典算法,由于Apriori存在更多缺陷,因此FP-Growth是单机计算环境下比较高效的算法。然而,对于非并行计算在大数据时代遇到的瓶颈,提出一种基于事务中项间联通权重矩阵的负载平衡并行频繁模式增长算法CWBPFP。算法在Spark框架上实现并行计算,数据分组时利用负载均衡策略,存入分组的数据是相应频繁项的编码。每个工作节点将分组数据中每一个事物中项的联通信息存入一个下三角联通权重矩阵中,使用被约束子树来加快每个工作节点挖掘频繁模式时创建条件FP-tree的速度,再用联通权重矩阵避免每次挖掘分组中频繁模式时对条件模式基的第一次扫描。由于联通权重矩阵和被约束子树的结合应用于每一个工作节点的FP-tree挖掘过程,因此提升了并行挖掘FP-tree性能。通过实验表明,所提出的并行算法对大的数据有较高性能和可扩展性。 相似文献
4.
WANG Juan 《数字社区&智能家居》2008,(34)
针对FP算法的缺陷,将OLAP技术和Apriori关联规则相结合,提出了一种针对FP算法的改进的多层次关联规则数据挖掘算法,在分析了关联规则数据挖掘结构的基础上,给出了该算法的思想与执行步骤,对于关联规则数据挖掘的研究具有一定的理论意义。 相似文献
5.
关联规则挖掘是数据挖掘领域重要的挖掘技术,与之类似,将非结构化的文本内容转化成结构化的特征向量形式后,也可以在大规模文本集中发现基于特征词的频繁模式或关联规则。关联规则挖掘是一个标准的数据挖掘任务,开创性工作始于文献Mining association rules between sets of items in large databases。其目的在于发现已知事务集中各项间的关联关系, 相似文献
6.
针对现有的并行FP-Growth算法在数据并行分组时存在数据冗余和负载不均的问题,提出了基于负载估算和冗余剪枝的优化算法。首先,在采用高频策略分组时,引入节点任务估算方法,把每个分组中最大模式树的最长路径和支持度作为该分组的估计值,将估计值远大于其他节点的分组进行分割,平均到其他分组中,并且对不同分
组中重复的列表元素进行截断,去除冗余数据。实验表明,本文提出的算法能够有效防止并行化的数据倾斜,减少数据冗余,在时间和空间复杂度上要低于以前的并行化FP-Growth算法。 相似文献
7.
关联规则分析是最常用的数据挖掘方法,其目的是利用历史数据记录,从中发现属性之间的关联,有效地协助有关管理部门进行决策分析。利用关联规则中的FP-Growth算法对网上招聘系统数据库进行挖掘,从中发现属性之间的关联规则,即用人单位的录用规律,有效地协助有关部门在招生过程中指导学生选择专业,克服大家在选择专业时的盲目性,优化专业结构,从而提高就业率。 相似文献
8.
基于关联图的关联规则挖掘算法研究 总被引:15,自引:0,他引:15
在挖掘关联规则的过程中 ,一个关键的步骤是产生频繁项目集 .本文给出一种基于关联图的关联规则挖掘算法 ,并将它与性能比较好的关联规则挖掘算法 DHP进行了比较 ,结果表明 ,本文的算法优于 DHP算法 相似文献
9.
针对FP-Growth算法中频繁模式树的遍历低效问题,提出了一种无项头表的频繁模式增长算法。该算法利用递归回溯的方式遍历频繁模式树以求取条件模式基,解决了对同一树路径多次重复遍历的问题。从理论分析和实际挖掘能力两方面,将新算法与FP-Growth算法进行了对比。结果表明,新算法有效减少了条件模式基的搜索开销,使频繁模式挖掘的效率提高了2~5倍,在时间和空间性能上均优于FP-Growth算法。将该算法应用于通信告警关联规则挖掘,较快地挖掘出了关联规则结果,且正确规则的覆盖率达到了83.3%。 相似文献
10.
11.
从历史考试数据中提出有用的信息具有重要的意义。使用关联规则挖掘是有效的手段之一。然而,传统的Apriori关联规则挖掘算法存在不足之处。为此,本文应用一种改进的、基于Apriori的关联规则挖掘算法,在高考考试数据上进行了尝试,得出了有益的结果。为进一步构建针对教育考试的实际数据挖掘应用系统奠定了基础。 相似文献
12.
13.
为了解决传统算法中存在的频繁模式集生成的瓶颈问题,本文将启发式背景知识和归纳背景知识同时运用在频繁模式的生成过程中,提出了一种基于背景知识的关联规则挖掘算法BasedBackground。该算法不仅通过启发式背景知识,有效降低了模式的计数代价,而且通过由样本挖掘获取的归纳背景知识,有效地减少I/O代价,因此提高了挖掘的效串和质量。本文最後通过恒星光谱数据作为实验数据集,验证了该算法的有效性。 相似文献
14.
基于Apriori的有效关联规则挖掘算法的研究 总被引:29,自引:0,他引:29
通过对Apriori算法进行的分析与研究,发现其在实用中存在两个主要问题:生成的关联规则具有相当大的冗余性;有可能挖掘出一条支持度和置信度均很高,但却是无趣的、甚至是虚假的关联规则,且不能产生带有否定项的规则。鉴于此,该文给出了关联规则的两个性质和引入兴趣度的第三个度量———相关支持度,设计了挖掘出有效关联规则算法,较好地解决了上述问题。 相似文献
15.
本文首先介绍关联规则的基本概念,对关联规则算法进行了详细地分析和研究,就目前针对提高该算法效率的各种优化技术也进行了详细地描述与分析,并说明各改进算法在各商业领域中的应用。 相似文献
16.
17.
18.
Feng Song 《数字社区&智能家居》2008,(Z1)
随着数据库技术的不断发展及数据库管理系统的广泛应用,大型数据库系统己经在各行各业普及,数据库中存储的数据量急剧增大,数据挖掘便是从海量数据库中挖掘有效或重要信息的过程。关联规则挖掘是数据挖掘领域一个非常重要的研究课题,被广泛地应用于商业界、医疗保险、金融业、电信部门等。随着时间的推移,挖掘数据库的规模会发生不断变化,人们对数据的需求也会有所不同,因此如何从扩展数据库中高效地对已经推导出的关联规则进行更新具有非常重要的应用价值,这就是所谓的增量式挖掘关联规则的问题。 相似文献
19.
20.
一种关联规则挖掘方法在客户分析中的应用 总被引:1,自引:0,他引:1
数据挖掘(DataMining)是数据库系统和数据库应用的一个繁荣的学科前沿.Apriori算法作为数据挖掘中关联规则挖掘的算法之一,是一种最有影响的挖掘布尔关联规则频繁项集的算法.本文主要探讨Apriori算法的实现细节及其结合在电信业中的实现过程,并通过对实际数据的分析提出提高电信业务量的建议. 相似文献