数据挖掘技术及其在旅游线路规划系统的应用

研究了旅游线路规划的现状．介绍了在旅游线路规划中使用的方法,引入了关联规则挖掘的基本概念,以及分析了其主要过程。并通过分析关联规则挖掘中的Apriori算法及其改进算法的基础上,提出了一种将Apriori改进算法与旅游线路规划挖掘结合的概念,通过与Apriori算法相比较,提高了系统的效率,并给出了一种典型应用,获得了较理想的应用效果。最后结合当前的旅游网站特点,充分应用网站的信息,设计了一个旅游线路规划的挖掘系统。     

数据挖掘技术及其在旅游线路规划系统的应用

研究了旅游线路规划的现状,介绍了在旅游线路规划中使用的方法,引入了关联规则挖掘的基本概念,以及分析了其主要过程.并通过分析关联规则挖掘中的Apriori算法及其改进算法的基础上,提出了一种将Apriori改进算法与旅游线路规划挖掘结合的概念,通过与Apriori算法相比较,提高了系统的效率,并给出了一种典型应用,获得了较理想的应用效果.最后结合当前的旅游网站特点,充分应用网站的信息,设计了一个旅游线路规划的挖掘系统.     

分布式并行关联规则挖掘算法研究

关联规则挖掘算法FP-Growth虽然效率比Apriori要快一个数量级,但存在频繁模式树可能过大而内存无法容纳和数据挖掘过程串行处理等两大缺点。提出一种分布式并行关联规则挖掘算法,该算法针对分布式应用数据架构,不需要产生全局FPtree,避免全局FP-tree可能过大而内存无法容纳的问题,算法在各个主要步骤上都实现了并行处理。算法测试结果和分析表明,与传统的关联规则挖掘算法FP-Growth相比,该算法通过多节点分布式并行处理显著提高了执行效率和处理能力。     

一种基于MFP树的快速关联规则挖掘算法

在关联规则挖掘FP-Growth算法的基础上,提出一种基于MFP树的快速关联规则挖掘算法。文中给出了MFP算法的工作原理。MFP算法能在一次扫描事务数据库的过程中,把该数据库转换成MFP树,然后对MFP树进行关联规则挖掘。MFP算法比FP-Growth算法减少一次对事务数据的扫描,因此具有较高的时间效率。     

一种基于MFP树的快速关联规则挖掘算法

在关联规则挖掘FP-Growth算法的基础上,提出一种基于MFP树的快速关联规则挖掘算法。文中给出了MFP算法的工作原理。MFP算法能在一次扫描事务数据库的过程中,把该数据库转换成MFP树,然后对MFP树进行关联规则挖掘。MFP算法比FP-Growth算法减少一次对事务数据的扫描,因此具有较高的时间效率。     

无项头表的FP-Growth算法

针对FP-Growth算法中频繁模式树的遍历低效问题,提出了一种无项头表的频繁模式增长算法。该算法利用递归回溯的方式遍历频繁模式树以求取条件模式基,解决了对同一树路径多次重复遍历的问题。从理论分析和实际挖掘能力两方面,将新算法与FP-Growth算法进行了对比。结果表明,新算法有效减少了条件模式基的搜索开销,使频繁模式挖掘的效率提高了2~5倍,在时间和空间性能上均优于FP-Growth算法。将该算法应用于通信告警关联规则挖掘,较快地挖掘出了关联规则结果,且正确规则的覆盖率达到了83.3%。     

基于垂直分布方法的关联规则算法及改进

数据挖掘中的关联规则挖掘近些年一直是人们研究的热点。但是关联规则挖掘的经典算法Apriori存在着挖掘效率低、系统开销大等问题。AprioriTid、DIC等算法,也仅从某一方面进行了改进。针对上述问题,提出了一种新的改进算法,新算法从三大方面对原有的算法进行了改进,以此提高算法的效率,降低系统的开销。     

一种面向高校学生体测数据的模式挖掘方法

目前,每年测试高校大学生的体质健康,会产生大量的数据,为了提高关联规则对体测数据的挖掘效率,提出了一种面向高校学生体质测试数据的模式挖掘方法。利用经典的关联规则挖掘方法如Apriori算法和频繁模式树（Frequent Pattern Tree,FP-Growth）算法,对体测数据进行关联规则挖掘。实验结果表明,该模式挖掘的最小数据集能有效提高关联规则算法对体测数据的模式挖掘效率。     

基于MAPREDUCE并行处理的轨迹模式挖掘算法的研究

关联规则算法中FP-Growth算法虽不产生候选集,但由于算法高度依赖于内存空间,阻碍了算法在大数据领域的发挥,因此,改进了经典的FP-Growth算法,首先创建支持度计数表,避免了算法对条件模式基的第一次遍历,减少了对数据库的扫描次数;其次利用剪枝策略删去了大量沉余的非频繁项集;最后将算法并行化,利用 Hadoop平台优势极大提高数据处理的效率,同时解决了算法占用内存的瓶颈问题。实验结果表明,改进型FP-Growth算法挖掘和预测轨迹的效率明显高于经典算法。     

基于FP-Growth的战略绩效关联分析算法研究

在处理战略绩效KPI关联规则挖掘的问题时,由于FP-Growth不能根据业务的需要简化计算过程,从而产生了许多冗余计算,影响了算法的效率。因此,提出了一种基于FP-Growth的战略绩效关联分析算法。通过采用基于规则的约束方法对FP-Growth算法进行改进。一方面,在挖掘的过程中添加剪枝操作,提高频繁项集的挖掘效率;另一方面,在关联规则产生过程中,添加规则约束,生成符合业务要求的关联规则,从而减少了冗余计算,提高了算法的效率。最后,以"某高校科研服务质量指标"为例,验证了该算法的可行性。     

FP—Growth算法MapReduce化研究

随着云计算概念的盛行,以及数据挖掘技术在分布式环境下的应用问题,该文献针对当前业界中流行的大规模并行计算模型MapReduce,将其引入数据挖掘领域关联规则算法的并行化改进中,提出基于FP-Growth算法并行化改进的MR—FP算法,为并行化关联规则挖掘提供节点可扩展、可容错、故障可恢复的运行保证。并通过案例分析得出系统在事务数呈数量级级别增长下仍可保持较高的性能。通过理论分析和案例实验表明,数据挖掘理论和方法在云计算环境下可以充分发挥能力,具有广阔的、有价值的研究空间。     

一种改进的FP-Growth算法及其在业务关联中的应用

基于FP-树的FP-Growth算法在挖掘频繁模式过程中需要递归地产生大量的条件FP-树,效率不高,并且不太适合应用在移动通信业务交叉销售等具有业务约束的关联规则挖掘中。因此,提出了基于项目约束的频繁模式树ICFP-树和直接在此树上进行挖掘的新算法——ICFP-Mine。理论分析和实验结果表明,ICFP-Mine算法在内存占用和时间开销等方面比FP-Growth算法更优越,在移动通信业务交叉销售领域的应用中取得了较好的效果。     

OLAP中基于FP-增长的关联规则挖掘

关联规则挖掘是一种发现属性问关系的方法，主要用于在商务事务记录中挖掘事务问关系。本文将已经广泛使用的FP-增长(frequent-pattern growth，频繁模式增长)算法进行改进，实现了OLAP中的关联规则挖掘。改进算法分别针对单维、多维、混合维三种关联规则，将多维立方体转化成不同的关系表，通过关系表产生关联规则．并利用立方体中的事实值作为进一步约束，生成了更有价值的规则。     

基于增量队列的在全置信度下的关联挖掘

关联挖掘是一种重要的数据分析方法, 提出了一种在全置信度下的增量队列关联挖掘算法模型, 在传统的FP-Growth及PF-Tree算法的关联挖掘中使用了全置信度规则, 算法的适应性得到提升, 由此提出FP4W-Growth算法并运用到对文本数据的关联计算以及对增量式的数据进行关联性挖掘的研究中, 通过实验验证了此算法及模型的可行性与优化性, 为在庞大的文本数据中发现隐藏着的先前未知的并潜在有用的新信息和新模式, 提供了科学的决策方法.     

数据整合与数据挖掘技术在医疗保险信息系统的研究与应用

通过分析医疗保险管理信息化深入发展的需求,从技术的角度提出医疗保险信息系统数据整合及数据挖掘的总体解决方案,并对医疗保险信息系统的数据仓库的设计、数据整合的方案以及数据挖掘的技术和应用进行概要的分析和论述,并用关联规则挖掘算法实证研究医保信息挖掘的可能性与必要性。利用编码、解码技术和SQL的聚集函数,实现基于SQL的FP-Growth算法,从而突破机器内存对数据挖掘的处理效率,实现对海量数据挖掘的高效挖掘。     

基于Apriori算法的改进算法

挖掘关联规则是数据挖掘中一个重要的课题,产生频繁项目集是其中的一个关键步骤。提出了一种改进算法,并将该算法与Apriori算法进行了比较。该算法只需要对数据库扫描一遍,并且存放辅助信息所需要的空间也少,结果表明该算法对关联规则挖掘较为有效。     

基于磁盘表存储FP-TREE的关联规则挖掘算法

随着现实待挖掘数据库规模不断增长,系统可使用的内存成为用FP-GROWTH算法进行关联规则挖掘的瓶颈.为了摆脱内存的束缚,对大规模数据库中的数据进行关联规则挖掘,基于磁盘的关联规则挖掘成为重要的研究方向.对此,改进原始的FP-TREE数据结构,提出了一种新颖的基于磁盘表的DTRFP-GROWTH(disk table resident FP-TREE growth)算法.该算法利用磁盘表存储FP-TREE,降低内存使用,在传统FP-GROWTH算法占用过多内存、挖掘工作无法进行时,以独特的磁盘表存储FP-TREE技术,减少内存使用,能够继续完成挖掘工作,适合空间性能优先的场合.不仅如此,该算法还将关联规则挖掘和关系型数据库整合,克服了基于文件系统相关算法效率较低、开发难度较大等问题.在真实数据集上进行了验证实验以及性能分析.实验结果表明,在内存空间有限的情况下,DTRFP-GROWTH算法是一种有效的基于磁盘的关联规则挖掘算法.