云计算环境下基于MapReduce的Apriori算法研究

Apriori算法是一种经典的数据关联规则挖掘算法,本文借力云计算环境,根据MapReduce模型并行运行实现的特点,对Apriori算法进行优化,并行化改进后的MR-Apriori算法大大降低了时间消耗,其较强的扩展能力能更好地运用于大规模数据分析、处理和挖掘的需要.     

基于云计算与大数据的Apriori算法的分析研究

互联网+时代,信息交流和社交方式都发生了极大的变化,自媒体的数据产生方式让大数据时代加速到来。Hadoop云计算实现框架是大数据管理中最优的解决方案,使用最为广泛,效果最为明显。文中针对运用云计算和云平台Hadoop的知识,对现有数据挖掘技术中的关联规则进行分析,对经典Apriori算法进行梳理并提出了一种基于MapReduce的改进Apriori数据挖掘算法。最后,通过Hadoop平台进行仿真实验,算法用Java实现,通过对训练数据迸行挖掘,结果表明改进算法在处理大数据时空间复杂度更低,且挖掘时间随着数据规模的增大呈线性增长。实验结果表明,改进算法在进行大数据挖掘比经典算法有了性能的提升。     

基于MapReduce的关联规则挖掘算法的研究及应用

随着新一代信息技术的发展,人工智能、云计算、物联网、大数据技术的应用越来越广泛。对自然灾害的实时监测等应用的也逐步增多,使其产生了海量的监测数据,而传统的关联规则挖掘算法Apriori在处理海量数据时效率低,扩展性差等弊端也显而易见。由此,加大了数据处理分析的压力,用户提取有效信息的难度也不断地增加。文章针对在大数据环境下提出了基于MapReduce的关联规则挖掘算法的改进算法,并探讨其在山体滑坡监测预警中的应用。     

一种基于云计算的关联规则改进研究

随着数据挖掘技术的成熟,其中关联规则在大规模数据中的应用成为了目前的热点.为了提高在大规模数据下进行数据挖掘的效率,在MapReduce中通过引入归并函数Fusion来提高执行剪枝任务的效率并进行了优化研究,提出了一种基于云理论的关联规则Apriori算法,详细论述了实现的过程以及关键技术.通过实验表明,该方法取得了良好的实验效果,克服了Apriori算法耗时多、识别率低下等问题,是实现在大规模数据进行数据挖掘的实用工具.     

基于关联规则的APRIORI挖掘算法在物管系统中的扩展应用

关联规则反映了大量数据中项集之间的相互依存性和关联性,Apriori算法是关联规则挖掘中的经典算法。本文利用关联规则的Apriori算法对校园物资管理系统中的数据进行了挖掘,找出物品潜在的频繁集以达到提高工作效率的目的。     

一种引入索引结构的Apriori并行化改进算法

针对传统的Apriori算法在执行过程中存在着需要扫描多次数据库,执行效率低和需要大量的内存来存储候选项集的缺点,有人已经提出了引入索引结构的Apriori改进算法,但是该算法还是传统的Apriori算法都不适合应用到云计算平台。因此,在本文中我们提出了将引入索引结构的Apriori算法的设计思想应用到Apriori算法MapReduce并行化改进的过程中。该算法的核心思想:将数据进行MapReduce并行化分块,并在每个分块中采用索引的执行模式。该算法结合了索引结构的优点和算法并行化的优点,不仅大大提高了算法的执行速度,而且实现了在云环境下的应用。     

基于云平台的矩阵式Apriori改进算法

在当前处理大数据集的需求下,针对关联规则数据挖掘传统Apriori算法的不足,提出基于云计算平台并引入矩阵概念的一种改进算法,通过改进以减少传统Apriori算法的I/O负担严重、候选集数量巨大等问题,使其更好地适应大数据的频繁项集数据挖掘。     

基于关联规则的Web挖掘技术研究

关联规则是Web挖掘中一个重要的研究领域。为了挖掘出隐藏在数据间的相互关系,将关联规则的概念引入到Web挖掘系统中,把用户的访问路径以关联规则的形式表现出来。基于Apriori算法的思想,给出了适合Web挖掘用户访问的新Apriori算法规则及其模式,最后将结果在一些较简单的网页上进行了验证,取得了较好的应用效果。     

基于改进Apriori算法的气象数据质量控制研究

针对传统气象数据质量控制算法存在的不足,首先提出将Apriori关联规则挖掘算法用于气象数据中,通过Apriori算法挖掘出关联规则;其次分析了Apriori算法存在的不足,提出了一种改进的MC_Apriori算法,通过真实数据仿真表明,新算法在时间性能上更加优越;最后,在原数据的基础上植入部分错误数据,通过与规则库中的关联规则进行规则匹配,找出错误数据率达到93.3%。     

基于轻量化关联规则挖掘的安全日志审计技术研究

为了对云计算平台中日志审计数据进行安全分析,提出一种采用改进的关联规则的日志信息挖掘方法,以便有效识别事故类型或者预防可能出现的各种恶意入侵。该方法采用典型的关联规则Apriori算法对比挖掘系统日志和用户行为模式的异常信息,并通过删除稀疏矩阵集合中的弱相关项目集和可调节最小置信度的策略,对Apriori算法进行轻量化改进。在多次迭代运算得到最大项目集后运用于日志审计。仿真实验结果表明,改进的Apriori算法可以有效减少对数据库的扫描次数,提高挖掘效率,具有一定的推广价值。     

基于遗传算法的关联规则数据挖掘

关联规则是数据挖掘的重要手段,它基于支持度、置信度等对规则进行筛选,生成有用的规则,由于根据实际情况有时会产生虚假规则,所以兴趣度也自然被引入。遗传算法是自动化技术、专家系统等经常采用的算法。通过改进的遗传算法进行关联规则数据挖掘并进行了实例应用。遗传算法能较好地得出发生交通事故原因与结果的关联规则,提高数据挖掘的效率。     

基于遗传算法的关联规则挖掘

数据挖掘是关联规则中一个重要的研究方向.对关联规则的数据挖掘和遗传算法进行概述,阐述关联规则数据挖掘的意义,提出一种采用改进型遗传算法的关联规则的提取算法,并从编码方法、适应度函数的构造和变异、选择、交叉算子设计方面进行讨论和分析,最后结合一个具体实例进行应用.实验证明这种算法是有效的.     

基于层次的最大频繁项集挖掘算法

关联规则的研究是数据挖掘中的重要问题,如何高效地发现频繁项集是关联规则研究中的关键问题。根据数据库事务的统计性规律,在最大频繁项集发现算法Apriori及其变种算法的基础上,提出一种新的基于层次的最大频繁项集的发现算法。首先从整体上判断候选集的频繁性,然后在发现最大频繁项集的过程中,通过引入整体性策略、排序策略、最小策略有效地减少了候选集与数据库事务之间的比较次数。实验结果表明,采用该算法处理数据库事务数量大的最大频繁项集的发现任务．其效率相比Aoriori算法有显著的提高。     

Association rules recommendation algorithm supporting recommendation nonempty

Existing association rule recommendation technologies were focus on extraction efficiency of association rule in data mining.However,it lacked consideration of recommendation balance between popular and unusual data and efficient processing.In order to improve the quality and efficiency of personalized recommendation and balance the recommendation weight of cold and hot data,the problem of mining frequent itemset based on association rule was revaluated and analyzed,a new evaluation metric called recommendation RecNon and a notion of k-pre association rule were defined,and the pruning strategy based on k-pre frequent itemset was designed.Moreover,an association rule mining algorithm based on the idea was proposed,which optimized the Apriori algorithm and was suitable for different evaluation criteria,reduced the time complexity of mining frequent itemset.The theoretic analysis and experiment results on the algorithm show that the method improved the efficiency of data mining and has higher RecNon,F-measure and precision of recommendation,and efficiently balance the recommendation weight of cold data and popular one.     

基于项权值排序挖掘的跨语言查询扩展

为了改善自然语言处理应用中长期存在的主题漂移和词不匹配问题,本文首先提出一种加权项集支持度计算方法和基于项权值排序的剪枝方法,给出面向查询扩展的基于项权值排序的加权关联规则挖掘算法,讨论关联规则混合扩展、后件扩展和前件扩展模型,最后提出基于项权值排序挖掘的跨语言查询扩展算法.该算法采用新的支持度和剪枝策略挖掘加权关联规则,根据扩展模型从规则中提取高质量扩展词实现跨语言查询扩展.实验结果表明,与现有基于加权关联规则挖掘的跨语言扩展算法比较,本文扩展算法能有效遏制查询主题漂移和词不匹配问题,可用于各种语言的信息检索以改善检索性能,扩展模型中后件扩展获得最优检索性能,混合扩展的检索性能不如后件扩展和前件扩展,支持度对后件扩展更有效,置信度更有利于提升前件扩展和混合扩展的检索性能.本文挖掘方法可用于文本挖掘、商务数据挖掘和推荐系统以提高其挖掘性能.     

模糊FP-growth在入侵检测中的应用

关联规则挖掘技术目前被广泛应用于入侵检测系统中。关联规则挖掘算法之一的FP-growth算法在处理数值量的输入时需要二值化,使得准确率不高;而Fuzzy Apriori算法需要重复扫描数据库,效率较低。针对此问题,改进现有的FP-growth算法,提出模糊化FP-growth算法,从而提取模糊关联规则,用于N类异常数据的分类入侵检测。在KDDCup＇99数据集上评估,结果表明对于数值量的输入,该方法应用于入侵检测准确率高于FP-growth算法,学习效率高于Fuzzy Apriori算法。     

一个保护私有信息的布尔关联规则挖掘算法

本文基于随机响应技术,提出了一种在保护隐私的关联规则挖掘中对数据进行伪装的方法;设计了在伪装的数据集上进行挖掘的算法;分析了算法的效率.实验结果表明,该算法在伪装的数据集上挖掘出的规则与原始规则相比,相对误差不超过2％,并给出了使得相对误差最小时相关参数的取值.     

基于Bayes的航迹概率数据关联算法

数据关联是多传感器信息融合的核心技术,其常用的航迹数据关联方法主要有NN、PDA、JPDA、MHT等算法。常用关联算法有的不适合强杂波或多目标环境、有的计算量大、有的时效性差等不足。文中采用了基于贝叶斯航迹概率的数据关联算法,来实现雷达航迹之间数据关联。首先介绍贝叶斯和航迹关联技术原理;其次描述贝叶斯算法过程;最后通过仿真证明该关联算法有效性。     

粗集运算的产生式关联规则获取方法

分析了粗集运算的产生式关联规则(知识)获取方法的原理,给出了其关联规则自动获取过程.通过隶属函数的分类定义并求解其分类隶属度,其目的是对数值型数据进行定性化处理,从而形成规范的决策表.研究了数据元组范化的方法、属性归约的具体算法.提出了用多维代表值的求解方法进行元组值约简,并给出了其具体算法.实例表明,通过该方法抽取的关联规则真实、可靠,有效地实现了关联规则的自动获取且其操作的自动化程度高.