基于Hadoop的Web日志挖掘

基于单一节点的数据挖掘系统在挖掘Web海量数据源时存在计算瓶颈,针对该问题,利用云计算的分布式处理和虚拟化技术的优势,设计一种基于云计算的Hadoop集群框架的Web日志分析平台,提出一种能够在云计算环境中进行分布式处理的混合算法。为进一步验证该平台的高效性,在该平台上利用改进后的算法挖掘Web日志中用户的偏爱访问路径。实验结果表明,在集群中运用分布式算法处理大量的Web日志文件,可以明显提高Web数据挖掘的效率。     

基于云计算环境的Web 数据挖掘算法分析

本文对Web 数据挖掘算法分析进行了研究,首先简述了云计算关键技术,提出了如何在海量信息中提取出有 用信息的重要性,其次指出了在云计算环境中进行Web 数据挖掘提供更多数据挖掘的解决方案,最后对云计算环境下Web 数 据挖掘常用算法进行了探讨。     

Web数据挖掘在云计算平台的实现

Web数据挖掘是数据挖掘技术与Web的结合,它利用数据挖握技术从与WWW相关的资源和行为中抽取感兴趣的、有用的模式和隐含信息.总结了云计算的关健技术,介绍了Web数据挖掘的定义、流程、分类,并引入了与Web数据挖掘有关的图论数据结构-Web Graph.重点是在云计算平台对Web Graph中挖掘频繁子图算法抑rior...     

云计算环境下数据挖掘信息平台架构设计及实现

信息网络技术给人们带来了非常丰富的信息资源和海量的数据资料,方便人们进行信息的搜索和运用.但同时也为获取有效信息带来了难度,人们在面对海量资源的同时需要进行不断的挖掘、分辨、识别以及筛选等,才能获取有实际价值的数据和信息.云计算能够提供动态资源池、可用性能高的虚拟化计算平台,可用于解决信息的获取与筛选问题.主要研究了云计算环境下,数据挖掘信息平台架构的设计方案及其实现方式,以帮助人们适应数据化时代的发展,使用先进的数据化技术进行信息的采纳和筛选.     

云计算技术下的数据挖掘平台建构研究

作为一种新兴网络技术,云计算能够为海量信息高效处理提供技术支持,与此同时能够满足网络交易期间虚拟增值资源各项需求.研究利用云计算技术构建了数据挖掘平台,并对其构架及关键技术进行分析,实践证明云计算技术下数据挖掘平台的建构能够实现对大数据集的有效处理,提升数据挖掘效率,可予以广泛推广.     

基于云计算环境的考试数据挖掘算法研究

本文分析了当前网络考试系统数据挖掘现状,介绍了云计算和数据挖掘的相关概念,指出传统数据挖掘技术在当今考试系统海量数据情况下挖掘时系统响应速度慢,负载不均衡和节点效率低的不足,设计了基于Map/Reduce并行编程模型的Apriori算法,利用云计算环境下计算资源来支持该算法的并行执行,通过实例说明云计算化后的Apriori算法在对海量考试数据进行挖掘时能获得更高的挖掘效率。     

云计算环境下并行分布式数据挖掘平台研究

网络技术在带给人们大量信息的同时,也极大地增加了人们从海量数据中发现有用知识的难度,而解决这一问题的努力促进了数据挖掘技术的出现和快速发展。云计算是能够提供动态资源池、虚拟化和高可用性的计算平台,云计算开发平台可被用来开发高性能应用程序。研究云计算环境下并行分布式数据挖掘平台的3个层次,依下而上为分布式计算层,知识发现平台层以及用户应用层。     

面向服务的云数据挖掘引擎的研究

数据挖掘算法处理海量数据时,扩展性受到制约。在商业和科学研究的各个领域,知识发现的过程和需求差异较大,需要有效的机制来设计和运行各种类型的分布式数据挖掘应用。提出了一种面向服务的云数据挖掘引擎的框架CloudDM。不同于基于网格的分布式数据挖掘框架,CloudDM利用开源云计算平台Hadoop处理海量数据的能力,以面向服务的形式支持分布式数据挖掘应用的设计和运行,并描述面向服务的云数据挖掘引擎系统的关键部件和实现技术。依据面向服务的软件体系结构和基于云平台的数据挖掘引擎,可以有效解决海量数据挖掘中的海量数据存储、数据处理和数据挖掘算法互操作性等问题。     

基于云计算的Web数据挖掘的研究

为解决海量网络Web数据挖掘的瓶颈,分析了云计算和Web数据挖掘的关键技术,利用云计算在数据存储、数据管理、编程模式和虚拟化等方面的技术优势,构建了基于云计算的Web数据挖掘流程,为海量数据的挖掘及应用提供了新的思路和技术基础。     

基于云计算的海量数据挖掘研究

为了实现高效率低成本的海量数据挖掘,为企业决策提供参考,提出了基于云计算的海量数据挖掘模型。该模型中海量数据的处理和存储都是在云计算环境中进行的,首先对海量的数据进行一定的预处理,形成结构一致的数据后,应用云计算平台上的MapReduce模型进行高效的并行数据处理,最后得到所需的数据挖掘结果。基于云计算的海量数据挖掘的效率明显高于传统的数据挖掘,并且数据挖掘结果的准确性有了一定的提高,而且随着数据量的增多,该模型的优势会愈发明显。     

云计算技术在未来智能电网信息处理平台中的应用

未来的电网将会是一个高度自动化、智能化的电网,如此一个庞大、复杂的系统从发电、输电一直到变、配、用电的过程时刻都会生成海量的电能信息及设备运行状态数据,这就需要一个强有力的信息处理平台作为支撑,且这个平台应具有对海量数据的可靠存储、准确分析、实时同步更新及共享的功能,尤其是音视频等异构数据的分析与处理.云计算技术在大数据处理中具有得天独厚的优势,本文将云计算技术引入到未来智能电网的信息处理平台的建设中,针对未来智能电网信息处理平台的各项功能需求,对比目前电网信息处理平台的诸多瓶颈进行深层次的探讨,证明了将云计算技术应用到未来智能电网信息处理平台中的可行性。     

基于MapReduce的Web日志挖掘

针对单一CPU节点的Web数据挖掘系统在挖掘Web海量数据源时存在的计算瓶颈问题,利用云计算的分布式处理和虚拟化技术优势以及蚁群算法并行性的优点,设计一种基于Map/Reduce架构的Web日志挖掘算法。为进一步验证该算法的高效性,通过搭建Hadoop平台,利用该算法挖掘Web日志中用户的偏爱访问路径。实验结果表明,充分利用了集群系统的分布式计算能力处理大量的Web日志文件,可以大大地提高Web数据挖掘的效率。     

一种基于云计算数据挖掘平台架构的设计与实现

随着网络技术的飞速发展,不仅给人们生产和生活提供更多有价值的信息,而且又能提升人类从大量数据中发现有价值信息的能力。现阶段,数据挖掘技术已广泛应用在各行各业当中,并且已取得了较好成果。本文主要针对基于云计算的数据挖掘平台架构设计与实现进行了深入探究和分析。     

基于决策树挖掘算法的气象大数据云平台设计

大数据、云计算技术的迅猛发展为挖掘气象数据丰富的科研和经济价值提供了技术支撑,促进了Hadoop及其包含的文件存储系统(HDFS,Hadoop Distributed File System)和分布式计算模型在气象数据处理领域广泛应用。由于气象数据具有大数据的4V特征,还需要引入新的数据处理算法来提高气象数据处理效率。通过对决策树算法原理的研究,基于Hadoop云平台,创建随机森林模型,为数据挖掘算法在云平台上的应用提供一种新的可能性。基于决策树(CART,Classification And Regression Trees)挖掘算法的气象大数据云平台设计,采用Hadoop系统架构和MapReduce工作流程,对气象大数据云平台采用集群部署。平台总体架构分为基础设施层、数据管理与处理层、应用层,减少了决策树建立的时间,实现了气象数据高效加工和挖掘分析等平台功能。     

基于云计算的智能电网调度平台研究

针对我国能源领域近年来出现的新问题,诸如新能源大量并网和消纳、源网荷的联动、提高电网数据处理效率、增强电网风险防范能力等,提出利用电力大数据和云计算技术构建综合型的智能电网调度云计算平台,借助调度云计算平台高效的数据计算能力,提高电网中调度大数据的处理效率,合理配置电力资源.阐述调度云计算平台的工作原理,并在调度云计算...     

一种基于Linux容器技术的大规模遥感数据云服务平台

遥感数据云服务平台是基于云计算技术,整合大规模遥感数据的存储资源和计算资源,实现资源共享和按需使用的服务模式的地理信息处理服务平台。我们基于分布式存储技术实现遥感数据的高效存储、Linux 容器技术实现快速部署和资源隔离、ownCloud 私有云技术实现高效共享和 IPythonnotebook 交互式技术实现方便易用交互,设计了一种稳定、高效的地理信息云服务平台。用户可通过Web的方式方便的访问大规模遥感数据,并利用云主机的计算、存储资源对所需的遥感数据进行分析和处理。     

基于Hadoop平台的C4.5算法的分析与研究

如何能从海量数据中以更快速、高效、低成本的方式挖掘出有价值的信息成为如今数据挖掘技术面临的新课题。文中在研究Hadoop平台的特征和决策树的C4.5算法的过程中,决定在决策树算法领域中引入云计算思维,实现其在Ha-doop平台上的并行化,并且采用MapReduce模型来解决海量数据挖掘问题。最后用打高尔夫球的数据集对新的算法进行验证。实验结果表明对海量数据,基于Hadoop平台的决策树算法可以明显提高数据挖掘的效率,具有可观的高效性和可扩展性,在一定程度上解决了C4.5算法在处理海量数据时计算量大、构建决策树时间长的问题。     

基于云计算的信息系统数据采集分析系统的研究与设计

从云计算三个层次的服务模式出发,提出了一种基于云计算平台的分布式并行信息系统数据采集分析系统.首先,通过Hadoop云计算平台提供的分布式文件系统提升数据的存取速度,增强系统的容错性.在此基础上,利用MapReduce编程模型并行化数据流系综分类算法,提高数据的分类挖掘效率.最后,采用Web Service技术构建了SOA服务体系架构,从而整合了技术平台.测试结果表明,检测系统运行高效,并且检测精度高,具有一定的实用性和推广价值.