电力信息化建设中云计算的应用研究

电力系统运行过程中产生的大量数据,类型复杂,需要进行有效处理,否则电力系统的稳定、安全运行将会受到影响.作为新型技术的云计算可以在较短时间内对大量数据进行处理与分析,并且结果准确性高,能够为电力系统的正常运行提供保障.基于此,电力信息化建设应用云计算非常有必要.文章对云计算进行概述,分析电力信息化建设存在的问题,对电力...     

面向云计算的大数据协同过滤并行推荐方法

针对大数据环境下的并行推荐问题,提出一种面向云计算的大数据协同过滤并行推荐方法,基于云计算思想实现了协同过滤两个核心步骤基于用户-项目评分矩阵计算相似度、基于相似度评分预测的四次MapReduce化并行化推荐,最后进行了实验设计。     

云计算环境下基于MapReduce的Apriori算法研究

Apriori算法是一种经典的数据关联规则挖掘算法,本文借力云计算环境,根据MapReduce模型并行运行实现的特点,对Apriori算法进行优化,并行化改进后的MR-Apriori算法大大降低了时间消耗,其较强的扩展能力能更好地运用于大规模数据分析、处理和挖掘的需要.     

云计算中MapReduce技术研究

云计算是由并行计算、分布式计算和网格计算发展而来,MapReduce是云计算的核心技术之一,它为并行系统的数据处理提供了一个简单、优雅的解决方案,其主要目的是为了大型集群的系统能在大数据集上进行并行工作,并用于大规模数据的并行运算.首先介绍了云计算与MapReduce的相关知识,然后对目前MapReduce的国内外研究状况进行了介绍与评析,并总结了目前MapReduce模型的相关研究问题,最后进行总结并展望了未来发展的趋势.     

基于云计算技术的数据挖掘

基于单一节点的数据挖掘系统在处理海量数据集时存在计算瓶颈,针对该问题,提出了一种基于云计算技术的数据挖掘方法:将大数据集和挖掘任务分解到多台计算机上并行处理.在对经典Apriori算法MapReduce化后,建立了一个基于Hadoop开源框架的并行数据挖掘平台,并通过对餐饮系统中点菜单的数据挖掘工作验证了该系统的有效性.实验表明,在集群中使用云计算技术处理大数据集,可以明显提高数据挖掘的效率.     

以实际算法为例评估MapReduce在石油勘探中的应用

石油勘探领域需要处理海量的地震数据,以获取地下构造用以发现和定位油藏。为评估云计算编程模型MapReduce对于石油勘探领域应用算法的适用性,设计并实现了基于MapReduce的三维Fresnel层析成像算法,实验发现MapReduce版本的性能比MPI版本慢3倍,而且对MapReduce作业调优的难度相当大。为了拓展MapReduce在石油勘探领域高性能计算领域的应用,需要在支持线程级并行、灵活性和提升I/O可扩展性3个方面进行改进,并提出了研究方法和技术路线。     

基于MapReduce数字图像处理研究

随着海量图像数据的增加,使得需要处理的数据规模越来越大,为了解决在处理海量数据信息时所面临的存取容量和处理速度的问题,在深入研究MapReduce大规模数据集分布式计算模型的基础之上,本文设计了基于MapReduce实现对数字图像并行化处理。实验结果表明：运行在Hadoop集群上的基于MapReduce并行化算法具有数据节点规模易扩展、处理速度快、安全性高、容易实现等特点,能够较好地满足海量数据图像的处理的要求。     

一种基于云计算的大数据关联规律挖掘分析方法

随着云计算时代的到来,云计算为海量数据的挖掘分析提供了一种新的技术途径,能够有效地解决传统数据挖掘方法不能适应海量数据挖掘的问题。介绍了云计算的含义和特点,分析了运用云计算技术实现数据挖掘的优势,设计了基于MapReduce并行处理架构的关联规律挖掘算法,并开展了试验验证。试验结果表明,基于云计算平台的并行关联规律挖掘算法能够极大地提高数据挖掘的执行速度。     

大数据挖掘中的MapReduce并行聚类优化算法研究

针对传统数据挖掘算法只适用于小规模数据挖掘处理,由于数据规模不断增大,其存在计算效率低、内存不足等问题,文中将MapReduce用于数据挖掘领域,对大数据挖掘中的MapReduce进行了并行化改进,并设计相应的并行化实现模型,以期满足大数据分析需求,完成低成本、高性能的数据并行挖掘与处理。     

云计算技术中大数据SLIQ算法研究

数据信息交流和社交方式在互联网+时代都呈现了新的发展态势,自媒体等新的数据产生方式让大数据时代来临。海量数据在大数据时代需要新的技术手段和方法,对数据存储、处理、检索和计算进行新的设计,尤其在数据挖掘领域,面临很多新的课题和挑战。当前,很多的传统数据挖掘算法只能在数据量较小的情况下适用,在串行的小规模输入数据环境下,算法还能适应。当数据量规模增大甚至呈指数形式增长时,时间复杂度和计算量也同步增长,需要对算法进行适应大数据的改进。云计算和云平台的使用为存储和分析海量数据提供可靠的实现手段,对数据挖掘算法的改进提供了高效的解决方案。文中在Hadoop、MapReduce框架下开展并行的SLIQ算法改进方案,改进算法很好地适应了云平台环境和海量数据,提高了运行效率。     

基于Hadoop平台的并行kNN网络舆情分类算法

针对网络舆情数据存在数据量大、分散度高、数据非结构化等特点,而常用的文本分类算法难以实现对网络舆情快速、准确分类的问题,因此提出一种基于Hadoop平台的并行kNN网络舆情分类算法,利用Hadoop分布式存储特性和设计并行kNN的MapReduce程序来解决处理大批量数据时存在的问题.对并行kNN算法进行分类能力和分类效率进行测试验证,实验结果表明,基于Hadoop平台的并行kNN网络舆情分类算法在处理大批量网络舆情数据时,能够快速、高效和准确对网络舆情数据进行分类.     

基于MapReduce的健康大数据并行挖掘算法研究

随着信息技术的发展，健康大数据呈指数级别剧增，但数据量过大使得较多有价值的数据被埋没，医疗服务的质量与效率难以提升。为解决上述问题，文中提出一种基于MapReduce的健康大数据并行挖掘算法。首先对健康大数据进行预处理，消除一些不利因素对数据的影响；再以预处理后的健康大数据为依据，获取初始簇中心，度量健康大数据与簇中心之间的距离，聚类处理健康大数据；最后，应用MapReduce制定健康大数据并行挖掘程序，执行制定程序即可完成健康大数据的并行挖掘。实验结果表明，所提算法的健康大数据挖掘效率最大值为94 GB/s，加速比最大值为4.5，相比于其他方法，该算法对健康大数据挖掘的性能更佳。     

应用于云中MapReduce计算的动态资源调度算法

越来越多的MapReduce计算由运行在云中虚拟机组成的虚拟集群完成,为增强虚拟MapReduce集群计算中任务的数据本地性,充分利用云计算的资源可动态配置的优势,提出了一种基于队列的动态资源调度算法,并模拟了云计算平台进行测试,实验结果表明动态资源调度算法提高了虚拟MapReduce集群的计算性能.     

一种基于Hadoop架构的并行挖掘算法研究

基于Hadoop架构,提出一种并行的决策树挖掘算法实现大数据集间的知识挖掘。通过MapReduce并行编程模式实现Hadoop架构下SPRINT并行挖掘算法的频繁项集,解决了大数据集挖掘效率低下,时间消耗量大的问题。SPRINT算法通过对原始数据集进行划分,并将分块数据发给不同Map进程并行计算,使系统存储和计算资源得到有效利用,运用MapReduce各计算节点将挖掘结果数据汇聚,减少中间结果数据量,使并行挖掘时间显著减少。SPRINT算法并行化实验表明,Hadoop架构下的SPRINT并行挖掘算法具有良好的可扩展性和集群加速比。     

大数据处理平台分析

分析大数据对数据库技术发展的影响,对比并行数据库和MapReduce的优劣,在此基础上指出适合大数据存储处理的三种数据库结合方案:并行数据库占主导地位、MapReduce占主导地位以及并行数据库与MapReduce集成。简述大数据处理关键技术,最后构建基于Hadoop的电信业务大数据处理平台,该平台通用性强,便于用户进行二次开发。     

智能电网云计算平台构建

随着信息技术的不断发展与提高,对于智能电网来说,在进行相关数据信息处理时,对相关数据的保存及互动等方面提出了更加严格的要求.基于云计算设计智能电网,构建出数据云模型.借助云计算平台不仅有利于电力系统综合管理相关数据信息及存储的资源,而且极大提高了相关工作人员的效率,为未来智能电网的发展指明了道路.     

基于Hadoop的分布式日志分析系统设计与实现

网络日志解析是确保监控系统稳定运行和检测故障的重要任务之一。然而,日志文件的数据量庞大,数据格式也相对复杂,难以手动处理。在此背景下,对基于Hadoop分布式计算框架的网络日志分析系统的设计和实现进行了研究,通过将数据分解成块,并通过多台计算机并行处理数据块来提高数据处理速度和效率。系统使用了Hadoop的MapReduce编程模型来实现网络日志数据的解析和处理。实验结果表明,相比传统方法,该系统具有更高的数据处理速度和可伸缩性,证明其有效性和实用性。     

基于MapReduce技术的并行集成分类算法

由于计算机内存资源限制,分类器组合的有效性及最优性选择是机器学习领域的主要研究内容。经典的集成分类算法在处理小数据集时,拥有较高的分类准确性,但面对大量数据时,由于多基分类器学习、分类共用1台计算机资源,导致运算效率较低,这显然不适合处理当今的海量数据。针对已有集成分类算法只适合作用于小规模数据集的缺点,剖析了集成分类器的特性,采用基于聚合方式的集成分类器和云计算的MapReduce技术设计了并行集成分类算法(EMapReduce),达到并行处理大规模数据的目的。并在Amazon计算集群上模拟实验,实验结果表明该算法具有一定的高效性和可行性。     

基于MapReduce的并行蚁群算法研究与实现

蚁群算法在处理大规模TSP问题耗时较长,为解决这一不足,给出了一种基于MapReduce编程模式的并行蚁群算法。采用MapReduce的并行优化技术对蚁群算法中最耗时的循环迭代和循环赋值部分进行改进,同时运用PC集群环境的优势将具有一定规模的小蚁群分配到对应的PC机上,使其并行执行,减少运行时间。实验证明改进后的并行蚁群算法在大数据集上运行时间明显缩短,执行效率显著提高。     

网格安全的研究与展望

现阶段,物联网正在大规模发展,其产生的数据量将会远远超过互联网的数据量,海量数据的存储与计算处理需要云计算技术。本文从云计算的基本概念、服务层次、关键技术及应用范围几个方面对云计算在物联网中的应用进行了探讨。