MapReduce并行编程架构模型研究

针对高质量高效率的MapReduce应用程序的开发,分析了基于Hadoop MapReduce模型的工作机制,从开发类库级阐述了MapReduce并行工作流程,提出了一个具有通用性的MapReduce开发框架原型,对开源的Ma-pReduce模型的改进作了一些展望.     

基于MapReduce模型的并行科学计算

随着多核处理器日渐普及,开发高效易用的并行编程模型成为新的挑战,MapReduce是Google开发的一种并行分布式计算模型,在其搜索业务中获得了巨大的成功,将MapReduce模型引入科学计算领域,并结合实例阐述了如何使用面向高性能计算的HPMR/HPMR-s系统在分布式或共享存储系统中采用统一的方式描述并实现并行科学计算.     

网格编程模型研究综述

网格编程的任务是研究编程模型、工具和方法.可移植性、互操作性、资源发现与容错功能等是其基本性质.在传统编程模型的基础上,出现了共享状态模型、消息传递模型、远程过程调用与远程方法启动模型、混合模型、动态模型、结构化模型、对等式模型以及协调模型.这些模型各具特色,但仍需在应用中改进,以更好地满足需求.     

基于MapReduce的海量图像处理模型的研究

针对目前图像的格式和数量都在不断增加,传统的串行处理方法无法满足海量的图像数据处理的问题,提出一种基于MapReduce并行框架的海量图像数据处理模型.模型中取消了Reduce处理函数,在Map函数处理完成后直接输出处理结果,不仅避免了Reduce函数和Re-duce任务处理所需的时间,同时减少了Map与Reduce阶段之间操作所消耗的时间.实验基于Hadoop伪分布式云平台,实现了文中提出的并行处理模型.     

大数据挖掘中的MapReduce并行聚类优化算法研究

针对传统数据挖掘算法只适用于小规模数据挖掘处理,由于数据规模不断增大,其存在计算效率低、内存不足等问题,文中将MapReduce用于数据挖掘领域,对大数据挖掘中的MapReduce进行了并行化改进,并设计相应的并行化实现模型,以期满足大数据分析需求,完成低成本、高性能的数据并行挖掘与处理。     

基于MapReduce的并行化电网运行数据处理方法研究

在大规模新能源的新型电力系统中,由于云端电力数据存在结构复杂、数据量大及多维度的特点,因此不利于发挥数据对运行的指导作用,甚至有可能危害电力系统的安全、稳定运行。针对上述问题,文中提出了一种基于MapReduce的电网数据分析方法。其将云计算应用于新型电力系统,并构建了基于MapReduce云计算模型的并行化处理算法,进而提升了系统的响应速度。通过将该方法应用于电网的数据处理结果表明,所提方法可以有效地提高电网运行数据处理的准确性和工作效率。在海量数据的工况下,其处理效率约为30 min,且随着数据量的增加仍可保持稳定性与准确性,实现了网格化的并行分析。     

基于在线编程的DSP并行引导方法

本文在介绍并行引导的基本概念和自举表格式的基础上，提出了一种基于在线编程的TMS320VC5402 DSP 16b或8b并行引导装载的方法，并讨论了TMS320VC5402与片外闪存芯片的接口及在线编程的实现方法。     

基于TAO与PETSc的MPI并行编程及应用

文章介绍了TAO和PETSc以及MPI的编程方法，并且通过具体实例就如何在高性能机器上基于TAO进行并行求解最优化问题的编程作了讨论，所给出的程序代码均已在曙光2000Ⅱ上运行成功，并和基于MPI手工编写的并行代码作了比较。     

使用MapReduce编程模型进行大规模FCD并行处理

浮动车交通信息获取技术是近几年发展起来的一种很有前景的获取城市动态交通信息的方法,它利用计算机、全球定位和无线通信技术来获取浮动车数据(FCD)进行处理。FCD经过地图匹配、路段速度推测等计算后转变为城市动态交通信息。为了能够使大规模的FCD处理快速、及时,必须采用并行计算。MapReduce最初由Google提出,它使开发人员不需太多并行编程经验就可以快速开发出能够运行在大规模分布式集群上的软件。本文基于MapReduce并行编程模型,提出了一种FCD并行处理的方法来解决大规模FCD实时处理的问题。最后在高性能集群上进行了实验,得到的近似线性加速比的结果验证了该设计方案的有效性。     

云计算下MapReduce多组容错机制架构的分析与研究

提出了MapReduce多组容错机制,在传统的Hadoop MapReduce架构上进行改进,即在同机柜中的TaskTracker节点之间增加了多组关系,这样可以缩短发现失效节点的时间,同时减轻JobTracker节点的负荷,减低了带宽使用率,减少网络拥塞.通过实验证明,MapReduce多组容错机制提高了MapReduce的工作效率.     

基于MapReduce数字图像处理研究

随着海量图像数据的增加,使得需要处理的数据规模越来越大,为了解决在处理海量数据信息时所面临的存取容量和处理速度的问题,在深入研究MapReduce大规模数据集分布式计算模型的基础之上,本文设计了基于MapReduce实现对数字图像并行化处理。实验结果表明：运行在Hadoop集群上的基于MapReduce并行化算法具有数据节点规模易扩展、处理速度快、安全性高、容易实现等特点,能够较好地满足海量数据图像的处理的要求。     

Parallel Spectral Clustering Based on MapReduce

Clustering is one of the most widely used techniques for exploratory data analysis.Spectral clustering algorithm,a popular modern clustering algorithm,has been shown to be more effective in detecting clusters than many traditional algorithms.It has applications ranging from computer vision and information retrieval to social science and biology.With the size of databases soaring,clustering algorithms have scaling computational time and memory use.In this paper,we propose a parallel spectral clustering implementation based on MapReduce.Both the computation and data storage are distributed,which solves the scalability problems for most existing algorithms.We empirically analyze the proposed implementation on both benchmark networks and a real social network dataset of about two million vertices and two billion edges crawled from Sina Weibo.It is shown that the proposed implementation scales well,speeds up the clustering without sacrificing quality,and processes massive datasets efficiently on commodity machine clusters.     

基于MapReduce技术的并行集成分类算法

由于计算机内存资源限制,分类器组合的有效性及最优性选择是机器学习领域的主要研究内容。经典的集成分类算法在处理小数据集时,拥有较高的分类准确性,但面对大量数据时,由于多基分类器学习、分类共用1台计算机资源,导致运算效率较低,这显然不适合处理当今的海量数据。针对已有集成分类算法只适合作用于小规模数据集的缺点,剖析了集成分类器的特性,采用基于聚合方式的集成分类器和云计算的MapReduce技术设计了并行集成分类算法(EMapReduce),达到并行处理大规模数据的目的。并在Amazon计算集群上模拟实验,实验结果表明该算法具有一定的高效性和可行性。     

基于MapReduce的公路视频图像车型分类研究*

分析公路视频图像,从而对经过的车辆进行较高精度的分类,是一个颇且实用价值的课题.如何在保证分类精度的同时提高系统性能,无疑是一个具有挑战性的任务.提出了一个多特征融合的分类框架,结合车辆的全局几何特征、SIFT局部特征,以及Gabor纹理特征对车辆进行分类,提高了分类精度;为了提高系统的性能,设计了基于MapReduce的并行算法,通过对图像分块,实现数据并行.实验结果表明,该方案能够在提高分类精度的基础上仍然保持较高的系统性能.     

基于MapReduce并行计算模型的报警聚合算法

随着网络攻击以及网络流量的飞速增长,分析入侵检测系统产生的海量报警信息越来越困难。MapReduce是由Google提出的一个软件架构,用于大规模数据集(大于1TB)的并行运算,提出了一种基于MapReduce并行计算模型的报警聚合算法,用于执行高效的报警归并。最后使用DARPA 2000数据集,验证了本算法可以高效地聚合报警信息,大量减少冗余报警数量。     

基于MapReduce的并行蚁群算法研究与实现

蚁群算法在处理大规模TSP问题耗时较长,为解决这一不足,给出了一种基于MapReduce编程模式的并行蚁群算法。采用MapReduce的并行优化技术对蚁群算法中最耗时的循环迭代和循环赋值部分进行改进,同时运用PC集群环境的优势将具有一定规模的小蚁群分配到对应的PC机上,使其并行执行,减少运行时间。实验证明改进后的并行蚁群算法在大数据集上运行时间明显缩短,执行效率显著提高。     

聚类分析的并行化实现技术研究

文中基于使传统聚类算法能够满足当前大数据分析的对计算效率的需求,采用将传统聚类算法分布式化的方法提高传统聚类算法效率。结合近年来广泛使用的Map Reduce分布式处理模型,对K-means、PAM、CLARA 3种算法进行了分布式化实验,并从数据规模和节点数量两个方面考察、讨论了一些影响并行算法性能的因素。实验分析表明,该方法能够有效地将聚类方法并行化,并可以应用在分布式系统当中。