MapReduce并行编程架构模型研究

针对高质量高效率的MapReduce应用程序的开发,分析了基于Hadoop MapReduce模型的工作机制,从开发类库级阐述了MapReduce并行工作流程,提出了一个具有通用性的MapReduce开发框架原型,对开源的Ma-pReduce模型的改进作了一些展望.     

MapReduce并行编程模型研究综述

 MapReduce并行编程模型通过定义良好的接口和运行时支持库,能够自动并行执行大规模计算任务,隐藏底层实现细节,降低并行编程的难度.本文对MapReduce的国内外相关研究现状进行了综述,阐述和分析了当前国内外与MapReduce相关的典型研究成果的特点和不足,重点对MapReduce涉及的关键技术(包括:模型改进、模型针对不同平台的实现、任务调度、负载均衡和容错)的研究现状进行了深入的分析.本文最后还对MapReduce未来的发展趋势进行了展望.     

基于MapReduce的并行k-modes算法

k-modes是一种代表性的分类数据的聚类算法。首先对k-modes聚类算法的实现过程进行了改进:通过在分配数据对象到簇时更新这个簇中各个属性项的次数,使得在遍历一次全部数据对象就能计算出新的簇中心。为了使k-modes能够处理大规模分类数据,在Hadoop平台上用MapReduce并行计算模型实现了k-modes算法。实验表明:在处理大量数据时,并行k-modes比串行k-modes极大地缩短了聚类时间,取得了较好的加速比。     

多处理机的并行图形系统简介

简要介绍了计算机图形系统的多处理机并行结构的发展趋势及其主要设计问题,在此基础上,介绍了图形并行处理系统的两种结构方案。     

基于MapReduce技术的并行集成分类算法

由于计算机内存资源限制,分类器组合的有效性及最优性选择是机器学习领域的主要研究内容。经典的集成分类算法在处理小数据集时,拥有较高的分类准确性,但面对大量数据时,由于多基分类器学习、分类共用1台计算机资源,导致运算效率较低,这显然不适合处理当今的海量数据。针对已有集成分类算法只适合作用于小规模数据集的缺点,剖析了集成分类器的特性,采用基于聚合方式的集成分类器和云计算的MapReduce技术设计了并行集成分类算法(EMapReduce),达到并行处理大规模数据的目的。并在Amazon计算集群上模拟实验,实验结果表明该算法具有一定的高效性和可行性。     

基于MapReduce的并行蚁群算法研究与实现

蚁群算法在处理大规模TSP问题耗时较长,为解决这一不足,给出了一种基于MapReduce编程模式的并行蚁群算法。采用MapReduce的并行优化技术对蚁群算法中最耗时的循环迭代和循环赋值部分进行改进,同时运用PC集群环境的优势将具有一定规模的小蚁群分配到对应的PC机上,使其并行执行,减少运行时间。实验证明改进后的并行蚁群算法在大数据集上运行时间明显缩短,执行效率显著提高。     

基于指纹模型的海量模式并行匹配方法研究

精确字符串匹配技术多年来一直被学术界广泛研究.近年来,海量模式匹配的性能问题备受学者们的关注.本文提出了一种基于指纹模型的海量模式并行匹配方法.首先,将海量模式集以长度为衡量标准划分子集.其次,利用动态规划的思想将这些子集合并.最后,调节各子集的冲突率,并通过贪心算法调度到多核处理器中.实验表明,与已有的指纹模型海量模式匹配方法和模式集合划分方法相比,本文提出的方法在性能上有一定提升.     

基于任务的并行编程模型

通过现阶段的并行编程情况,介绍了几种常用的并行编程模型,每种模型的适用情况各不一样,通过介绍基于任务的并行编程模型,能够看出任务并行的优点,程序员的工作不再繁重,而且其效率和性能更高。     

基于广播共享存贮器的并行计算机EP—860的研究与实现

本文介绍了一种新型的并行计算机系统ＥＰ—８６０。由于它采用了独特的广播共享存贮器技术，使得整个系统兼顾有着松散耦合和紧密耦合两种系统的优点。系统扩展性好，便于用户编程。用户编程时只需将共享变量放到广播共享存贮器中，用访存指令即可实现通信，无需专门的通信命令。此外，本系统还具有结构简单，便于实现，经济实用等优点。     

使用MapReduce编程模型进行大规模FCD并行处理

浮动车交通信息获取技术是近几年发展起来的一种很有前景的获取城市动态交通信息的方法,它利用计算机、全球定位和无线通信技术来获取浮动车数据(FCD)进行处理。FCD经过地图匹配、路段速度推测等计算后转变为城市动态交通信息。为了能够使大规模的FCD处理快速、及时,必须采用并行计算。MapReduce最初由Google提出,它使开发人员不需太多并行编程经验就可以快速开发出能够运行在大规模分布式集群上的软件。本文基于MapReduce并行编程模型,提出了一种FCD并行处理的方法来解决大规模FCD实时处理的问题。最后在高性能集群上进行了实验,得到的近似线性加速比的结果验证了该设计方案的有效性。     

基于MapReduce云计算模型的自由液面模拟

Simulating turbulent liquids with breaking waves and splashes is among the most desired features in fluid animation. Lagrangian methods such as Smoothed Particle Hydrodynamics method (SPH) are a promising way to capture such properties . However, the Particlebased liquid surface simulation has not been applied very well since its consumption is way too large. This paper derives the governing equations in SPH approaches and parallelizes the dynamicsbased surface simulation with the MapReduce program models which apply the SPH approach in Cloud Computing. Compared to the serial methods , this approach obtained a 3.11 times speedup on the experimental platform.     

云计算中MapReduce技术研究

云计算是由并行计算、分布式计算和网格计算发展而来,MapReduce是云计算的核心技术之一,它为并行系统的数据处理提供了一个简单、优雅的解决方案,其主要目的是为了大型集群的系统能在大数据集上进行并行工作,并用于大规模数据的并行运算.首先介绍了云计算与MapReduce的相关知识,然后对目前MapReduce的国内外研究状况进行了介绍与评析,并总结了目前MapReduce模型的相关研究问题,最后进行总结并展望了未来发展的趋势.     

基于MapReduce的并行Web服务自动组合

如何在大规模的Web服务集合中进行快速、高效的自动组合是当前Web服务组合研究与应用的难点.传统的Web服务自动组合方法大多建立在单机计算基础上,服务数量一旦过多,规划或搜索空间随之膨胀,组合效率低下.本文提出了一种分步分治、深度优先搜索的Top-k Qos服务组合算法,并采用MapReduce实现了分布式、并行的服务自动组合过程.实验结果表明,该方法在应对大规模的服务集合时,能快速、高效的提供满足用户需求的组合服务.     

基于MapReduce的术语权重计算方法研究

术语识别在本体构建、词典构建等领域应用广泛,而术语权重计算是术语识别中的关键步骤。本文通过改进TF-IDF公式,将组成术语词条的长度作为权重因素之一,同时考虑术语在文档集中的领域相关性。整个过程基于MapReduce编程模型实现,在Hadoop云平台中以分布式方式计算候选领域术语的权重。实验结果表明,该方法不仅简化了术语权重计算的实施步骤,也提高了算法执行效率。     

基于MapReduce并行计算模型的报警聚合算法

随着网络攻击以及网络流量的飞速增长,分析入侵检测系统产生的海量报警信息越来越困难。MapReduce是由Google提出的一个软件架构,用于大规模数据集(大于1TB)的并行运算,提出了一种基于MapReduce并行计算模型的报警聚合算法,用于执行高效的报警归并。最后使用DARPA 2000数据集,验证了本算法可以高效地聚合报警信息,大量减少冗余报警数量。