共查询到16条相似文献,搜索用时 46 毫秒
1.
MapReduce并行编程架构模型研究 总被引:2,自引:0,他引:2
针对高质量高效率的MapReduce应用程序的开发,分析了基于Hadoop MapReduce模型的工作机制,从开发类库级阐述了MapReduce并行工作流程,提出了一个具有通用性的MapReduce开发框架原型,对开源的Ma-pReduce模型的改进作了一些展望. 相似文献
2.
MapReduce并行编程模型通过定义良好的接口和运行时支持库,能够自动并行执行大规模计算任务,隐藏底层实现细节,降低并行编程的难度.本文对MapReduce的国内外相关研究现状进行了综述,阐述和分析了当前国内外与MapReduce相关的典型研究成果的特点和不足,重点对MapReduce涉及的关键技术(包括:模型改进、模型针对不同平台的实现、任务调度、负载均衡和容错)的研究现状进行了深入的分析.本文最后还对MapReduce未来的发展趋势进行了展望. 相似文献
3.
k-modes是一种代表性的分类数据的聚类算法。首先对k-modes聚类算法的实现过程进行了改进:通过在分配数据对象到簇时更新这个簇中各个属性项的次数,使得在遍历一次全部数据对象就能计算出新的簇中心。为了使k-modes能够处理大规模分类数据,在Hadoop平台上用MapReduce并行计算模型实现了k-modes算法。实验表明:在处理大量数据时,并行k-modes比串行k-modes极大地缩短了聚类时间,取得了较好的加速比。 相似文献
4.
5.
由于计算机内存资源限制,分类器组合的有效性及最优性选择是机器学习领域的主要研究内容。经典的集成分类算法在处理小数据集时,拥有较高的分类准确性,但面对大量数据时,由于多基分类器学习、分类共用1台计算机资源,导致运算效率较低,这显然不适合处理当今的海量数据。针对已有集成分类算法只适合作用于小规模数据集的缺点,剖析了集成分类器的特性,采用基于聚合方式的集成分类器和云计算的MapReduce技术设计了并行集成分类算法(EMapReduce),达到并行处理大规模数据的目的。并在Amazon计算集群上模拟实验,实验结果表明该算法具有一定的高效性和可行性。 相似文献
6.
基于MapReduce的并行蚁群算法研究与实现 总被引:4,自引:1,他引:4
蚁群算法在处理大规模TSP问题耗时较长,为解决这一不足,给出了一种基于MapReduce编程模式的并行蚁群算法。采用MapReduce的并行优化技术对蚁群算法中最耗时的循环迭代和循环赋值部分进行改进,同时运用PC集群环境的优势将具有一定规模的小蚁群分配到对应的PC机上,使其并行执行,减少运行时间。实验证明改进后的并行蚁群算法在大数据集上运行时间明显缩短,执行效率显著提高。 相似文献
7.
精确字符串匹配技术多年来一直被学术界广泛研究.近年来,海量模式匹配的性能问题备受学者们的关注.本文提出了一种基于指纹模型的海量模式并行匹配方法.首先,将海量模式集以长度为衡量标准划分子集.其次,利用动态规划的思想将这些子集合并.最后,调节各子集的冲突率,并通过贪心算法调度到多核处理器中.实验表明,与已有的指纹模型海量模式匹配方法和模式集合划分方法相比,本文提出的方法在性能上有一定提升. 相似文献
8.
9.
通过现阶段的并行编程情况,介绍了几种常用的并行编程模型,每种模型的适用情况各不一样,通过介绍基于任务的并行编程模型,能够看出任务并行的优点,程序员的工作不再繁重,而且其效率和性能更高。 相似文献
10.
本文介绍了一种新型的并行计算机系统EP—860。由于它采用了独特的广播共享存贮器技术,使得整个系统兼顾有着松散耦合和紧密耦合两种系统的优点。系统扩展性好,便于用户编程。用户编程时只需将共享变量放到广播共享存贮器中,用访存指令即可实现通信,无需专门的通信命令。此外,本系统还具有结构简单,便于实现,经济实用等优点。 相似文献
11.
使用MapReduce编程模型进行大规模FCD并行处理 总被引:1,自引:0,他引:1
浮动车交通信息获取技术是近几年发展起来的一种很有前景的获取城市动态交通信息的方法,它利用计算机、全球定位和无线通信技术来获取浮动车数据(FCD)进行处理。FCD经过地图匹配、路段速度推测等计算后转变为城市动态交通信息。为了能够使大规模的FCD处理快速、及时,必须采用并行计算。MapReduce最初由Google提出,它使开发人员不需太多并行编程经验就可以快速开发出能够运行在大规模分布式集群上的软件。本文基于MapReduce并行编程模型,提出了一种FCD并行处理的方法来解决大规模FCD实时处理的问题。最后在高性能集群上进行了实验,得到的近似线性加速比的结果验证了该设计方案的有效性。 相似文献
12.
Simulating turbulent liquids with breaking waves and splashes is among the most desired features in fluid animation. Lagrangian methods such as Smoothed Particle Hydrodynamics method (SPH) are a promising way to capture such properties . However, the Particlebased liquid surface simulation has not been applied very well since its consumption is way too large. This paper derives the governing equations in SPH approaches and parallelizes the dynamicsbased surface simulation with the MapReduce program models which apply the SPH approach in Cloud Computing. Compared to the serial methods , this approach obtained a 3.11 times speedup on the experimental platform. 相似文献
13.
云计算中MapReduce技术研究 总被引:1,自引:0,他引:1
云计算是由并行计算、分布式计算和网格计算发展而来,MapReduce是云计算的核心技术之一,它为并行系统的数据处理提供了一个简单、优雅的解决方案,其主要目的是为了大型集群的系统能在大数据集上进行并行工作,并用于大规模数据的并行运算.首先介绍了云计算与MapReduce的相关知识,然后对目前MapReduce的国内外研究状况进行了介绍与评析,并总结了目前MapReduce模型的相关研究问题,最后进行总结并展望了未来发展的趋势. 相似文献
14.
15.