云计算技术探秘及应用研究

作为一种新型的计算模式,云计算是在网格计算、并行计算等基础上发展而来的.介绍了云计算的体系结构、主要技术和应用,总结了Google的云计算核心技术:GFS文件系统、BigTable大表和MapReduce编程模式.     

基于Hadoop MapReduce模型的应用研究

MapReduce是一种简化并行计算的分布式编程模型,是Google的一项重要技术,通常被用于数据密集型的分布式并行计算.探讨了来自Apache开源的分布式计算平台Hadoop的核心设计MapReduce编程模型,并通过算法实验分析和研究了MapReduce模型的工作方式和应用方法.     

HPMR在并行矩阵计算中的应用

为了解决传统并行编程难度大、效率低的问题,提出一种基于MapReduce模型的并行编程方法,在高性能MapReduce平台上实现矩阵并行LU分解。实验结果表明,相比传统并行编程模型,MapReduce模型并行程序可较好满足高性能数值计算需求,其编程简洁性和可读性能有效提升并行编程效率。     

五种视频分析MapReduce框架对比

本文针对海量数据处理过程中的处理速度、存储空间、容错性、访问时间等方面存在的问题,通过对Google MapReduce编程模型的原理、执行流程等进行分析研究,介绍5种主要的MapReduce实现框架：Hadoop MapReduce、Apache Spark、Phoenix、Disco、Mars,以期对MapReduce编程模型在行业内的使用前景有一个较全面的认识。     

基于树型结构的MapReduce并行模型

MapReduce是Google提出的一种分布式计算模型,已在海量数据处理领域得到了广泛的应用。提出一种基于树型结构的新型MapReduce并行模型。该模型适合于利用Internet或Intranet环境下不可靠的桌面PC资源进行海量科学数据分析。该模型以P2P的形式将计算节点进行组织,模型的底层采用了P2P-MPI框架,采用基于消息传递的模式来实现MapReduce应用层。在MapReduce应用层的实现中,在Map阶段采用广播的形式来分发数据块,在Reduce阶段建立反向二叉树来实现有效的结果合并和化简。将提出的MapReduce模型与现有主流MapReduce模型进行了比较,结果表明,基于树型结构的MapReduce并行模型在容错性能方面具有较优的性能,且系统简单,易于应用开发。     

基于MapReduce的大数据计算分析

介绍了MapReduce编程框架产生的背景,研究了Hadoop MapReduce的架构和工作过程,给出了MapReduce的优缺点,并指出了下一步发展的方向.基于MapReduce的思路,从零开始实现了一个可扩展通用的MapReduce编程框架,实例证明,并行化编程MapReduce在大数据处理时的优势.     

MapReduce:新型的分布式并行计算编程模型

MapReduce是Google提出的分布式并行计算编程模型,用于大规模数据的并行处理。Ma-pReduce模型受函数式编程语言的启发,将大规模数据处理作业拆分成若干个可独立运行的Map任务,分配到不同的机器上去执行,生成某种格式的中间文件,再由若干个Reduce任务合并这些中间文件获得最后的输出文件。用户在使用MapReduce模型进行大规模数据处理时,可以将主要精力放在如何编写Map和Reduce函数上,其它并行计算中的复杂问题诸如分布式文件系统、工作调度、容错、机器间通信等都交给MapReduce系统处理,在很大程度上降低了整个编程难度。MapReduce日益成为云计算平台的主流编程模型。Apache Hadoop项目提供开源的MapReduce系统还有待进一步完善。     

基于MapReduce的H-mine算法*

频繁模式挖掘是一种非常有效的从数据中获取知识的方法,但是随着大数据时代的来临,现有算法及其计算环境的运算速度、内外存容量面临严峻挑战。针对以上问题,本文紧密结合MapReduce模型提供的高效分布式编程和运行框架,在深入分析H-mine频繁模式挖掘算法的基础上,通过对H-mine算法频繁模式挖掘过程的并行化改进,提出了一种新颖的基于MapReduce模型的H-mine算法（简称：MRH-mine）。MRH-mine算法实现了对H-mine算法在分布式运行环境下的改造,实验表明该算法在面对数据大规模增长的情况下,具有良好的性能和扩展性。     

基于Hadoop的大矩阵乘法处理方法

目前的矩阵乘法算法无法处理大规模和超大规模的矩阵,而随着MapReduce编程框架的提出,并行处理矩阵乘法成为解决大矩阵运算的主要手段。总结了矩阵乘法在MapReduce编程模型上的并行实现方法,并提出了实现高性能大矩阵乘法的策略——折中单个工作节点的计算量和需要网络传输的数据量。实验证明,并行实现算法在大矩阵上明显优于传统的单机算法,而且随着集群中节点数目的增多,并行算法会表现出更好的性能。     

基于大数据处理平台的计算任务调度的配置优化

研究介绍了基于大数据处理平台的MapReduce编程模型,并分别从单个计算机任务执行中资源配置问题及多个计算机任务执行相关资源配置优化问题进行全面分析,并通过实例分析了资源配置对MapReduce计算任务执行情况的影响,实践证明,其能够提升MapReduce计算任务性能.