Mapreduce模型及支撑系统概述

MapReduce是由并行编程模型及相关支撑系统组成的数据处理框架,通过定义接口和运行时支持库,通过定义良好的接口和运行时支持库,能够自动并行执行大规模计算任务,通过隐藏底层实现细节,降低实现并行编程的难度,Hadoop是目前MapReduce框架最流行的开源实现.文章首先介绍了MapReduce并行编程模型及其hadoop的运行原理、运行机制,深入研究了MapReduce计算任务在Hadoop系统中的运行过程.     

基于MapReduce模型的并行科学计算

随着多核处理器日渐普及,开发高效易用的并行编程模型成为新的挑战,MapReduce是Google开发的一种并行分布式计算模型,在其搜索业务中获得了巨大的成功,将MapReduce模型引入科学计算领域,并结合实例阐述了如何使用面向高性能计算的HPMR/HPMR-s系统在分布式或共享存储系统中采用统一的方式描述并实现并行科学计算.     

一种基于Hadoop架构的并行挖掘算法研究

基于Hadoop架构,提出一种并行的决策树挖掘算法实现大数据集间的知识挖掘。通过MapReduce并行编程模式实现Hadoop架构下SPRINT并行挖掘算法的频繁项集,解决了大数据集挖掘效率低下,时间消耗量大的问题。SPRINT算法通过对原始数据集进行划分,并将分块数据发给不同Map进程并行计算,使系统存储和计算资源得到有效利用,运用MapReduce各计算节点将挖掘结果数据汇聚,减少中间结果数据量,使并行挖掘时间显著减少。SPRINT算法并行化实验表明,Hadoop架构下的SPRINT并行挖掘算法具有良好的可扩展性和集群加速比。     

使用MapReduce编程模型进行大规模FCD并行处理

浮动车交通信息获取技术是近几年发展起来的一种很有前景的获取城市动态交通信息的方法,它利用计算机、全球定位和无线通信技术来获取浮动车数据(FCD)进行处理。FCD经过地图匹配、路段速度推测等计算后转变为城市动态交通信息。为了能够使大规模的FCD处理快速、及时,必须采用并行计算。MapReduce最初由Google提出,它使开发人员不需太多并行编程经验就可以快速开发出能够运行在大规模分布式集群上的软件。本文基于MapReduce并行编程模型,提出了一种FCD并行处理的方法来解决大规模FCD实时处理的问题。最后在高性能集群上进行了实验,得到的近似线性加速比的结果验证了该设计方案的有效性。     

基于MapReduce并行计算模型的报警聚合算法

随着网络攻击以及网络流量的飞速增长,分析入侵检测系统产生的海量报警信息越来越困难。MapReduce是由Google提出的一个软件架构,用于大规模数据集(大于1TB)的并行运算,提出了一种基于MapReduce并行计算模型的报警聚合算法,用于执行高效的报警归并。最后使用DARPA 2000数据集,验证了本算法可以高效地聚合报警信息,大量减少冗余报警数量。     

离散客体照相模拟程序在MPI下的并行化

自编离散客体照相模拟程序DORS在MPI下采用主从式编程模型实现了并行化,采用分段法把伪随机数的生成大致平均分给各个子进程独立计算,实现了并行计算所使用的伪随机数序列和串行的完全一致,保证了并行计算结果与串行的一致,提高了离散客体的MC模拟效率,从而有效地解决了计算量大、串行算法执行时间过长的问题.     

MapReduce并行编程模型研究综述

 MapReduce并行编程模型通过定义良好的接口和运行时支持库,能够自动并行执行大规模计算任务,隐藏底层实现细节,降低并行编程的难度.本文对MapReduce的国内外相关研究现状进行了综述,阐述和分析了当前国内外与MapReduce相关的典型研究成果的特点和不足,重点对MapReduce涉及的关键技术(包括:模型改进、模型针对不同平台的实现、任务调度、负载均衡和容错)的研究现状进行了深入的分析.本文最后还对MapReduce未来的发展趋势进行了展望.     

MapReduce框架下的优化高维索引与KNN查询

针对大规模高维数据近似查询效率低下的问题,利用MapReduce编程模型在大规模集群上的数据与任务的并行计算与处理优势,提出MapReduce框架下大规模高维数据索引及KNN查询方法（iPBM）,重点突破MapReduce数据块（block）的优化划分与各数据块对计算的共同贡献两大难题,利用两阶段数据划分策略并依据相关性与并行性原则将数据均匀分配到各数据块中,设计分布式的双层空间索引结构与并行KNN查询算法,检索时利用全局索引、局部索引与二维位码索引实现三层数据过滤,大幅缩小搜索范围并降低高维向量计算代价,实验表明iPBM对大规模高维数据的近似查询具有准确性、高效性和扩展性.     

Hadoop云平台下的并行化图像处理实现

近年来,云计算在IT行业掀起了新一轮技术革新浪潮。云计算是一种新兴的计算模型,它是并行计算、分布式计算、网格计算的综合发展,以简单、透明服务的形式提供无限制的计算资源。Hadoop实现的开源云平台提供了并行计算模型MapReduce、分布式文件系统HDFS和分布式数据库HBase等。随着数字图像数据量不断增长,单机模式的图像处理已逐渐不能满足用户需求。文中提出了利用Hadoop云平台实现海量图像的并行     

云计算中MapReduce技术研究

云计算是由并行计算、分布式计算和网格计算发展而来,MapReduce是云计算的核心技术之一,它为并行系统的数据处理提供了一个简单、优雅的解决方案,其主要目的是为了大型集群的系统能在大数据集上进行并行工作,并用于大规模数据的并行运算.首先介绍了云计算与MapReduce的相关知识,然后对目前MapReduce的国内外研究状况进行了介绍与评析,并总结了目前MapReduce模型的相关研究问题,最后进行总结并展望了未来发展的趋势.     

MapReduce模型的调度及容错机制研究

MapReduce是一种并行编程模型,可以用来处理和生成大量数据集。它的调度以及容错机制是模型的重要一部分。通过对MapReduce模型的执行过程进行分析,提取得到其上面的调度以及容错模型。并将P2P模型中常用的调度思想使用于MapReduce调度模型上,对原来的调度机制和容错机制做一定的修改。     

基于MapReduce虚拟机的Deep Web数据源发现方法

为了提高Deep Web爬虫发现和搜集数据源的效率,提出了一种融合MapReduce和虚拟化技术实现DeepWeb海量数据挖掘的并行计算方法。基于MapReduce架构提出了一个Deep Web爬虫模型,通过链接过滤分类、页面过滤分类、表单过滤分类等3个MapReduce过程找到Deep Web数据源接口,并利用虚拟机构建单机集群进行性能测试。实验结果显示该方法可以实现大规模数据的并行处理,有效提高爬虫数据源发现的效率,避免网络及物理资源的浪费,验证了云计算技术在Deep Web数据挖掘方面的可行性。     

以实际算法为例评估MapReduce在石油勘探中的应用

石油勘探领域需要处理海量的地震数据,以获取地下构造用以发现和定位油藏。为评估云计算编程模型MapReduce对于石油勘探领域应用算法的适用性,设计并实现了基于MapReduce的三维Fresnel层析成像算法,实验发现MapReduce版本的性能比MPI版本慢3倍,而且对MapReduce作业调优的难度相当大。为了拓展MapReduce在石油勘探领域高性能计算领域的应用,需要在支持线程级并行、灵活性和提升I/O可扩展性3个方面进行改进,并提出了研究方法和技术路线。     

基于MapReduce的交互可视化平台

针对长时间序列的海洋环境信息交互可视化处理问题,本文提出一种基于云环境的交互可视化平台架构.可视化平台以Hadoop为基础,将GPU 、MPI并行计算引入MapReduce处理机制,实现海洋环境空间数据场大规模数据集的检索、抽取、插值计算、特征可视化分析的并行处理,达到海量数据的远程交互可视化处理目的.实验结果表明,本文提出的可视化平台架构可以有效地将MPI、GPU并行计算与MapReduce处理机制相结合,以满足海洋环境信息交互可视化的需求.     

基于低代码思想的可视化并行计算框架设计

先进装备的新型信息处理平台采用高性能多核处理器为核心的一体化架构,来满足高性能和智能化需求。为了支撑密集计算任务,需要并行计算框架来解决多核同步、负载均衡、任务调度、数据分发等并行计算应用难题。然而,现有的并行计算框架多为基于Linux的开源框架,不支持国产多核处理器;同时,基于并行计算框架的编程方式与传统的以控制算法为中心的结构化编程思路不同,对于习惯了C/C++编写串行程序的用户,基于并行计算框架编程面临许多难题。针对上述问题,在解决国产多核处理器操作系统并行计算框架适配问题的同时,基于低代码设计思想,研究简化并行计算框架编程方法、提升并行应用编程效率的技术途径,通过可视化组件配置与代码自动生成的方式,真正地降低并行编程难度,充分发挥国产多核处理器的并行计算效能。     

基于多核CPU和GPU的高光谱数据并行几何校正

针对高光谱几何校正计算复杂,大数据量频繁传输降低处理效率,无法满足实时需求等问题,提出基于多核CPU和GPU的并行计算模型。实现基于GPU的并行几何校正,并引入流水线并行思想提出基于多线程的数据读写优化方法,实现重采样部分的数据I/O优化。应用航空推扫成像仪所得高光谱数据进行实验,验证该方法能够有效地隐藏部分硬盘与内存间的数据I/O时间,几何校正加速比达到4.03,在基于GPU的并行计算基础上提高了1.74倍。     

基于区块链的代理重加密信息共享及安全多方计算模型

为了提高信息共享安全性,文章提出区块链在信息共享加密处理中的应用研究,以MapReduce编程模型作为安全多方计算框架结构,添加安全多方计算,将代理重加密处理方法与同态加密处理融为一体,形成新的信息共享加密方案。测试结果显示,与传统共识机制相比,文章提出的信息共享加密方案安全性、加密处理效率更高,可以作为共享信息加密处理工具。     

MPI并行计算在图像处理方面的应用

介绍了MPI并行计算的基本概念和并行计算集群的实现,着重论述了图像处理算法的并行实现方法。列举了提高并行算法效率的一些措施。在并行计算集群上实现了灰度相关匹配算法和快速傅里叶变换算法,对它们的实验结果进行了分析和对比,通过实验数据说明了并行计算通信量和并行计算效率的关系,提出了并行计算在图像处理方面的适用范围。     

一种并行化的分类算法研究

研究并实现了基于Spark的KNN算法的并行构建.分析了MapReduce模型和Spark在处理迭代计算方面的优劣,结合KNN算法的自身特点设计了对应的Map算子和Reduce算子,实现了KNN算法的Spark并行化.实验结果表明,较传统的KNN串行算法和MapReduce并行KNN算法,基于Spark的并行KNN分类算法具有较好的效率和较高的可扩展性.     

大数据挖掘中的MapReduce并行聚类优化算法研究

针对传统数据挖掘算法只适用于小规模数据挖掘处理,由于数据规模不断增大,其存在计算效率低、内存不足等问题,文中将MapReduce用于数据挖掘领域,对大数据挖掘中的MapReduce进行了并行化改进,并设计相应的并行化实现模型,以期满足大数据分析需求,完成低成本、高性能的数据并行挖掘与处理。