考虑服务质量的并行MapReduce启发式车载云资源调度

为提高车载云计算资源调度的可靠性,减少数据处理时间,提出一种服务质量感知的并行MapReduce启发式车载云资源调度算法。在MapReduce并行计算模型的基础上,设计云计算环境中以车载单元为基础的车辆并行检测服务框架,利用相对优先级因子构建车载云计算调度模型,并通过启发式并行优化算法对模型进行优化,降低算法复杂度。在NS-3中的仿真结果表明,该算法可有效缩短作业执行时间,并具有较高的可靠性。     

基于Hadoop MapReduce模型的应用研究

MapReduce是一种简化并行计算的分布式编程模型,是Google的一项重要技术,通常被用于数据密集型的分布式并行计算.探讨了来自Apache开源的分布式计算平台Hadoop的核心设计MapReduce编程模型,并通过算法实验分析和研究了MapReduce模型的工作方式和应用方法.     

奇偶直方图负载均衡超立方对等云MapReduce模型*

针对传统MapReduce算法结构在处理大数据时,负载均衡性能不理想的缺点,设计了一种具有负载均衡机制的层次MapReduce模型。该模型利用超立方拓扑结构对MapReduce的映射操作进行改进,通过特定算法将八个结构化的数据中心链接到一个对等的云环境结构中,并使用奇偶直方图组合采样方式的均衡划分方法,实现在用户请求下的节点工作负荷指数均衡。最后,基于Hadoop框架对所提算法进行仿真实验,结果显示本文所提算法结构相对于原始MapReduce结构,具有更高的并行计算的资源利用率,以及更佳的容错和负载均衡性能,综合性能得到有效提升。     

基于改进量子粒子群的分布式并行计算框架设计

为了实现用户任务在大规模计算机集群上进行高效地处理,并克服现有并行计算框架通用性不强的缺点,提出了一种基于改进量子群算法和Map-Reduce模型的通用并行计算框架;首先,对经典的Map-Reduce分布式并行计算框架以及并行计算流程进行了具体描述;然后,基于改进的量子粒子群算法设计了改进的Map-Reduce模型,在Map阶段通过多种群并行搜索并计算所有粒子适应度,在Shuffle和Sort阶段实现粒子的排序和种群的重新划分,然后在Reduce阶段更新控制系数和粒子位置,当最优解不变时,通过混沌扰动对其进行扰动;仿真实验表明同,文中设计的基于改进量子粒子群算法和Map-Reduce模型能高效地执行任务,较传统的MapReduce模型具有较少的执行时间,具有很强的可行性,是一种有效的通用并行计算模型。     

基于排队网络的多优先级MapReduce作业调度算法

MapReduce是一个能够对大规模数据进行分布式处理的框架,目前被各个领域广泛应用。在提供MapReduce服务的集群中,如何保证不同优先级用户的截止时间限定是MapReduce作业调度问题的一个挑战。针对这一问题,提出了一个基于排队网络的多优先级作业调度算法（MPSA）。首先分析和归纳了基于MapReduce模型的算法,提出了三种常见模式,采用Jackson排队网络对基于MapReduce模型的算法建立了数学模型,应用该网络模型可以求出不同优先级队列对资源的需求;随后使用AR(1)模型进行预测,使算法可以动态地适应不同的用户访问量;利用二分查找算法,分步计算出不同优先级在map阶段和reduce阶段分配的槽位数;最后实现了在MapReduce模型中应用的实时调度算法。实验结果表明,与传统的FIFO和公平调度算法相比,本文提出的算法在用户到达率和任务规模变化的情况下,可以更加有效地满足不同优先级用户的截止时间限定。     

MapReduce模型中reduce阶段负载均衡分区算法研究

MapReduce是一种处理大规模数据的并行计算模型,针对传统模型中reduce阶段各个结点负载不均衡的问题,提出一种reduce阶段负载均衡分区算法.算法将map阶段产生的中间数据划分为更多的分区,减少了每个分区的工作量,每次给reducetask分配一个分区,reducetask完成一个分区的工作之后会继续获得新的分区,直到所有的分区都被分配完毕,实现了动态调节reducetask的负载.还改进了MapReduce的通信协议来支持算法并且设计了新的容错机制.最后,通过重写Hadoop平台内核实现了算法并进行了实验分析,结果表明,该算法在不影响MapReduce模型的情况下显著的缩短了任务的处理时间.     

Hadoop平台下改进的LATE调度算法

对Hadoop平台下的MapReduce现有的调度器进行分析研究。针对LATE调度算法在分配节点执行落后任务的备份任务时的不足,结合Hadoop集群的异构性和工作负载的特殊性,在LATE调度算法的基础上提出了一种改进的LATE调度算法。对该算法进行实验和性能分析,表明该算法在完成时间和负载均衡方面有很大改进。     

F1owS:一种MapReduce数据流公平调度方法

MapReduce Job的调度机制一直是学术研究的热点。在分析MapReduce数据流调度模型的基础上,提出一种面向MapReduce数据流的公平调度方法FlowS。该方法采用数据流池来分配资源以保证MapReduce数据流的隔离性,并且采用数据流池动态构建算法来确保资源的公平分配。实验表明,该调度方法可以有效提高Hadoop集群对MapReduce数据流的处理效率。     

基于MapReduce的Bagging决策树优化算法

针对经典C4.5决策树算法存在过度拟合和伸缩性差的问题,提出了一种基于Bagging的决策树改进算法,并基于MapReduce模型对改进算法进行了并行化。首先,基于Bagging技术对C4.5算法进行了改进,通过有放回采样得到多个与初始训练集大小相等的新训练集,并在每个训练集上进行训练,得到多个分类器,再根据多数投票规则集成训练结果得到最终的分类器;然后,基于MapReduce模型对改进算法进行了并行化,能够并行化处理训练集、并行选择最佳分割属性和最佳分割点,以及并行生成子节点,实现了基于MapReduce Job工作流的并行决策树改进算法,提高了对大数据集的分析能力。实验结果表明,并行Bagging决策树改进算法具有较高的准确度与敏感度,以及较好的伸缩性和加速比。     

基于Hadoop云计算模型探究

云计算是并行计算、分布式计算和网格计算的发展。文中详细地阐述了MapReduce的编程思想、工作原理、步骤和方法。探讨了来自Apache开源的分布式计算平台Hadoop的核心设计MapReduce编程模型,并通过算法实验分析和研究了MapReduce模型的工作方式和应用方法。     

基于Agent的分布计算环境

为适应分布计算向分散对等的协同计算方向发展，我们开展了基于ａｇｅｎｔ的分布计算环境的研究开发，试图在分布式多ａｇｅｎｔ协同工作系统的开发与当前的分布计算环境之间架起一座桥梁。本文讨论了ａｇｅｎｔ的独立性、自主性和交互性的特点，描述了以事件处理为核心的ａｇｅｎｔ基本模型；研究了基于ａｇｅｎｔ的分布计算环境的构造技术；分析了一种基于ａｇｅｎｔ模型的客户／服务器计算环境ＣＳＥ／ＭＡ的设计与实现，及其超越     

基于网格的3D Monte Carlo 算法及协同计算研究

MonteCarlo算法在高分子研究领域占有相当重要的地位。本文在网格环境下实现了三维格点MonteCarlo算法在高分子链领域中的一个应用实例的并行化，研究了网格环境下的3D的MC算法协同计算，并且实现了该算法的协同演示。     

基于Scilab的分布式并行计算方法的研究

文章利用Scilab构建分布并行计算的支撑环境，为实现分布并行计算提供了新方法。设计了Netbutterfly Grid Computing System（NGCS），讨论了NGCS的体系结构，任务分布、系统通信和容错机制等关键问题。最后给出网格计算环境下基于Scilab的一个分布并行计算实例，实验的结果是令人满意的。     

基于生命周期观点的绿色计算及其研究内容分析

随着人类生存环境的恶化和各种燃料资源的日益枯竭,绿色计算的研究越来越受到人们的重视。从IT产品的生命周期观点出发探讨了绿色计算的定义,分析了绿色计算从硬件系统、软件系统、系统用户和人类社会四个角度来阐述所包含的研究内容。     

基于VMware vSphere虚拟化资源管理平台研究

服务器虚拟化以"资源集中、按需分配、动态管理"为原则,提高生产成果的可重用性,降低研发成本,缩短产品的研发周期,提高系统研发和生产效率。介绍结合VMware vSphere SDK与工作流的方式形成的虚拟化资源管理平台,提供灵活可靠的IT资源调度服务。     

基于GPU的金属工件表面缺陷检测算法的研究

在金属工件的生产过程中,不可避免地会生产出一些不良品,必须进行快速识别。缺陷检测系统需使用图像采集设备采集金属工件的表面图像,完成混合噪声滤除等预处理后,进行图像配准并使用差影法分割图像,然后标记缺陷和提取缺陷纹理特征,最后进行工件缺陷的分类和识别。为了提高金属工件表面检测系统的检测速度,以满足高速生产流水线对检测系统的高实时性要求,依托GPU平台设计了一套合理的并行算法来完成不合格工件的自动检出工作。实验结果表明,在满足检测精度的前提下,基于GPU的并行图像处理算法相对于串行算法能取得较好的加速效果(实验环境为3.2~10.3倍加速比),为工件表面缺陷的快速检测提供了一种新的途径。     

基于CUDA平台的规则LDPC码的译码实现研究

低密度奇偶校验(LDPC)码性能优越,允许全并行高速译码,已经在个人数字设备、移动无线通信等领域显示出了很大的应用价值,极可能取代Turbo码成为第四代移动通信的首选编码方案。NVIDIA公司的CUDA是一种新的用于GPU通用计算的软硬件架构。基于CUDA平台程序员可以写出C风格的代码来启动大量的GPU线程并行工作。基于CUDA平台提出和研究一种AWGN信道下的规则LDPC码的译码实现方案。仿真实验对LDPC码译码的CPU实现和CUDA实现的性能作了详细比较。研究表明CUDA能够带来明显的性能提升。     

Cluster环境下p—HPF编译器支持的并行计算范式

p-HPF是研制的一个符合HPF（high performance Fortran)规范的并行编译系统,以HPF为核心实现多范式并行计算是开发大型并行应用系统的基础。首先论述了Cluster环境下的并行运行范式,包括farm parallel范式、流水线并行、流循环并行、基于数据并行和组合数据并行等,抽象分析了它们的性能,接着给出了利用p-HPF的外部过程机制、任务并行机制以以FORALL,INDEPENDENT DO等典型并行语句实现几种典型并行范式的方法,给出了实例程序,对实例进行了实际运行并对运行结果进行了分析。     

并行编译线程的设计与分析

分析研究了动态编译器编译过程的性能瓶颈，提出了通过引入并行编译线程解决代码编译和垃圾代码回收问题的设计思想。借助线程通信机制，可以创建专用的动态编译线程进行代码编译。同时还分析了编译线程的优点和局限。最后通过测量基准测试程序的性能指出并行编译线程对程序性能有相当的改善。     

企业级应用系统框架的研究

本文以分布式计算为理论基础，结合企业级应用的特点，分别从传统型中间件和平台型中间件两种类型的中间件对中间件技术进行了论述，最后提出了一个企业级应用的系统框架。