一种周期性MapReduce作业的负载均衡策略

MapReduce任务负载均衡主要是通过分区函数来实现的,Hadoop默认的分区函数并不能很好地保证reducer的负载均衡。针对周期性的业务处理提出了一种基于权重计算的负载均衡策略,周期性任务的数据分布与历史数据相比具有相似性。本策略根据历史数据运行的信息运算出数据权重信息(文中用权重表示每条记录的处理复杂 度),再通过Map阶段抽样分析当前这批数据的分布特征来预测待处理数据带权重的整体近似分布情况,从而指导Reduce分区,以保证其负载均衡。通过简单的例子仿真了整个策略的运作过程,并且对比了与TeraSor、思路的不同点。最后通过分析用户访问视频的日志证明了文中提到的策略比默认的策略性能提高了接近1倍。     

混合SPMD模拟退火算法及其应用

模拟退火算法由于有很好的数学特性－以概率1收敛于全局最优值,再加上其算法本身与特定的问题无关,因此被广泛地用于各种组合优化问题。但是,模拟退火算法又具有收敛速度慢,执行时间长,算法性能与初始值有关及参数敏感等特点,使得它在不少应用中成为一种低效甚至是不可行的算法。文中提出一种混合SPMD模拟退火算法,在克服经典模拟退火算法内在串行性的同时,进一步和下山法结合起来,并综合多种优化方法,在一定的处理机规模内取得了可扩展和并行效果,显著提高了算法的收敛速度,克服了算法性能对初始值和参数选择的过分依赖,在提高算法性能的同时,方便了算法的使用。该算法已在一个机群系统THNPSC－1上得以实现,并在材料科学的一个定量电子晶体学研究问题中得到应用,降低了该问题的求解时间,提高了求解质量。     

基于机群系统的大规模并行搜索算法--大型离散偏微分方程组快速求解

大量的科学与工程应用中,会经常遇到复杂偏微分方程组的求解问题,这些偏微分方程组一般无法得到分析解,实际采用的是将其离散后通过数值逼近方法来求得近似解.为了得到较高的求解精度,需要将离散网格划分得足够细,但是这样就成倍地增加了计算量,许多问题就是因为计算量过大而无法求解或不得不降低精度求解.本文在机群计算平台上,针对机群计算的特点,提出了一种大规模并行搜索算法,这种算法由于可以充分发挥各个结点的计算能力,有效降低结点之间的通信,因而具有很高的效率.文中对这一算法进行了详细描述.该算法已经成功地用于压力铸造过程的流场模拟计算之中,可以有效地解决一大类大型离散偏微分方程组的求解问题.对于同样规模的一个实际问题,并行算法的求解时间相对于串行算法,从3到4天下降到3个小时,取得了很好的并行加速.     

基于Myrinet的高性能VIA设计与实现

Virtual interface architecture(VIA)建立了一种低延迟、高带宽的通信模型,定义了集群系统中用户层高性能通信规范的标准.通过分析VIA的进展、原理及当前的实现,在Myrinet上设计并实现了一个符合VIA规范的高性能用户层通信软件MyVIA.首先定义了MyVIA的设计原理和框架;然后针对MyVIA实现的不同层次,通过与BerkeleyVIA的比较,提出了UTLB、连续物理内存和可变长NIC内存管理、基于资源和DMA chain的流水线处理、物理描述子环和物理描述子动态缓存等多项优化技术.通过性能的分析比较表明,MyVIA发送4KB数据包时的带宽可达到250MB/s,最小单边延迟为8.46(s.与目前其他VIA实现相比,MyVIA的性能有了较为显著的提高.     

一种基于Myrinet LANai9硬件支持的VIA原型实现

VIA定义了一种低延迟、高带宽的数据传输模型，成为集群系统通讯技术的工业标准。本文介绍VIA的产生背景和结构特征，详细阐述了清华大学在Myrinet LANai9硬件上实现 的VIA原型－MyVIA2，最后给出了几种用户层通信软件的测试结果和比较分析。     

关于并行计算系统中加速比的研究与分析

着眼于并行计算中的加速比,重点讨论了几种通用的并行系统中的加速比模型,并且就它们各自的优点和不足进行了分析和说明,确立了它们之间的内在联系,最后结合并行系统中存在的其他因素,提出了未来加速比模型需要考虑的问题。     

LINPACK与机群系统的LINPACK测试

一、引言 LINPACK是一个用Fortran语言编写的线性代数软件包,主要用于求解线性方程和线性最小平方问题。该软件包提供了各种线性系统中的求解方法,比如各种各样的矩阵运算,可以从文[2]得到完整的LINPACK软件包。LINPACK的初衷并不是制订一个测试计算机性能的统一标准,而只是提供一些常用的计算方法的实现,但是由于该软件包的广泛使用,这样就为通过LINPACK例程来比较不同计算机的性能提供了可能。“LINPACK User’s Guide”是一本最早对LINPACK进行系统介绍的书,在该书的附录中,给出了当时23台不同类型的机器用高斯消去法求解稠密线性方程组AX=B所需要的     

达尔文流媒体服务器用户认证扩展与应用

达尔文流媒体服务器(Darwin Streaming Server, DSS)是Apple公司开发的开源流媒体服务器架构,可运行于Windows, Linux, MacOS等多种平台.本文结合一实际通用应用项目,通过分析DSS的主要工作流程及其开发接口,研究在不改变其服务器核心代码的情况下,为解决大量用户权限管理的问题增添新的用户认证等自定义功能的方法,并对新实现的用户认证与原有的简单认证进行对比压力测试,实验说明该方法可以实现带有权限控制的复杂用户认证,且性能在大量注册用户的情况下有显著提升.     

一种HPF编译系统的研究与实现*

HPF(high performance Fortran)是一种典型的数据并行语言,HPF编译系统的实现是并行计算研究领域的一个难点.文章介绍了一个HPF编译系统的研究与实现情况,在对该系统的主要组成进行了简要介绍之后,着重讨论了系统实现中的若干关键技术,并列出了部分HPF源程序及其编译器生成的相应代码,最后给出了对该编译器的一些性能测试结果和有关问题的讨论.     

一种HPF程序的监测与分析工具

该文介绍了一个构筑在HPF(high performance Fortran)编译系统之上的性能监测与性能分析工具.文章概述了HPF编译系统,讨论了性能分析的重要性及主要任务,详细介绍了这一工具所使用的性能分析方法和性能监测与性能数据收集方法,并对此工具的使用效果进行了总结.