云计算环境任务调度方法研究综述

随着应用程序计算需求的快速增长,异构计算资源不断地增多,任务调度成为云计算领域中重要的研究问题。任务调度负责将用户任务匹配给合适的虚拟计算资源,算法的优劣将直接影响响应时间、最大完工时间、能耗、成本、资源利用率等一系列与用户和云服务供应商经济利益密切相关的性能指标大小。针对独立任务和科学工作流这两类云环境主流任务,结合不同云环境特征对任务调度算法研究进展进行综述和讨论。回顾梳理已有的任务调度类型、调度机制及其优缺点;归纳单云环境和混合云、多云及联盟云等跨云环境下任务调度特征,并对部分相关典型文献的使用方法、优化目标、优缺点等方面进行阐述,在此基础上讨论各个环境下任务调度研究现状;进一步对各类环境下文献使用的调度优化方法进行梳理,明确其使用范围;总结并指出需要对计算数据密集型应用在跨云环境下的任务调度研究进行重点关注。     

研究型大学计算机程序设计系列课程体系建设

提出以培养计算思维为主线、以激发学术志趣为核心、以引领计算人生为目标的指导思想,构建以学生为中心的多维度、多层次、系统连贯的计算机程序设计系列课程体系,介绍系列课程中各个教学环节的具体改革措施。     

达尔文流媒体服务器用户认证扩展与应用

达尔文流媒体服务器(Darwin Streaming Server, DSS)是Apple公司开发的开源流媒体服务器架构,可运行于Windows, Linux, MacOS等多种平台.本文结合一实际通用应用项目,通过分析DSS的主要工作流程及其开发接口,研究在不改变其服务器核心代码的情况下,为解决大量用户权限管理的问题增添新的用户认证等自定义功能的方法,并对新实现的用户认证与原有的简单认证进行对比压力测试,实验说明该方法可以实现带有权限控制的复杂用户认证,且性能在大量注册用户的情况下有显著提升.     

一种周期性MapReduce作业的负载均衡策略

MapReduce任务负载均衡主要是通过分区函数来实现的,Hadoop默认的分区函数并不能很好地保证reducer的负载均衡。针对周期性的业务处理提出了一种基于权重计算的负载均衡策略,周期性任务的数据分布与历史数据相比具有相似性。本策略根据历史数据运行的信息运算出数据权重信息(文中用权重表示每条记录的处理复杂 度),再通过Map阶段抽样分析当前这批数据的分布特征来预测待处理数据带权重的整体近似分布情况,从而指导Reduce分区,以保证其负载均衡。通过简单的例子仿真了整个策略的运作过程,并且对比了与TeraSor、思路的不同点。最后通过分析用户访问视频的日志证明了文中提到的策略比默认的策略性能提高了接近1倍。     

混合SPMD模拟退火算法及其应用

模拟退火算法由于有很好的数学特性－以概率1收敛于全局最优值,再加上其算法本身与特定的问题无关,因此被广泛地用于各种组合优化问题。但是,模拟退火算法又具有收敛速度慢,执行时间长,算法性能与初始值有关及参数敏感等特点,使得它在不少应用中成为一种低效甚至是不可行的算法。文中提出一种混合SPMD模拟退火算法,在克服经典模拟退火算法内在串行性的同时,进一步和下山法结合起来,并综合多种优化方法,在一定的处理机规模内取得了可扩展和并行效果,显著提高了算法的收敛速度,克服了算法性能对初始值和参数选择的过分依赖,在提高算法性能的同时,方便了算法的使用。该算法已在一个机群系统THNPSC－1上得以实现,并在材料科学的一个定量电子晶体学研究问题中得到应用,降低了该问题的求解时间,提高了求解质量。     

基于机群系统的大规模并行搜索算法--大型离散偏微分方程组快速求解

大量的科学与工程应用中,会经常遇到复杂偏微分方程组的求解问题,这些偏微分方程组一般无法得到分析解,实际采用的是将其离散后通过数值逼近方法来求得近似解.为了得到较高的求解精度,需要将离散网格划分得足够细,但是这样就成倍地增加了计算量,许多问题就是因为计算量过大而无法求解或不得不降低精度求解.本文在机群计算平台上,针对机群计算的特点,提出了一种大规模并行搜索算法,这种算法由于可以充分发挥各个结点的计算能力,有效降低结点之间的通信,因而具有很高的效率.文中对这一算法进行了详细描述.该算法已经成功地用于压力铸造过程的流场模拟计算之中,可以有效地解决一大类大型离散偏微分方程组的求解问题.对于同样规模的一个实际问题,并行算法的求解时间相对于串行算法,从3到4天下降到3个小时,取得了很好的并行加速.     

基于Myrinet的高性能VIA设计与实现

Virtual interface architecture(VIA)建立了一种低延迟、高带宽的通信模型,定义了集群系统中用户层高性能通信规范的标准.通过分析VIA的进展、原理及当前的实现,在Myrinet上设计并实现了一个符合VIA规范的高性能用户层通信软件MyVIA.首先定义了MyVIA的设计原理和框架;然后针对MyVIA实现的不同层次,通过与BerkeleyVIA的比较,提出了UTLB、连续物理内存和可变长NIC内存管理、基于资源和DMA chain的流水线处理、物理描述子环和物理描述子动态缓存等多项优化技术.通过性能的分析比较表明,MyVIA发送4KB数据包时的带宽可达到250MB/s,最小单边延迟为8.46(s.与目前其他VIA实现相比,MyVIA的性能有了较为显著的提高.     

关于并行计算系统中加速比的研究与分析

着眼于并行计算中的加速比,重点讨论了几种通用的并行系统中的加速比模型,并且就它们各自的优点和不足进行了分析和说明,确立了它们之间的内在联系,最后结合并行系统中存在的其他因素,提出了未来加速比模型需要考虑的问题。     

一种基于Myrinet LANai9硬件支持的VIA原型实现

VIA定义了一种低延迟、高带宽的数据传输模型，成为集群系统通讯技术的工业标准。本文介绍VIA的产生背景和结构特征，详细阐述了清华大学在Myrinet LANai9硬件上实现 的VIA原型－MyVIA2，最后给出了几种用户层通信软件的测试结果和比较分析。     

MPI设计结构的分析与比较

MPICH与LAM是目前使用最广泛的MPI标准的实现。本文从设计思想和程序结构方面分析二者实现上的异同，重点比较可移植性和性能，并对二者最新版本进行了详细的性能测试。通过实例分析，提出设备层的设计要点，并为选择、移植和改进MPICH和LAM提出建议。