大规模并行计算机作业调度评价

大规模并行计算机的作业调度直接关系到其计算能力的发挥,因而相应的研究具有十分重要的意义。论文通过对国外现有作业调度评价体系的研究,建立了更能反映并行作业特点的作业调度策略评价体系,在此基础上设计并实现了一个作业模拟调度环境。模拟调度环境采用事件驱动的工作模式,支持FCFS、大作业优先、小作业优先、长作业优先、短作业优先、GANG等调度策略。模拟测试结果表明,GANG调度策略优于所有测试的空间共享调度策略;同时在空间共享调度策略中,短作业优先策略和大作业优先策略具有较好的性能。     

云计算中面向SLA的作业分层优先级调度策略

为了满足云计算中服务提供商和服务消费者双方协商的服务等级协议(SLA),提出在云计算环境下采用元调度和本地调度两层框架结构;在每层上采用了多级反馈队列调度算法,设置了基于截止期限、短作业优先等不同优先级的队列,并设计元调度器完成资源的分配和监控。实验仿真结果表明,该调度策略可以满足用户对作业处理时间的需求,保障了云计算SLA。     

先来先服务与短作业优先调度算法的比较

为了打破处理机等资源限制,通过不同的调度算法,按照一定规律,允许不同的进程占用处理机,分配资源。依据系统资源分配策略分配资源的算法是调度算法。调度算法也可用于进程调度和作业调度。当系统性能和系统目标不同时,要选择不同的调度算法。基于此,针对调度算法中最简单的两种算法——先来先服务调度算法和短作业优先调度算法,分别介绍并比较。     

一种异构NOWs上负载均衡的适应式并行调度算法

分析了并行作业调度算法，针对异构工作站群机系统(Network of Workstations，NOWs)提出了一种负载均衡的适应式划分(Adaptive Partition，AP)策略的并行调度算法，它利用了短作业需求优先(Shortest Demand First，SDF)的策略，主要思想是让系统中所有作业尽可能均分同时结束，以达到均衡负载。实验结果证明该算法公平和高效。     

公平性考虑的短作业优先内存调度策略

针对片上多核平台下多线程访问共享内存资源的不公平性、低效性问题,提出公平性考虑的短作业优先内存调度策略,采用设置请求最大等待时间保证线程访问公平性,短作业优先策略缩小请求平均等待时间,关注线程本身固有的并行性.实验结果证明,该策略在多线程访问时IPC性能提升明显,最高性能提升达到43％.     

TinyOS中DSA调度策略的研究

针对TinyOS任务调度采用非剥夺的先来先服务调度策略,而产生的系统紧急任务不能及时得到响应及节点吞吐量下降情况,该文提出一种新的可抢占时限短作业调度策略——DSA。在绝对时限前执行硬实时任务,满足了系统对实时任务的响应要求,提高处理器的响应速度,对软实时任务实行短作业优先调度策略,提高系统的吞吐量。在TinyOS上测试表明,DSA策略在不影响TinyOS原有性能的情况下,改进了传感器网络承担实时性任务的运行效果。     

DAS:GSPN成员载波动态自适应调度策略

随着移动业务需求的多样化,有限的无线频谱资源已无法满足用户对高质量、高效率和高带宽的数据业务的需求。在现有的低频载波环境下,引入高频载波可以有效扩大系统容量。在同一小区部署多个成员载波的过程中,成员载波调度策略是其中的关键问题之一,直接影响LTE用户的服务质量(Qulity of Service,QoS)和无线资源的利用率。针对蜂窝网络中成员载波的调度策略问题,采用广义随机Petri网(Generalized Stochastic Petri Nets,GSPN)方法建立了多成员载波系统模型,同时在分析用户业务类型和成员载波特性的基础上,提出了一种动态自适应调度策略(Dynamic Adaptive Scheduling,DAS)。通过TimeNets仿真工具,对系统中成员载波选择、用户排队机制和资源块(Resource Block,RB)分配等要素构建仿真环境。仿真实验结果表明:一方面,动态自适应调度策略(Dynamic Adaptive Scheduling,DAS)的掉线率低于基于服务类型的调度策略(Based-Service Scheduling,BSS)和最短队列优先调度策略(Shortest Queue priority Scheduling,SQP);另一方面,在相同的到达率的前提下,在到达率较低时,其吞吐量逼近于基于服务类型的调度策略BSS;在到达率较高时,逼近于最短队列优先调度策略SQP。     

基于Hadoop的三队列作业调度算法

Hadoop集群单队列作业调度会产生短作业等待、资源利用率低的问题;采用多队列调度可兼顾公平、提高执行效率,但会带来手工配置参数、资源互占、算法复杂等问题。针对上述问题,提出三队列作业调度算法,利用区分作业类型、动态调整作业优先级、配置共享资源池、作业抢占等设计,达到平衡作业需求、简化一般作业调度流程、提升并行执行能力的目的。对短作业占比高,各作业占比均衡以及一般作业为主,偶尔出现长、短作业三种情况与先进先出(FIFO)算法进行了对比实验,结果三队列算法的运行时间均比FIFO算法要少。实验结果表明,在短作业聚集时,三队列算法的执行效率提升并不显著;但当各种作业并存且分布均衡时,效果很明显,这符合了算法设计时短作业优先、一般作业简化流程、兼顾长作业的初衷,提高了作业整体执行效率。     

云计算中一种多DAG工作流可抢占式调度策略

为解决多用户工作流调度过程中的公平性问题,提高资源利用率,满足不同用户DAG工作流的不同QoS需求,提出了抢占式多DAG工作流动态调度模型。该算法将DAG工作流按照QoS需求进行优先级划分,采用高优先级作业优先占有资源的原则调度作业。相同优先级DAG工作流的任务依据带有启发性信息的slowdown进行资源抢占,进一步提高了作业调度的公平性;对于不同优先级的作业调度,提出了基于阈值的回填算法,该算法在保证作业调度公平的同时提高了资源利用率。     

常用作业调度算法的分析

作业管理、作业调度是操作系统的重要课题,该文讨论了先来先服务作业调度算法、短作业优先调度算法、最高响应比优先调度算法等常用作业调度算法的基本思想,并结合实例进行了分析和评价。     

异构集群式包构建系统的三级负载均衡调度技术*

异构集群式包构建系统是集群式软件配置管理系统的主要功能部件,也是操作系统发行版本的重要生成系统。本文针对异构集群式包构建系统存在的负载不均、可用性差等不足,引入三级负载均衡调度技术,优化了系统的调度策略,能够更加有效地利用集群系统的系统资源,发挥更加高效的性能,提高了系统的可用性和高效性,便于高质量、高效生成操作系统发行版本。     

群机计算资源管理研究

随着网络技术的发展,群机计算管理软件作为对群机计算资源进行统一管理的中间件,越来越受到人们的关注。如何合理地管理地理上相对分散的计算资源,达到资源共享的目标,是群机系统发挥性能的关键。文章首先给出了一个基于资源集合概念的资源管理模型,在此基础上,研究了群机系统的资源分配和负载管理问题,并结合作业调度过程说明了资源管理模型与策略的应用。     

Load balancing for cluster systems under heavy-tailed and temporal dependent workloads

Large-scaled cluster systems have been employed in various areas by offering pools of fundamental resources. Efficient allocation of the shared resources in a cluster system is a critical but challenging issue, which has been extensively studied in the past few years. Despite the fact that existing load balancing policies, such as Random, Join Shortest Queue and size-based polices, are widely implemented in actual systems due to their simplicity and efficiency, the performance benefits of these policies diminish when workloads are highly variable and temporally correlated. In this paper, we propose a new load balancing policy, named ADuS, which attempts to partition jobs according to their present sizes and further rank the servers based on their loads. By dispatching jobs of similar sizes to the corresponding ranked servers, ADuS can adaptively balance user traffic and system load in a cluster and thus achieve significant performance benefits. Extensive trace-driven simulations using both synthetic and real traces show the effectiveness and robustness of ADuS under many different environments.     

A simulation framework for priority scheduling on heterogeneous clusters

Executing heterogeneous workloads with different priorities, resource demands and performance objectives is one of the key operations for today’s data centers to increase resource as well as energy efficiency. In order to meet the performance objectives of diverse workloads, schedulers rely on evictions even resulting in waste of resources due to lost executions of evicted tasks. It is not straightforward to design priority schedulers which capture key aspects of workloads and systems and also to strike a balance between resource (in)efficiency and application performance tradeoff. To explore large space of designing such schedulers, we propose a trace-driven cluster management framework that models a comprehensive set of system configurations and general priority-based scheduling policies. In particular, we focus on the impact of task evictions on resource inefficiency and task response times of multiple priority classes driven by Google production cluster trace. Moreover, we propose a system design as a use case exploiting workload heterogeneity and introducing workload-awareness into the system configuration and task assignment.     

一种可扩展机群文件系统的设计与实现

介绍了可扩展机群文件系统TH-CluFS的设计与实现．TH-CluFS基于共享文件模型，采用无服务器的对等体系结构．同时，为了有效利用杌群系统累积的资源，TH-CluFS采用了复制与分布相结合的元数据分布管理策略、文件粒度的数据分布存储机制，以及一种茚治的I／O负载平衡方法．实验结果表明，TH-C1uFS很好地统一了机群文件系统在单一系统映像、高性能以及可扩展性等方面的需求．     

网格环境下的集群系统作业管理研究

网格计算已经逐渐形成一个重要的新领域。相对于传统的分布式计算，它的显著之处在于它能够共享网络上的各种资源，包括地理上分布的各种计算资源。PBS是广泛应用于并行计算机的作业管理系统，它可以按照用户定义的配置参数相对公平地为每个作业分配系统资源。但是在网格环境范围内对集群系统进行管理仍然是一门有待研究的课题。利用网格系统软件和集群系统管理软件，实现了一种在网格环境下对集群系统作业进行管理的方法。     

基于并行容错网的对等服务器集群的设计与实现

为了提高服务器系统的可靠性、可用性和性能,并改变目前非对称式服务器集群资源利用率低的状况,我们提出了一种新的服务器集群实现方案一基于并行容错网的对等服务器集群。在服务器集群的实现中,我们采用了软件集群的方法,设计实现了服务器集群管理层和并行容错通信层。     

集群管理在Web上的设计与实现

在某超级计算中心高性能计算平台环境下,设计并实现一个基于Web的集群管理（Cluster Management Based on Web,CMBW）系统,为集群系统管理员管理集群资源带来便利,并给终端用户提供访问集群系统资源的统一交互界面和方便的集群资源使用模式．     

机群系统管理的研究和实现

1 引言近年来,伴随着Internet的不断发展,客户对高性能系统的需求不仅表现为要求性能更高、更安全可靠的系统,对高性能系统的需求也在不断增多,不仅在科学计算领域,高性能服务器、并行数据库等其他领域也出现了对高性能计算的需求。但是SMP、MPP机器的价格普通用户难以承受。构筑超级计算机的另一个途径是利用网上的资源形成聚合的超级计算能