计算网格中作业调度系统GridPBS的设计与实现

通过对目前流行的集群调度系统PBS进行封装和扩展,设计并实现了一个计算网格作业调度系统GridPBS。该系统可使PBS系统的应用拓展到整个计算网格环境,克服了现有PBS系统只能在单个集群节点上运行的局限性。根据计算网格中的集群资源运行情况对用户作业进行凋度分配,从而有效地整合和利用计算网格各节点的计算能力。     

计算机集群和节点体系结构

“集群计算”这个术语描述的思想是，将多台低成本、商业上可采购到的机器连接起来，以获取大规模并行处理的能力；这种方法免除了采购和构建超级计算机的成本和麻烦。一个由个体功能较弱的机器组成的计算机集群在性能上可以与超级计算机相媲美，而在经济上则更为实惠，并且更加易于升级。     

网格环境下集群管理系统

分析了集群接入网格的过程中所面临的问题,研究了在网格环境下使用集群的方法,详细分析了集群接入网格需要提供的接口和服务,并实现了一个网格环境下集群管理的原型系统,将集群转化成为一种标准的、透明的资源接入网格.通过该系统用户能够在任何地方使用分布在各处的集群资源,系统能保证用户提交的作业正确、有效的运行,并及时向用户反馈提交作业的相关信息.实验分析表明,该系统能够有效的整合集群计算资源,从而提高计算能力,增大全局吞吐量.     

基于主机性能度量的异构集群作业调度算法

传统经典作业度算法在集群应用中实现简单、执行效率高,但在异构集群环境下由于缺乏在线节点运行状态动态反馈能力和负载均衡能力,降低了计算资源利用率和系统吞吐率.为解决上述问题,设计了一种在异构集群环境下基于主机性能度量的作业负载均衡调度算法,该算法通过收集集群中在线节点的状态信息和作业响应时间遴选出可信节点集合,计算出各可信节点的HPM值,利用负载均衡运算规则生成候选的作业分配节点集合,最终按照预先设计的优先原则把不同作业分配至各计算节点,并更新各节点运行状态.实验结果表明,在异构集群环境下调度同类型作业时,该算法在总完成时间和负载均衡性能等指标上均优于传统经典算法.     

支持异构集群并行的高能物理数据处理系统

传统集群计算系统无法充分利用本地磁盘的存储资源和I/O,大量网络I/O成为系统瓶颈,导致资源利用率降低,并造成高昂的存储和网络成本.使用Hadoop处理分析作业可有效利用本地磁盘存储和I/O资源,而集群资源统一管理工具Mesos则使用轻量化的设计和高效的通信机制,能在不同计算集群之间动态共享集群资源.为此,分析高能物理数据处理的特点,利用Mesos构建异构集群间资源共享的高能物理实验数据处理系统,实现Torque/Maui和Hadoop集群的集成.测试结果表明,该系统能够在集群间动态分配集群资源,并利用本地存储和磁盘I/O显著降低网络I/O,提高集群资源利用率.     

基于 OpenStack 的虚拟资源调度技术研究

传统的高能物理计算系统基于物理机集群,主要通过 Torque、Condor、LSF 等资源管理和作业调度系统将作业调度到物理机器上运行,缺少对虚拟化计算的接口支持。我们选取 OpenStack 作为底层虚拟化平台,设计并实现上层调度系统与 OpenStack 之间的桥梁,采用推拉结合的作业运行方式,构建虚拟计算集群。     

适应异构集群的Mesos多资源调度DRF增强算法

云计算集群环境下多资源分配的公平性是考量资源调度子系统最重要的指标之一,DRF作为通用的多资源公平分配算法,在异构异质的集群环境下可能有失公平性。在研究Mesos框架中DRF多资源公平分配算法的基础上,设计并实现了增加机器性能评估影响因子的meDRF分配算法。将计算节点的机器性能得分,作为DRF主导份额计算的因子,使得计算任务有均等的机会获得优质计算资源和劣质计算资源。通过选取K-means、Bayes及PageRank等多种作业进行实验,实验结果表明:meDRF较DRF分配算法更能体现多资源分配的公平性,且资源分配具有更好的稳定性,能有效提高系统资源的利用率。     

基于用户云服务集群的资源动态调度研究

用户购买云服务器设施来搭建用户服务器集群,并将业务迁移到云服务器上后,很大程度上没有充分利用购买的计算资源。而随着业务量访问增加,传统的用户集群往往会通过增加服务节点来应对此情况,此时又需购买额外的云服务设施。论文基于传统用户的集群系统,使用改进的TOPSIS（逼近理想解排序法）算法结合集群监控信息来动态调度集群中节点上的应用。实验表明,该方案可以充分发挥用户购买的云服务器设施的计算资源,利用用户私有闲置资源来应对业务的突发访问,合理的调度用户服务器集群之间的业务应用分配,提高用户集群资源利用率的同时也保证了应用服务质量,节约了用户成本。     

网格环境下的集群系统作业管理研究

网格计算已经逐渐形成一个重要的新领域。相对于传统的分布式计算，它的显著之处在于它能够共享网络上的各种资源，包括地理上分布的各种计算资源。PBS是广泛应用于并行计算机的作业管理系统，它可以按照用户定义的配置参数相对公平地为每个作业分配系统资源。但是在网格环境范围内对集群系统进行管理仍然是一门有待研究的课题。利用网格系统软件和集群系统管理软件，实现了一种在网格环境下对集群系统作业进行管理的方法。     

一种基于DAG的MapReduce任务调度算法

Hadoop已成为研究云计算的基础平台,MapReduce是其大数据分布式处理的计算模型。针对异构集群下MapReduce数据分布、数据本地性、作业执行流程等问题,提出一种基于DAG的MapReduce调度算法。把集群中的节点按计算能力进行划分,将MapReduce作业转换成DAG模型,改进向上排序值计算方法,使其在异构集群中计算更精准、任务的优先级排序更合理。综合节点的计算能力与数据本地性及集群利用情况,选择合理的数据节点分配和执行任务,减少当前任务完成时间。实验表明,该算法能合理分布数据,有效提高数据本地性,减少通信开销,缩短整个作业集的调度长度,从而提高集群的利用率。     

An opportunity cost approach for job assignment in a scalablecomputing cluster

A new method is presented for job assignment to and reassignment between machines in a computing cluster. Our method is based on a theoretical framework that has been experimentally tested and shown to be useful in practice. This “opportunity cost” method converts the usage of several heterogeneous resources in a machine to a single homogeneous “cost.” Assignment and reassignment are then performed based on that cost. This is in contrast to traditional, ad hoc methods for job assignment and reassignment. These treated each resource as an independent entity with its own constraints, as there was no clean way to balance one resource against another. Our method has been tested by simulations, as well as real executions, and was found to perform well     

网络集群计算系统中的并行任务调度

基于多处理机并行任务调度模型，探讨网络集群计算系统中的并行任务调度问题，首先证明了一般网络集群计算系统中调度算法的可近似性难度，然后提出了三种不同的启发式算法：最大长度优先调度算法、最大宽度优先调度算法和最大面积优先调度算法；然后根据大量的模拟实验对这些算法以及文献中已提出的调度算法进行了比较分析，结果表明该文的启发式算法比文献中的算法在性能上效果更好。     

同构应用在计算网格中的子作业指派

为改进同构应用在计算网格中的执行性能,提出了子作业指派方法。对于计算密集的应用,任务间通信是可忽略的,故一个这样的作业被划分为若干子作业,不同的子作业被分别指派到不同的机群,该作业划分是根据网格负载平衡完成的。非计算密集的应用在多站点计算时很少取得令人满意的性能,故一个这样的作业被整体指派到某个机群。为找出最适合机群,对每个机群的处理机性能和处理机间通信性能进行测量,并根据应用性能模型预测作业运行时间。实验显示,该子作业指派方法在优化同构应用的执行性能上是有效的。     

基于云计算的P2P流媒体服务器集群部署算法

针对云计算数据中心网络（DCN）环境下,P2P流媒体服务器集群部署引起的较高带宽占用问题,提出了一种基于云计算的P2P流媒体服务器集群部署方法。该方法将P2P流媒体服务器集群部署建模为一个二次分配问题,并基于蚁群算法,寻找每个虚拟流媒体服务器与每个部署点之间的映射关系,实现基于云计算的P2P流媒体服务器集群部署。通过仿真实验证明,基于云计算的P2P流媒体服务器集群部署算法可以有效地减少云计算平台DCN网络带宽占用。     

Task assignment using a problem-space genetic algorithm

The task assignment problem is one of assigning tasks of a parallel program among the processors of a distributed computing system in order to reduce the job turnaround time and to increase the throughput of the system. Since the task assignment problem is known to be NP-complete except in a few special situations, satisfactory suboptimal solutions obtainable in a reasonable amount of computation time are generally sought. In the paper we introduce a technique based on the problem-space genetic algorithm (PSGA) for the static task assignment problem in both homogeneous and heterogeneous distributed computing systems to reduce the task turnaround time and to increase the throughput of the system by properly balancing the load and reducing the interprocessor communication time among processors. The PSGA based approach combines the power of genetic algorithms, a global search method, with a simple and fast problem-specific heuristic to search a large solution space efficiently and effectively to find the best possible solution in an acceptable CPU time. Experimental results on test examples from the literature show considerable improvements in both the assignment cost and the CPU times over the previous work. The proposed scheme is also applied to a digital signal processing (DSP) system consisting of 119 tasks to illustrate its balancing properties and computational advantage on a large system. The proposed scheme offers 12–30% improvement in the assignment cost as compared to the previous best known results for the DSP example.     

An effective subgradient algorithm for the generalized assignment problem

A modified subgradient algorithm is presented for the generalized assignment problem, which, like the classical assignment problem, is concerned with the minimum cost assignment of agents to jobs. The generalized assignment problem, however, permits differences in job performance efficiencies among agents and thereby allows the possibility that each agent may be assigned more than a single job, as long as each job is ultimately assigned and the total resources available to every agent are not exceeded. A two stage heuristic algorithm using a modified subgradient approach and branch and bound is developed for solving the problem. By computing step sizes precisely and using the dual as a bound, the algorithm is shown to be particularly effective and easy to program and implement. A numerical example is presented to illustrate the model and method, and computational experience is cited for problems containing up to 12,000 0–1 variables.     

基于集群的海洋遥感图像融合并行计算策略

集群体系下的大规模并行计算,是高性能计算的基础。遥感图像处理效率的提高,有赖于并行计算技术的应用。在分析已有网格计算环境下分布式任务分配方法的基础上,针对海上遥感图像目标物数量相对较少的特点,首先利用四叉树结构理念对目标区域进行划分,同时采用动态负载均衡的任务分配策略与并行计算思想,提出对目标区域图像进行融合处理的集群体系任务分配算法处理模型。通过对比验证,表明该集群体系下算法模型能有效地提高图像融合的速度。     

一种MapReduce实时调度算法设计及实现

MapReduce是云计算中重要的批数据处理框架,多任务共享MapReduce机群并满足任务实时性要求是调度算法急需解决的问题。提出两阶段实时调度算法,将调度划分为任务间调度和任务内调度。对于任务间调度,使用抽样法和经验值法确定子任务执行时间,利用该参数建立资源分配模型,动态确定任务优先级进行调度;对于子任务使用延迟调度策略进行调度,保证计算的本地性。实验结果显示,两阶段实时调度算法相比公平调度算法和FIFO算法,在保证吞吐量的同时能够满足任务实时性要求。     

单一系统映象在机群管理中的实现

单一系统映象是机群系统的关键技术。文章讨论了机群单一系统映象的含义,提出了一种用于并行计算机群管理的单一系统映象模型,实现了机群单一控制和单一作业管理,解决了机群系统难于管理、管理方式可视化不强等问题。