基于主机性能度量的异构集群作业调度算法

传统经典作业度算法在集群应用中实现简单、执行效率高,但在异构集群环境下由于缺乏在线节点运行状态动态反馈能力和负载均衡能力,降低了计算资源利用率和系统吞吐率.为解决上述问题,设计了一种在异构集群环境下基于主机性能度量的作业负载均衡调度算法,该算法通过收集集群中在线节点的状态信息和作业响应时间遴选出可信节点集合,计算出各可信节点的HPM值,利用负载均衡运算规则生成候选的作业分配节点集合,最终按照预先设计的优先原则把不同作业分配至各计算节点,并更新各节点运行状态.实验结果表明,在异构集群环境下调度同类型作业时,该算法在总完成时间和负载均衡性能等指标上均优于传统经典算法.     

基于异构Flink集群的节点优先级调度策略

Flink流处理系统默认的任务调度策略在一定程度上忽略了集群异构和节点可用资源,导致集群整体负载不均衡。研究分布式节点的实时性能和集群作业环境,根据实际作业环境的异构分布情况,设计结合异构Flink集群的节点优先级调整方法,以基于Ganglia可扩展分布式集群资源监控系统的集群信息为依据,动态调整适应当前作业环境的节点优先级指数。基于此提出Flink节点动态自适应调度策略,通过实时监测节点的异构状况,并在任务执行过程中根据实时作业环境更新节点优先级指数,为系统任务找到最佳的执行节点完成任务分配。实验结果表明,相比于Flink默认的任务调度策略,基于节点优先级调整方法的自适应调度策略在WorldCount基准测试中的运行时间约平均减少6%,可使异构Flink集群在保持集群低延迟的同时,节点资源利用率和任务执行效率更高。     

基于CoreOS面向负载整合的集群调度研究

CoreOS是基于Docker的新型容器化集群服务器操作系统,发展迅速,已经得到OpenStack、Kubernetes、Salesforce、Ebay等主流云服务商的支持,云环境中负载是动态的,相应的其资源需求是动态变化的,这给集群资源高效利用带来了挑战,静态预分配峰值资源的策略带来云端资源的巨大浪费,同时空转的计算浪费大量能耗.本文提出的面向负载整合的集群调度系统（简称LICSS）实时监控集群负载分布情况,调度时使用紧凑式调度策略分配计算节点,运行时利用任务迁移技术对负载进行动态整合,实现及时收集释放空转资源降低资源能耗浪费的目的.LICSS系统设计实现了节点负载度量、任务度量、负载整合算法,并测算出节点自适应负载阈值.实验表明,LICSS系统能够根据不同时段集群负载动态变化情况对负载进行有效整合,提高了12.2%的平均资源利用率,并且基于任务整合在低负载时段触发富余节点休眠降低集群能耗.     

基于Torque的新型作业调度策略的研究

在高性能计算集群中,优秀的作业调度软件和作业调度策略对系统的高效运行起着至关重要的作用,目前针对作业调度策略的研究多集中在单个策略的深入挖掘,少有整合多个策略考虑的文章。针对集群作业的运行特点,提出了一种基于节点负载情况自定义优先级回填的调度策略,可以有效提高性能和计算集群的运行效率。     

Hadoop平台的多队列作业调度优化方法研究

对Hadoop平台的作业调度算法进行了研究, 提出了支持作业类型区分的多队列调度优化算法。优化算法支持根据节点当前的负载情况分配不同类型的作业, 以提高节点的资源利用率; 允许作业队列的资源在闲置时被其他作业队列占用; 在原作业队列需要时可以被即时回收, 即回收过程支持任务抢占; 采用共享队列列表和非共享队列列表的逻辑划分来防止乒乓效应。Hadoop平台的性能测试结果表明, 优化算法相比系统默认算法在作业调度的执行效率、执行平稳性等方面都有了显著的提升。     

基于累计工作量的在线大数据分析作业调度算法

针对Hadoop和Spark等大数据分析系统中无先验知识任务的高效执行问题，设计了基于累计工作量（CRW）的任务调度器CRWScheduler。该调度器根据CRW将任务在低权重队列与高权重队列间切换；在为作业分配资源时，同时考虑到作业所在的队列和其瞬时占用资源量，无需作业先验知识即显著提升系统性能。基于Apache Hadoop YARN实现了CRWScheduler原型，在28个节点的基准测试集群上的实验表明，与YARN的公平调度机制相比，作业流时间（JFT）平均降低21%，其中95百分位的作业流时间（JFT）最多降低了35%，并且在与任务级调度程序协作时可获得进一步的性能提升。     

航管仿真训练系统运行控制的设计与实现

描述了对航管仿真系统运行控制机制的设计和实现。先对系统功能做了简要介绍,再从进程组的监控、基于多个队列的进程调度设计等方面介绍了系统的实现过程和处理细节,最后采用负载均衡算法针对系统进行了优化设计。本系统最终实现了对进程实施定位和运行监视,对控制指令采用命令优先级处理机制,使用多个队列调度进程,从而完成训练计划,较好地控制了航管仿真训练系统的运行。     

基于PBS的勘探数据处理作业管理

高性能集群不具备作业自动调度和负载均衡的功能。采用开源的作业管理系统定制开发集群管理系统,解决集群“难用难管”的问题。作为一种开源的队列管理和作业调度系统,PBS目前已经广泛应用于集群管理当中。通过Shell脚本应用开发,将不同类型的应用作业转换为相应的PBS作业脚本纳入系统管理。利用PBS系统进行必要的定制开发工作,在较少改变科研人员工作习惯的前提下,实现Paradigm公司EPOS处理系统集群队列管理和作业分发管理。     

异构集群的一种基于遗传的负载均衡改进算法

计算机集群系统是通过网络将一组PC或工作站连接起来,架构成的高可靠、可扩展的集群服务器,能够统一调度、协调运行,实现高效并行处理。负载均衡是集群系统良好性能的保障。用节点的总体资源、CPU的就绪队列长度和节点的任务数来构造遗传算法的目标函数,既考虑了集群异构的特点,又能很好的体现负载程度,通过使用网络压力测试工具对该算法进行性能测试,表明了其具有比较好的优越性。     

基于模糊逻辑技术的中间件负载平衡机制

针对当前基于中间件负载平衡机制中负载定位不够准确、监测粒度过大等问题,基于模糊逻辑技术提出一种更精确、更细粒度的负载平衡系统及其负载平衡机制。负载平衡系统的节点负载信息记录表记录系统中所有节点从模糊推理得出的负载状态信息,负载转发表记录服务节点与相应服务请求者之间的关系。实验结果表明,该负载平衡机制能有效地定位过载节点,较好地实现集群中的负载平衡服务。     

随机任务在云计算平台中能耗的优化管理方法

针对云计算系统在运行过程中由于计算节点空闲而产生大量空闲能耗,以及由于不匹配任务调度而产生大量“奢侈”能耗的能耗浪费问题,提出一种通过任务调度方式的能耗优化管理方法.首先,用排队模型对云计算系统进行建模,分析云计算系统的平均响应时间和平均功率,建立云计算系统的能耗模型.然后提出基于大服务强度和小执行能耗的任务调度策略,分别针对空闲能耗和“奢侈”能耗进行优化控制.基于该调度策略,设计满足性能约束的最小期望执行能耗调度算法ME3PC(minimum expectation execution energy with performance constraints).实验结果表明,该算法在保证执行性能的前提下,可大幅度降低云计算系统的能耗开销.     

基于动态数据分布的并行Shear-Warp体绘制算法

提出了基于动态数据分布的并行Ｓｈｅａｒ－Ｗａｒｐ体绘制算法和新的动态数据分布策略,利用空闲的广播通信线路使数据重分布与绘制并行进行,提高了通信线路的利用率、避免了冗余存储,减少了资源浪费,并避免了对算法效率的影响;改进的任务分配与负载平衡策略,避免了节点机负载的不平衡和流水线作业的积压,提高了算法的效率。     

An efficient grid scheduling strategy for data parallel applications

Scheduling large-scale application in heterogeneous grid systems is a fundamental NP-complete problem that is critical to obtain good performance and execution cost. To achieve high performance in a grid system it requires effective task partitioning, resource management and load balancing. The heterogeneous and dynamic nature of a grid, as well as the diverse demands of applications running on the grid, makes grid scheduling a major task. Existing schedulers in wide-area heterogeneous systems require a large amount of information about the application and the grid environment to produce reasonable schedules. However, this required information may not be available, may be too expensive to collect, or may increase the runtime overhead of the scheduler such that the scheduler is rendered ineffective. We believe that no one scheduler is appropriate for all grid systems and applications. This is because while data parallel applications in which further data partitioning is possible can be further improved by efficient management of resources, smart selection of resources and load balancing can be possible, in functional/not-dividable-task parallel applications such partitioning is either not possible or difficult or expensive in term of performance. In this paper, we propose a scheduler for data parallel applications (SDPA) which offers an efficient task partitioning and load balancing strategy for data parallel applications in grid environment. The proposed SDPA offers two major features: maintaining job priority even if insufficient number of free resources is available and pre-task assignment to cut the idle time of nodes. The SDPA selects nodes smartly according to the nature of task and the nodes’ resources availability. Simulation results conducted reveal that SDPA achieves performance improvement over reported strategies in the reviewed literature in terms of execution time, throughput and waiting time.     

ARM平台电机矢量控制分析及性能评估

对ARM平台电机矢量控制模型进行了分析及性能评估,弥补了当前伺服控制系统中该评估工作的空白.分析了电机矢量控制模型和能实现该模型ARM平台的软硬件环境,给ARM平台电机矢量控制分析及性能评估奠定了基础.使用了一种利用建立空闲任务计算CPU负载率的方法,并用此方法进行了以CPU负载率为性能指标的评估实验,对不同条件下矢量控制策略的适用情况进行了分析.分析结果对ARM平台下矢量控制策略的选择有一定的指导意义.     

一种异构环境下的基于MapReduce任务调度改进机制

针对在异构环境下采用现有MapReduce任务调度机制可能出现各计算节点间数据迁移和系统资源分配难以管理的问题, 提出一种动态的任务调度机制来改善这些问题。该机制先根据节点的计算能力按比例放置数据, 然后通过资源预测方法估计异构环境下MapReduce任务的完成时间, 并根据完成时间计算任务所需的资源。实验结果表明, 该机制提高了异构环境下任务的数据本地性比例, 且能动态地调整资源分配, 以保证任务在规定时间内完成, 是一种有效可行的任务调度机制。     

A comparison of receiver-initiated and sender-initiated adaptive load sharing

Load sharing in a locally distributed system is the process of transparently distributing work submitted to the system by its users. By directing work away from nodes that are heavily loaded to nodes that are lightly loaded, system performance can be improved substantially.Adaptive load sharing policies make transfer decisions using information about the current system state. Control over the maintenance of this information and the initiation of load sharing actions may be centralized in a ‘server’ node or distributed among the system nodes participating in load sharing.The goal of this paper is to compare two strategies for adaptive load sharing with distributed control. In sender-initiated strategies, congested nodes search for lightly loaded nodes to which work may be transferred. In receiver-initiated strategies, the situation is reversed: lightly loaded nodes search for congested nodes from which work may be transferred. We show that sender-initiated strategies outperform receiver-initiated strategies at light to moderate system loads, and that receiver-initiated strategies are preferable at high system loads only if the costs of task transfer under the two strategies are comparable. (There are reasons to believe that the costs will be greater under receiver-initiated strategies, making sender-initiated strategies uniformly preferable.)     

基于历史空闲记录的资源状态管理算法

针对高性能计算能耗墙挑战,本文提出了一种基于历史空闲信息的资源状态管理算法-PARC。PARC算法记录结点的空闲历史信息,动态设定空闲结点进入休眠状态的时机。模拟实验表明,PARC算法能够在有效控制结点能耗状态切换次数的同时实现有效的节能。     

无线传感器网络操作系统调度策略

提出了一种在无线传感器网络操作系统中可以同时针对周期性任务和非周期性任务进行抢占式调度操作的EF-RM调度策略。在无线传感器节点上执行的任务负载较重的情况下,该调度策略可以保证重要任务的优先执行,此外当无线传感器节点空闲时,通过将节点带入睡眠状态,实现无线传感器节点的节能。所提出的任务调度策略在TinyOS上进行实现,并通过实验测试得出,在总能耗代价增加较少的情况下可以有效地提高系统在较重负载情况下的响应性能。     

Task partitioning,scheduling and load balancing strategy for mixed nature of tasks

Load balancing and task partitioning are important components of distributed computing. The optimum performance from the distributed computing system is achieved by using effective scheduling and load balancing strategy. Researchers have well explored CPU, memory, and I/O-intensive tasks scheduling, and load balancing techniques. But one of the main obstacles of the load balancing technique leads to the ignorance of applications having a mixed nature of tasks. This is because load balancing strategies developed for one kind of job nature are not effective for the other kind of job nature. We have proposed a load balancing scheme in this paper, which is known as Mixed Task Load Balancing (MTLB) for Cluster of Workstation (CW) systems. In our proposed MTLB strategy, pre-tasks are assigned to each worker by the master to eliminate the worker’s idle time. A main feature of MTLB strategy is to eradicate the inevitable selection of workers. Furthermore, the proposed MTLB strategy employs Three Resources Consideration (TRC) for load balancing (CPU, Memory, and I/O). The proposed MTLB strategy has removed the overheads of previously proposed strategies. The measured results show that MTLB strategy has a significant improvement in performance.