Hadoop集群环境下本地性调度算法改进

Hadoop集群环境下本地性调度算法是提高数据本地性的算法。算法本质是提高数据本地性,减少数据传输时间,减少集群的网络I/O,提高资源利用率。由于调度算法采用FIFO方式,当前作业数据量大时将影响其他紧急性高的作业响应时间,降低系统性能。本文提出一种新的调度策略,即在保证原算法数据本地性的前提下,集成静态优先级的抢占调度策略。实验结果表明,在相同的数据集上,采用集成静态优先级抢占的调度策略,优先级高的作业响应时间较优先级低的作业响应时间减少。     

基于多核处理器的K线程低能耗的任务调度优化算法

针对具有独立DVFS的多核处理器系统,提出了一种K线程低能耗模型的并行任务调度优化算法(Tasks Optimization based on Energy-Effectiveness Model,TO-EEM)。与传统的并行任务节能调度相比,该算法的主要目标是不仅通过降低处理器频率来减少处理器瞬时功耗,而且结合并行任务间的同步互斥所造成的线程阻塞情况,合理分配线程资源来减少线程同步时间,优化并行性能;保证任务在一定的并行加速比性能前提下,提高资源利用率,减少能耗,达到程序能耗和性能之间的折衷。文中进行了大量模拟实验,结果证明提出的任务优化模型算法节能效果明显,能有效降低处理器的功耗,并始终保持线性加速比。     

RB-FIFT--一种结合Firstfit及预约回填策略的机群作业调度算法

机群作业管理是机群系统软件的重要组成部分,作业调度策略则是机群作业管理系统的核心．作业调度策略的选择不仅关系到机群系统的效率,还影响了用户作业的响应时间．目前,Firstfit调度算法已经相当成熟并且广泛应用于机群作业调度．传统的Firstfit算法虽然着眼于减少资源碎片,但未能解决作业饥饿问题．曙光超级服务器作业管理系统JMS改进了既有的结合Firstfit和优先级的作业调度算法P-FIFT,将预约和回填策略与Firstfit相结合,引入了新的RB-FIFT调度策略．实验结果表明,与传统Firstfit算法及P—FIFT算法比较,RB-FIFT调度策略不但能够消除系统中作业的饥饿现象,而且大大减少了资源碎片,提高了系统的吞吐率和资源利用率．     

基于DPM和DVS的双效节能调度算法

对于电池供电系统,如何降低功耗已成为系统设计中的一个关键问题.通过对系统功耗组成及任务调度策略进行深入分析,提出一种动态电压调节(DVS)和动态功率管理(DPM)相结合的双效节能调节算法DVS-PM.DPM动态管理处理器及外围模块在工作模式和低功耗模式之间切换,DVS在保证系统实时性前提下,实现系统运行在功耗最低的最佳工作点,达到更好的节能效果.实验结果表明,该节能调度算法能大幅减少系统能量消耗,与不采用节能算法相比,节能55.4%.     

基于性能量化矩阵的计算网格作业调度算法研究

提升计算网格系统运行效率的关键在于作业调度算法,如何综合各种因素使得调度策略更为全面是一个有挑战性的问题.通过建立网格资源性能量化矩阵,构建了一个作业调度模型,并基于此模型给出了一个具体的作业调度算法.通过性能分析和实验仿真,该算法在运行时间、占用资源等方面都有较大的改善,能较好地适应网格系统的动态性和可扩展性特点,提高了作业调度效率.     

多层次的网络服务器集群功耗管理

多层次的集群功耗管理方法,在不明显影响系统性能的前提下,降低集群系统的功耗。该管理方法分为集群层次的功耗管理和本地节点层次的功耗管理。集群层次的功耗管理基于自学习负载预测的按需启动策略,根据作业的负载提供计算资源。本地节点层次的功耗管理针对负载下降产生的节点空闲问题,提出了Enhanced-conservative调控器算法,提高了负载下降时频率调整的敏感度。测试实验数据表明,该策略比其他策略能更有效的降低整个系统的功耗。     

多核嵌入式系统内联网络优化调度

处理核之间的通信问题是多核系统中不可避免的问题,根据具体应用,进行核间内联网络的定制和设计是一个可行的研究方向。针对该问题提出了任务节点的通信调度算法,通过采用点对点连接作为内联网络的方式,在不增加系统调度长度的前提下,构造出满足系统核间通信需求、核间点对点连接数最少的内联网络。同时还给出了核间通信调度确定算法和内联网络构造算法,为内联网络的设计提供依据。实验表明,与传统的HLFET算法相比,提出的调度算法能极大减少嵌入式系统中的核间点对点连接数目。     

多租户集群中基于服务水平目标的调度机制

针对多租户集群中无法保证作业服务水平目标(SLO)的问题,提出了一种多租户场景下基于SLO的调度机制,其中包括优先调度算法和资源抢占算法。优先调度算法区别考虑超额使用资源的租户和未超额使用资源的租户,赋予后者的作业更高的优先级,在此前提下选择紧急度最高的作业,优先为其分配资源;资源抢占算法在资源受限的情况下,选择紧急度超过阈值的作业实施资源抢占,并根据租户的资源使用情况,在相应的运行作业范围内选择紧急度最低的作业,抢占其资源。实验结果表明,与现有保证公平的多租户调度器Capacity Scheduler相比,该调度机制可以在兼顾作业执行效率和租户间公平的前提下,显著提高作业的截止时间保证率,从而保证业务的服务水平目标。     

可靠的网格作业调度机制

针对网格环境的动态性特征,提出了一种可靠的网格作业调度机制(DGJS)。按照作业完成时间期限,DGJS将作业分为：高QoS级、低QoS级和无QoS级,不同QoS级作业有不同的调度优先权;基于资源可用性预测,DGJS采用基于可靠性代价的作业调度策略,将作业尽可能调度到可靠性高的资源节点;另外,DGJS对不同QoS级作业采用不同的容错策略,在保证故障容错的同时,节省网格资源。实验表明：在动态的网格环境下,较之传统的网格作业调度算法,DGJS提高了作业成功率,减少了作业完成时间。     

云计算资源纳什均衡优化分配方法改进

为提高云计算系统资源调度的均衡性,同时最大化资源提供者的利益,构建基于排队理论的云计算资源分配模型。考虑等待队列长度并以此作为资源分配的前提,结合纳什均衡理论分析资源调度策略,提出改进的资源分配算法(MRA),并将其与分布式计算架构Hadoop中的资源分配算法进行比较。实验结果表明,与公平调度算法、先入先出调度算法以及经典随机调度算法相比,MRA算法不仅可以实现用户对资源的公平共享,而且也能满足资源提供者对提高系统响应时间的需求。     

用于高性能计算的作业调度能效性研究综述

由于科学研究与商业应用等对高性能计算的需求与日俱增,高性能计算的性能和系统规模得到迅速发展。但是,急剧增长的功耗严重限制了高性能计算系统的设计和使用,使得低功耗技术成为高性能计算领域的关键技术。作为整个系统的核心组件,作业调度系统立足有限的系统资源,对用户提交的应用进行作业-资源分配,其能效性对于整个高性能计算系统的能耗控制与调节起到至关重要的作用。首先介绍主要的能量效率技术和常用的作业调度策略,然后对当前高性能计算作业调度能效性进行分析,并讨论了其面临的挑战及未来发展方向。     

Online Bi-Objective Scheduling for IaaS Clouds Ensuring Quality of Service

This paper focuses on a bi-objective experimental evaluation of online scheduling in the Infrastructure as a Service model of Cloud computing regarding income and power consumption objectives. In this model, customers have the choice between different service levels. Each service level is associated with a price per unit of job execution time, and a slack factor that determines the maximal time span to deliver the requested amount of computing resources. The system, via the scheduling algorithms, is responsible to guarantee the corresponding quality of service for all accepted jobs. Since we do not consider any optimistic scheduling approach, a job cannot be accepted if its service guarantee will not be observed assuming that all accepted jobs receive the requested resources. In this article, we analyze several scheduling algorithms with different cloud configurations and workloads, considering the maximization of the provider income and minimization of the total power consumption of a schedule. We distinguish algorithms depending on the type and amount of information they require: knowledge free, energy-aware, and speed-aware. First, to provide effective guidance in choosing a good strategy, we present a joint analysis of two conflicting goals based on the degradation in performance. The study addresses the behavior of each strategy under each metric. We assess the performance of different scheduling algorithms by determining a set of non-dominated solutions that approximate the Pareto optimal set. We use a set coverage metric to compare the scheduling algorithms in terms of Pareto dominance. We claim that a rather simple scheduling approach can provide the best energy and income trade-offs. This scheduling algorithm performs well in different scenarios with a variety of workloads and cloud configurations.     

一种基于繁忙时间的并行调度能耗优化算法

减少服务器繁忙时间是云计算并行调度中节约能耗的一种有效途径,而现有基于繁忙时间的能耗节约策略大多以牺牲作业调度性能为代价,无法与其他有调度性能优势的作业调度算法结合使用。提出一种有效的基于繁忙时间的并行调度能耗优化算法——BTEOA。首先,将作业请求队列根据当前服务器可用资源划分为作业窗口和非作业窗口。其次,按照作业窗口中作业请求能使所有服务器总繁忙时间局部最优的原则匹配服务器进行调度。最后,作业窗口中所有作业请求执行完成后,继续将非作业窗口进行作业窗口与非作业窗口划分,直到所有作业请求执行完毕。作业调度过程中,始终保持作业排队模型不变,保证了作业调度性能不受影响。实例分析与实验结果表明,BTEOA算法能够在不影响作业调度性能的前提下,节约能耗,同时支持与其他作业调度算法结合使用。     

基于仿生自主神经系统的节能高效云调度研究*

为了实现兼顾性能和能耗的高效云调度管理机制,提出了一种基于仿生自主神经系统（BANS）的云调度管理系统。建立了理论模型来评估和分析重要的性能和能耗指标,并利用纯利润优化模型均衡性能和能耗之间的制约关系。基于理论分析结果,进一步利用最优性分析和自主触发机制实现了动态灵活的局部资源管理,同时,采用启发式算法来获取面向用户请求分发的全局最优调度策略。实验结果展示了重要的性能-能耗制约关系,同时也表明,相比传统负载均衡调度机制,局部自主资源管理可以在纯利润上带来约60%的显著提升,全局请求调度还将进一步带来约15%的提升效果。     

随机任务在云计算平台中能耗的优化管理方法

针对云计算系统在运行过程中由于计算节点空闲而产生大量空闲能耗,以及由于不匹配任务调度而产生大量“奢侈”能耗的能耗浪费问题,提出一种通过任务调度方式的能耗优化管理方法.首先,用排队模型对云计算系统进行建模,分析云计算系统的平均响应时间和平均功率,建立云计算系统的能耗模型.然后提出基于大服务强度和小执行能耗的任务调度策略,分别针对空闲能耗和“奢侈”能耗进行优化控制.基于该调度策略,设计满足性能约束的最小期望执行能耗调度算法ME3PC(minimum expectation execution energy with performance constraints).实验结果表明,该算法在保证执行性能的前提下,可大幅度降低云计算系统的能耗开销.     

System level fixed priority energy management algorithm for embedded real time application

Dynamic power management (DPM) and dynamic voltage scaling (DVS) are crucial techniques to reduce the energy consumption in embedded real-time systems. Many previous studies have focused on the energy consumption of the processor or I/O devices. In this paper, we focus on the problem of energy management integrating DVS and DPM techniques for periodic embedded real-time applications with rate monotonic (RM) policy and present a system level fixed priority energy-efficient scheduling (SLFPEES) algorithm. The SLFPEES algorithm consists of I/O device scheduling and job scheduling. I/O device scheduling is based on the dynamic power management with rate monotonic (DPM-RM) policy which puts devices into the sleep state when the idle interval is larger than devices break even time. Job scheduling is based on the RM policy and uses stack resource protocol (SRP) to guarantee exclusive access to the shared resources. For energy efficiency, the SLFPEES algorithm schedules the task with a lower speed and a higher speed. The experimental result shows that the SLFPEES algorithm can yield significantly energy savings with respect to the existing techniques.     

Min_c: Heterogeneous concentration policy for energy-aware scheduling of jobs with resource contention

In this paper, we address energy-aware online scheduling of jobs with resource contention. We propose an optimization model and present new approach to resource allocation with job concentration taking into account types of applications and heterogeneous workloads that could include CPU-intensive, diskintensive, I/O-intensive, memory-intensive, network-intensive, and other applications. When jobs of one type are allocated to the same resource, they may create a bottleneck and resource contention either in CPU, memory, disk or network. It may result in degradation of the system performance and increasing energy consumption. We focus on energy characteristics of applications, and show that an intelligent allocation strategy can further improve energy consumption compared with traditional approaches. We propose heterogeneous job consolidation algorithms and validate them by conducting a performance evaluation study using the Cloud Sim toolkit under different scenarios and real data. We analyze several scheduling algorithms depending on the type and amount of information they require.     

用爬山法实现无中心式网格调度

为方便网格资源的扩展,网格调度应当是无中心的.为在尽可能多的计算资源中为单地点作业优化资源选择,这里采用了爬山算法.当一个网格调度器收到一个单地点作业,爬山法被激活,根据网格调度器之间的相邻关系为作业找出最适合的计算系统,这里每个计算系统的适合度用预测的作业响应时间表示.实验模拟了无中心式网格调度与计算系统之间的性能差别,每个计算系统的本地调度采用保守式装填法,网格工作负荷由模型得到,并用一段工作负荷的平均响应时间衡量调度性能.实验结果表明,即使在作业提交点分布不均匀且运行时间估计不准确情况下,爬山法仍可有效改善单地点作业的调度.     

A green energy-efficient scheduling algorithm using the DVFS technique for cloud datacenters

Information and communication technology (ICT) has a profound impact on environment because of its large amount of CO₂ emissions. In the past years, the research field of “green” and low power consumption networking infrastructures is of great importance for both service/network providers and equipment manufacturers. An emerging technology called Cloud computing can increase the utilization and efficiency of hardware equipment. The job scheduler is needed by a cloud datacenter to arrange resources for executing jobs. In this paper, we propose a scheduling algorithm for the cloud datacenter with a dynamic voltage frequency scaling technique. Our scheduling algorithm can efficiently increase resource utilization; hence, it can decrease the energy consumption for executing jobs. Experimental results show that our scheme can reduce more energy consumption than other schemes do. The performance of executing jobs is not sacrificed in our scheme. We provide a green energy-efficient scheduling algorithm using the DVFS technique for Cloud computing datacenters.