基于云计算集群扩展中的调度策略研究*

为了达到更为经济的扩展集群的目的,本文从使用云计算扩展集群的角度出发,提出了一种集群扩展的基本构架;描述了两种策略,本地优先策略、云环境优先策略,并根据云计算的特点,提出了一种基于计算强度的新型调度策略。此外,设计了调度器系统,并在不同环境下对每种策略进行了分析比较,得出基于计算强度的调度策略的低成本和较多任务超时的特点。最后,对如何使用云计算扩展本地集群更为经济,进行了分析。     

基于异构Flink集群的节点优先级调度策略

Flink流处理系统默认的任务调度策略在一定程度上忽略了集群异构和节点可用资源,导致集群整体负载不均衡。研究分布式节点的实时性能和集群作业环境,根据实际作业环境的异构分布情况,设计结合异构Flink集群的节点优先级调整方法,以基于Ganglia可扩展分布式集群资源监控系统的集群信息为依据,动态调整适应当前作业环境的节点优先级指数。基于此提出Flink节点动态自适应调度策略,通过实时监测节点的异构状况,并在任务执行过程中根据实时作业环境更新节点优先级指数,为系统任务找到最佳的执行节点完成任务分配。实验结果表明,相比于Flink默认的任务调度策略,基于节点优先级调整方法的自适应调度策略在WorldCount基准测试中的运行时间约平均减少6%,可使异构Flink集群在保持集群低延迟的同时,节点资源利用率和任务执行效率更高。     

异构集群系统中安全关键实时应用调度研究

在集群系统中,为有安全需求的实时应用提供安全保障得到了广泛关注,但将实时应用的安全需求与调度算法相结合的研究并不多.文中提出了一种异构集群系统中安全关键实时应用的2阶段调度策略--TPSS.该策略综合考虑了任务的安全需求与时间限制.在TPSS的第1阶段,提出了一种自适应调度算法DSRF,当系统负载较重时,DSRF算法能在保证任务安全需求的基础上,通过降低新到任务和等待队列中任务的安全级别来提高任务的调度成功率.相反,当系统负载较轻时,DSRF算法能在保证系统具有较高调度成功率的基础上充分利用任务在截止期前的空闲时间提高新任务的安全级别.在TPSS的第2阶段,提出了一种新的算法FMSL,用来为所接收任务提供较为公平的安全服务,同时进一步提高了任务的整体安全级别.文中通过大量的模拟实验对TPSS策略与DSRF算法、SAEDF算法和RF算法进行了比较.实验结果表明,TPSS策略优于其它方法,使系统具有较强的安全性与灵活性.     

TDDS:基于虚拟集群系统的任务部署与调度

利用虚拟机的灵活性和快速部署能力,设计并实现了任务部署与调度系统(task deployment and dispatch system,TDDS).TDDS能够根据用户的需求,为用户的计算任务提供可以进行资源配置的集群计算环境,满足了用户对不同操作系统、不同应用程序和不同计算资源的需求.TDDS还使用了负载均衡策略,以提高物理集群资源的利用率.提出了两种虚拟机部署策略,用以加快虚拟集群部署的速度.TDDS尽量控制虚拟机系统镜像的大小和访问频率,以提高部署的效率.实验表明,TDDS系统能够快速灵活地部署用户所需要的计算环境和计算资源,负载均衡的调度策略也切实提高了物理集群处理任务的能力,提高了集群的使用率.     

基于蚁群优化算法的MapReduce集群调度策略

在云计算环境中,MapReduce集群已成为强大的大规模数据集处理平台。针对其在任务调度过程中存在用户QoS、集群资源利用率等方面的缺陷,提出了一种基于蚁群优化算法的调度策略(ACO-SS)。该调度策略同时考虑了优先级计算模型和任务调度过程,能有效地满足用户QoS,平衡集群节点负载,使分布在节点上的任务利用资源更加合理,提高了系统的调度性能。最后,通过CloudSim仿真实验表明,该调度策略在作业完成总体时间﹑资源利用率等重要指标上都具有明显优势。     

同构DVS集群中基于自适应阈值的并行任务节能调度算法

目前,高能效的并行任务调度算法设计已经成为集群系统的研究热点.现有基于复制的节能调度算法主要利用阈值平衡系统的性能和能耗,但随机设置的阈值无法根据性能需求和环境参数等特征自动调节,导致调度算法存在一定的局限性.文中提出一种面向同构集群系统的两阶段节能调度算法ATES(Adaptive Threshold-based Energy-efficient Scheduling).首先,设计一种基于自适应阈值的任务复制策略,该策略能够自动计算最佳阈值,利用该阈值获取近似最优的任务分组.然后,将各分组任务调度到支持DVS的处理器上,并充分利用任务之间的空闲时间降低处理器电压.该算法将任务复制策略与电压调节技术有机结合,在调度过程中能够自动调整阈值,有效提高调度算法的能效.为了验证ATES算法的合理性,通过典型应用进行仿真实验,并与常见任务调度算法进行比较,结果表明ATES算法能够更好地实现性能和能耗之间的平衡.     

一种基于优先级的网格调度算法

容错机制中基于任务数量的平均调度策略在处理跨度和服务质量方面存在不足,为此,提出一种基于优先级的网格调度算法,进而给出层次式集群系统的设计方案。在任务调度过程中引入任务剩余执行时间、任务价值密度、费用预算以及处理跨度的概念,以缩短任务处理跨度,提高服务质量。实验结果表明,与原机制调度策略和Max-Min算法相比,该算法在任务完成率、价值实现率和处理速率方面具有优势。利用该算法对原机制进行改进,能够有效提高系统的任务执行效率。     

异构Hadoop集群下的负载自适应反馈调度策略

随着基于Hadoop平台的大数据技术的不断发展和实践的深入,Hadoop YARN资源调度策略在异构集群中的不适用性越发明显。一方面,节点资源无法动态分配,导致优势节点的计算资源浪费、系统性能没有充分发挥;另一方面,现有的静态资源分配策略未考虑作业在不同执行阶段的差异,易产生大量资源碎片。基于以上问题,提出了一种负载自适应调度策略。监控集群执行节点和提交作业的性能信息,利用实时监控数据建模、量化节点的综合计算能力,结合节点和作业的性能信息在调度器上启动基于相似度评估的动态资源调度方案。优化后的系统能够有效识别集群节点的执行能力差异,并根据作业任务的实时需求进行细粒度的动态资源调度,在完善YARN现有调度语义的同时,可作为子级资源调度方案架构在上层调度器下。在Hadoop 2.0上实现并测试该策略,实验结果表明,作业的自适应资源调度策略显著提高了资源利用率,集群并发度提高了2到3倍,时间性能提升了近10%。     

一种自适应的分布式调度策略

针对集群系统中集中调度存在的单一失效和性能瓶颈问题，本文提出了一种具有自适应特性的分布式集群网络服务器，采用一种新的自适应分布式调度策略，完成对客户请求的动态调度．该策略引入了一种与负载相关的竞争延迟机制，能够根据负载的变化自动选择服务节点，具有很好的自适应性，而且无需节点间通讯，调度的开销小，成本低．另外．该系统通过内核模块实现，做到对客户端和服务端程序透明，其管理配置也相当简单．测试数据表明，该策略具有较好的可扩展性和负载均衡性，实用性强．     

基于延迟调度策略的Reduce调度优化算法

在大规模的Hadoop集群中,良好的任务调度策略对提高数据本地性、减小网络传输开销、减少作业执行时间以及提高集群的作业吞吐量都有着重要的影响。本文针对Hadoop架构中Reduce任务的数据本地性较低问题,提出了一种基于延迟调度策略的Reduce任务调度优化算法,通过提高Reduce任务的数据本地性来减少作业执行时间以及提高作业吞吐量,该算法在Hadoop架构的Early Shuffle阶段,使用多级延迟调度策略来提高Reduce任务的数据本地性。最后重写原生公平调度器代码实现了该调度算法,并与原生公平调度器进行了对比实验分析,实验结果表明该算法明显减少了作业执行时间,提高了集群的作业吞吐量。     

基于自适应与主动消息的任务调度策略研究与实现

在并行分布计算中，任务调度策略是影响并行分布计算性能的重要因素，结合现有任务调度法存在的问题，运用有效聚合与充分释放的思想，提出并实现了一种具有自适应和主动消息的任务调度策略，有效地提高了系统的整体性能。     

基于自适应功耗管理的高性能计算机作业调度策略的研究

作业调度系统是高性能计算机的核心组件,其目标是在满足性能要求的前提下,使得所有任务消耗的总功耗最低。提出了一种自适应功耗管理策略,该策略采用遗传算法作为功耗调度算法,采用作业队列的能效比作为调度因素,与面向资源效率的传统作业调度算法相比,在确保提升资源利用率、减少资源碎片、提升作业吞吐率、减少饥饿作业的前提下,大幅提升了系统的能效比。实验证明该策略能有效提高整机能效,与传统作业调度策略相比能节约9%以上的能耗。     

随机任务在云计算平台中能耗的优化管理方法

针对云计算系统在运行过程中由于计算节点空闲而产生大量空闲能耗,以及由于不匹配任务调度而产生大量“奢侈”能耗的能耗浪费问题,提出一种通过任务调度方式的能耗优化管理方法.首先,用排队模型对云计算系统进行建模,分析云计算系统的平均响应时间和平均功率,建立云计算系统的能耗模型.然后提出基于大服务强度和小执行能耗的任务调度策略,分别针对空闲能耗和“奢侈”能耗进行优化控制.基于该调度策略,设计满足性能约束的最小期望执行能耗调度算法ME3PC(minimum expectation execution energy with performance constraints).实验结果表明,该算法在保证执行性能的前提下,可大幅度降低云计算系统的能耗开销.     

网格环境下清空型调度策略应用研究

在网格计算中,资源的调度优化特别是请求的调度优化是一个关键技术问题,引入离散事件动态系统中的水箱型混合动态系统模型,对网格上的资源和请求进行一体化建模。清空型调度策略是混合动态系统中一类重要的调度策略,研究了它在网格环境下的应用性能,提出一种推广形式。重点研究系统模型的建立和调度策略的稳定性分析,给出稳定性证明的理论推导过程和仿真实验结果。为下一代网络中的数据管理提供了一种新思路。     

基于信息物理融合系统执行器输出事件的价值评价调度策略

对于信息物理融合系统状态转移实时过程会影响系统性能及其正确性的问题,针对执行器的输出事件驱动系统状态转移过程,提出一种基于信息熵与数据质量的执行器输出事件的价值评价调度策略——VE-IE&QoD。首先,以超致密时间模型表达事件的实时性,定义输出事件的自信息量、执行器的信息熵及其数据质量分别为价值评价的函数指标;然后,对执行器执行任务的过程进行价值评价,并考虑适当增加加权系数;最后,利用Ptolemy Ⅱ平台建立包含价值评价调度策略、传统最早截止时间优先（EDF）调度算法以及考虑信息熵的IE^*调度策略的离散事件模型。分析不同算法模型的运行情况,对比价值评价的变化以及执行时间,实验结果表明,价值评价调度策略可降低系统平均执行时间,提高内存使用效率与任务价值评价。该策略能在一定程度上提高系统性能及其正确性。     

A fault-tolerant scheduling system for computational grids

Fault-tolerant scheduling is an important issue for computational grid systems, as grids typically consist of strongly varying and geographically distributed resources. The main scheduling strategy of most fault-tolerant scheduling systems depends on the response time and fault index when selecting a resource to execute a certain job.In this paper, a scheduling system is presented that depends on a new factor called scheduling indicator in selecting resources. This factor comprises of the response time and the failure rate of grid resources. Whenever a grid scheduler has jobs to schedule on grid resources, it uses the scheduling indicator to generate the scheduling decisions. The main scheduling strategy of the system is to select resources that have the lowest tendency to fail. Extensive simulation experiments are conducted to quantify the performance of the proposed system. Experiments have shown that the proposed system can considerably improve grid performance in terms of throughput, unavailability, turnaround time, and fail tendency.     

实时操作系统任务调度策略的研究与设计

实时操作系统的调度策略是影响系统实时性和稳定性的一个重要因素,通过对抢占调度和分时调度的研究,设计了一个可分级抢占和分时调度的实时操作系统。用抢占调度方式来保证系统的实时性,用分时调度来减少进程饥饿现象的发生,提高系统的稳定性,更易于使用。     

面向高性能计算环境的作业优化调度模型的设计与实现

高性能计算环境聚合了多个分布在不同地域、不同组织机构的高性能计算资源,面向用户提供统一的访问入口和使用方式,由系统中间件根据用户作业请求匹配合适的高性能计算资源。随着环境应用编程接口的开放以及作业请求数量的大幅增加,面对高并发作业提交请求时,目前采用的即时调度模型会由于网络等原因导致一定数量的请求处理失败,同时缺乏灵活性。针对此问题,优化了环境作业调度模型,引入作业环境队列,细化了作业系统层状态,增加了作业调度策略可配置性,并基于环境中间件SCE实现了系统原型。经测试,在单核心服务每分钟处理近200个作业提交请求的工作负载下,无因系统和网络原因引起的作业提交出错现象;在共计1 000个作业中,近500个作业提交命令请求在0.3s以内完成,800余个作业提交命令请求在0.5s以内完成。     

数据流处理系统的调度策略研究

对于高速网络中大容量数据流的实时查询处理,由于数据流的突发性,要求调度策略能够适应这一特点,在不降低处理系统性能的情况下进行较合适地处理.以链式调度为基础,综合先进先出和贪心策略的优点,采用一种低延迟的分段调度策略来处理数据流,可以尽量避免这些调度策略的缺陷,既能在一定程度上降低运行期间系统的存储需求,同时保持较低的输出延迟.