IaaS环境下多租户安全资源分配算法和安全服务调度框架

针对基础设施即服务（IaaS）环境下多租户使用安全服务时由于安全资源有限和安全资源分配不均导致的效率低下问题,提出了一个租户安全资源调度框架。首先以最小最大公平算法为基础,结合Fair Scheduler的调度思想为租户设定了最小共享量和资源需求量属性;然后通过安全服务资源分配算法在保证租户最小共享量满足的前提下,尽可能公平地满足租户的资源需求;最后结合租户内任务调度和租户间资源抢占算法,实现了租户安全服务调度框架。实验结果表明,在随机资源分配条件下,安全服务资源分配算法与传统资源分配算法相比在资源利用率和作业效率上均有明显提高,安全服务调度框架可以有效解决多租户安全资源的分配和强占问题。     

云计算中一种多DAG工作流可抢占式调度策略

为解决多用户工作流调度过程中的公平性问题,提高资源利用率,满足不同用户DAG工作流的不同QoS需求,提出了抢占式多DAG工作流动态调度模型。该算法将DAG工作流按照QoS需求进行优先级划分,采用高优先级作业优先占有资源的原则调度作业。相同优先级DAG工作流的任务依据带有启发性信息的slowdown进行资源抢占,进一步提高了作业调度的公平性;对于不同优先级的作业调度,提出了基于阈值的回填算法,该算法在保证作业调度公平的同时提高了资源利用率。     

Hadoop集群环境下本地性调度算法改进

Hadoop集群环境下本地性调度算法是提高数据本地性的算法。算法本质是提高数据本地性,减少数据传输时间,减少集群的网络I/O,提高资源利用率。由于调度算法采用FIFO方式,当前作业数据量大时将影响其他紧急性高的作业响应时间,降低系统性能。本文提出一种新的调度策略,即在保证原算法数据本地性的前提下,集成静态优先级的抢占调度策略。实验结果表明,在相同的数据集上,采用集成静态优先级抢占的调度策略,优先级高的作业响应时间较优先级低的作业响应时间减少。     

面向云存储的I/O资源效用优化调度算法研究

随着云计算的普及,越来越多的客户选择使用基于云的服务,以避免冗余的设施购买费用和繁杂的系统设计与维护,从而将精力集中在自己的专业领域.通常,云服务的客户从云服务供应商购买虚拟机,并根据双方商定达成的服务水平目标(service level objective,SLO)约束购买到的计算资源.分布式存储中大量的文件分布在不同的存储节点上,现有的CPU、内存以及带宽等资源的分配调度算法并不适用磁盘I/O资源.从云服务提供商的角度来说,高效用的I/O资源调度算法有利于提高其系统的利用率,节约资源开销并增加企业收益率.从云存储提供商为获取高效率高收益率的角度考虑,通过对用户的虚拟机在不同存储节点上的访问特性建模,提出了一个新的自适应分布式I/O资源调度算法,简称为PC算法.PC算法能够:1)根据用户与服务商之间制定的SLO,动态地在各个存储节点中为每个虚拟机制定适当的局部SLO,满足虚拟机对个体节点的访问需求;2)为各虚拟机提供高效健壮的资源分配策略,既能尽可能利用I/O资源,又避免由无序的I/O资源竞争导致的虚拟机I/O资源饥饿.PC算法能够根据不同的I/O资源供应状况在两种调度策略间自动切换,当系统I/O资源充足时,算法采用最早截止时间优先算法(earliest deadline first,EDF)方式提高I/O资源使用率;反之则根据每个I/O请求的预计效益来提高总收益率.实验结果表明,在不采用预先设定虚拟机对各个节点访问量的前提下,PC算法能根据访问模式制定合理的资源分配,提高系统的I/O资源利用率和收益.     

嵌入式软件仿真测试环境实时任务调度的研究

Vxworks操作系统是一个功能强大、而且独立于处理器的实时操作系统,它具有多任务处理能力和保证软件实时性的各种通信机制;在分析嵌入式软件仿真测试环境的多任务性和实时性需求的基础上,基于任务权重优先调度算法和系统的功能模块的紧急度调度算法,对系统的各个模块进行了合理的任务划分,并提出了单处理器下的基于信号量通信的静态权重优先级抢占的任务调度算法;确定了需要调度的任务集合,并给出了测试环境任务总体关联图及具体实现方法,通过Windview工具对任务调度和实时性进行了验证。     

基于确定周期性任务的进程管理及可调度性分析

文中讨论了基于确定周期性任务的实时进程管理,对确定周期性任务采用调度器生成的管理方式,通过截止期递增分类法将非性任务分为两类,分别采用中断内抢占调度和信号调度,提出了改进的最大紧急度优先算法,分析了目标系统的可调度性,给出了春可调度的充要条件。     

一种基于YARN的高优先级作业调度实现方案

提交到YARN上的一个大数据作业会被切分为一个或者多个任务,任务是大数据作业申请资源和执行的基本单位[1]。在某些领域中存在需要对作业紧急度作有效区分使得高紧急度作业优先获得资源的需求,但是在现有的YARN资源调度策略中,对于提交到YARN上的高优先级作业缺乏资源优先分配和高质量的资源保障机制。本文在修改YARN原有资源调度方案的基础上,提出了一种基于YARN的高优先级作业调度实现方案。实验表明,提交到YARN上的高优先级作业执行效率提升了7%左右,证明设计方案行之有效。     

基于最小接入保证带宽的数据中心网络带宽分配机制

针对云计算数据中心（DC）网络中多租户间易相互干扰导致应用性能不可预测,预留带宽资源难以保证高网络利用率,从而导致云网络供应商收益损失等问题,提出了基于最小接入保证带宽的数据中心网络带宽分配（MAGBA）机制。MAGBA机制在发送端通过加权公平队列调度租户虚拟机（VM）流量,在接收端基于检测到的接收速率调节TCP流接收窗口,从而为租户VM提供最小接入保证带宽,同时充分利用闲置带宽资源。通过NS2平台仿真,MAGBA机制相比静态资源预留方式能够灵活分配带宽资源,网络吞吐量提升25%。当某些租户产生大量TCP流时,MAGBA机制中其他租户分得的带宽高于现有基于TCP流的带宽分配机制。仿真结果表明,MAGBA机制能够为租户VM提供最小接入带宽保证,避免租户应用受到其他租户通信模式的干扰。     

基于EDA多任务流的调度算法研究

针对高性能计算环境下的多个电子设计自动化（EDA）任务流调度问题,提出一种启发式公平调度算法L-Fairness。在准备队列选择待调度任务时,L-Fairness算法结合任务滞后度、完成度和剩余完成时间确定任务优先级,保证多个任务流中任务的公平调度,同时将license数量及其类型作为处理器选择的依据,满足EDA多任务流的调度需求。仿真结果表明,与经典Fairness算法相比,L-Fairness算法的平均资源利用率提高6.7%,不公平度和平均完成时间分别降低46.2%和14.9%,保证了用户服务质量及调度公平性。     

OFDMA系统中基于多业务QoS保证的机会调度算法

针对正交频分多址接入（OFDMA）系统中多业务资源调度问题,提出了一种基于服务质量（QoS）的最小性能保证的资源机会调度算法。以系统总吞吐量优化为目标,根据业务的QoS参量设计子载波调度参数,并利用图论中最大加权双向匹配问题的求解算法,在各业务间公平分配子载波资源,保证了各业务的QoS要求。仿真结果表明,所提算法在保证各业务的最低速率要求的前提下有效地提高了系统总吞吐量性能。     

基于Hadoop的三队列作业调度算法

Hadoop集群单队列作业调度会产生短作业等待、资源利用率低的问题;采用多队列调度可兼顾公平、提高执行效率,但会带来手工配置参数、资源互占、算法复杂等问题。针对上述问题,提出三队列作业调度算法,利用区分作业类型、动态调整作业优先级、配置共享资源池、作业抢占等设计,达到平衡作业需求、简化一般作业调度流程、提升并行执行能力的目的。对短作业占比高,各作业占比均衡以及一般作业为主,偶尔出现长、短作业三种情况与先进先出(FIFO)算法进行了对比实验,结果三队列算法的运行时间均比FIFO算法要少。实验结果表明,在短作业聚集时,三队列算法的执行效率提升并不显著;但当各种作业并存且分布均衡时,效果很明显,这符合了算法设计时短作业优先、一般作业简化流程、兼顾长作业的初衷,提高了作业整体执行效率。     

云平台下基于截止时间的自适应调度策略

针对在共享集群中进行任务调度时,无法兼顾任务的响应速度与任务完成时间的问题,提出一种基于截止时间的自适应调度算法。该算法以用户提交的截止时间为依据,根据任务的执行进度自适应地分配适当的计算资源。不同于传统调度方式里由用户提交固定资源参数,该算法在资源约束的情况下会对优先级高的任务进行抢占式调度以保证服务质量（QoS）,并在抢占过程结束后额外分配资源补偿被抢占的任务。在Spark平台进行的任务调度实验结果显示,与另一种资源协调者（YARN）框架下的调度算法相比,所提算法能严格地控制短任务的响应速度,并使长作业的任务完成时间缩短35%。     

Hadoop下资源匹配最大集作业调度算法

针对目前层级队列作业调度算法中资源占比高的作业执行效率低的问题,提出一种资源匹配最大集算法。该算法分析作业特征,引入完成度、等待时间、优先级、重调度次数为紧迫值因子,优先考虑资源占比高或等待时间长的作业,以改善作业公平性;采用双队列结构在可用资源总量内优先选择高紧迫值作业,在不同资源占比作业集比较中选择作业数最大集,以实现调度平衡。在与最大最小公平(Max-min fairness)算法的实例对比中发现,该算法可降低作业集平均等待时间、提高资源利用率。实验对比结果表明,该算法可将不同资源占比的单一类型作业集执行时间缩短18.73%,其中资源占比高的作业执行时间缩短27.26%;在混合型作业集中对应的执行时间可分别缩短22.36%与30.28%。所提算法能有效减少资源占比高作业的等待,提高作业整体执行效率。     

Semantic-enabled CARE Resource Broker (SeCRB) for managing grid and cloud environment

Grid computing is mainly helpful for executing high-performance computing applications. However, conventional grid resources sometimes fail to offer a dynamic application execution environment and this increases the rate at which the job requests of users are rejected. Integrating emerging virtualization technologies in grid and cloud computing facilitates the provision of dynamic virtual resources in the required execution environment. Resource brokers play a significant role in managing grid and cloud resources as well as identifying potential resources that satisfy users’ application requests. This research paper proposes a semantic-enabled CARE Resource Broker (SeCRB) that provides a common framework to describe grid and cloud resources, and to discover them in an intelligent manner by considering software, hardware and quality of service (QoS) requirements. The proposed semantic resource discovery mechanism classifies the resources into three categories viz., exact, high-similarity subsume and high-similarity plug-in regions. To achieve the necessary user QoS requirements, we have included a service level agreement (SLA) negotiation mechanism that pairs users’ QoS requirements with matching resources to guarantee the execution of applications, and to achieve the desired QoS of users. Finally, we have implemented the QoS-based resource scheduling mechanism that selects the resources from the SLA negotiation accepted list in an optimal manner. The proposed work is simulated and evaluated by submitting real-world bio-informatics and image processing application for various test cases. The result of the experiment shows that for jobs submitted to the resource broker, job rejection rate is reduced while job success and scheduling rates are increased, thus making the resource management system more efficient.     

分布式环境中的多作业执行调度策略与优化

分布式大数据计算引擎是科研机构、互联网企业和政府部门处理大规模数据必不可少的工具,它们的使用和推广促进了各个领域的快速发展,为社会进步做出了巨大贡献。但是,在多作业处理的情况下,目前主流的大数据计算引擎在资源分配和作业调度方面仍有许多不足之处,它们通常对多作业平均划分内存资源并以先进先出FIFO的方式调度作业,这样简单的资源划分方式和作业调度机制并不能充分利用系统性能。针对此问题,从计算引擎的作业层面做出了改进：在资源划分方面,通过提取作业特征对作业的任务量进行预估,判断作业任务量和作业预分配资源间的差异,合并对集群资源浪费较高的作业,充分利用计算资源;在作业调度方面,对作业池中的作业进行特征提取,使用多路K-means算法对作业进行聚类分析,然后基于分析的结果,使用自平衡轮询调度算法对作业进行调度,达到负载均衡的目的。为了验证所提算法的有效性,使用大规模文本数据集在分布式集群环境中进行对比实验,实验结果表明,提出的作业合并算法和多作业调度算法可以减少5%~23%的作业运行时间,提高了7.5%~29%的系统吞吐量,在最好情况下可减少40%的线程启动数。     

多QoS约束网格作业调度问题的多目标演化算法

针对网格计算中的多QoS约束网格作业调度问题，以独立作业为研究对象，将其规约为多目标组合最优化问题．通过深入剖析多目标最优化理论及其演化算法，结合网格作业调度自然特征，提出了一种解决多QoS约束网格作业调度问题的多目标演化算法．该算法求解多个QoS维度效用函数指标的非劣解集，尝试解决多管理域间网格用户、资源管理者等网格实体的多目标协同问题．仿真结果表明，在时间维度、可靠性维度、安全性维度QoS效用值等用户级QoS指标，以及丢弃作业数等系统级指标方面该算法与QoS-Min-min和QoS-Sufferage等同类算法相比具有较好的综合性能．     

基于ECT的优先权约束作业调度策略研究

为了协调网格计算中异构资源在多用户之间的合理共享,满足不同用户需求,该文提出一种基于ECT的优先权约束作业调度策略。该策略充分考虑不同作业的期望完成时间,并通过为不同级别用户设置优先级,使得高优先权用户的作业优先执行,保证绝大多数作业在期望完成时间之内完成,同时平衡了各种资源的利用率。该策略解决了网格环境下不同类别用户无冲突共享资源问题,提高了用户满意程度,实现了作业与异构资源之间的合理匹配。     

动态抢占阈值调度中的快速任务选择算法

基于动态抢占阈值的实时调度算法集非抢占调度和纯抢占调度的特点,既减少了由于过多的随意抢占造成的CPU资源浪费,又保证了较高的CPU资源利用率。然而,现有的任务选择算法运行时的额外代价严重影响了系统的整体性能。针对这个问题,本文提出一种使用“选择树”作为任务队列结构的、时间复杂度为O（｜log2n｜）的快速任务选择算法。本文从理论上证明该算法正确性的同时,在使用ARM9芯片的Nokia智能手机上验证了该算法在嵌入式实时系统中的有效性。实验表明,该算法在充分利用处理器的同时能够有效降低动态阈值调度算法的额外代价。     

Multi-QoS constrained and Profit-aware scheduling approach for concurrent workflows on heterogeneous systems

The execution of a workflow application can result in an imbalanced workload among allocated processors, ultimately resulting in a waste of resources and a higher cost to the user. Here, we consider a dynamic resource management system in which processors are reserved not for a job but only to run a task, thus allowing a higher resource usage rate. This paper presents a scheduling algorithm that manages concurrent workflows in a dynamic environment in which jobs are submitted by users at any moment in time, on shared heterogeneous resources, and constrained to a specified budget and deadline for each job. Recent research attempted to propose dynamic strategies for concurrent workflows but only addressed fairness in resource sharing among applications while minimizing the execution time. The Multi-QoS Profit-Aware scheduling algorithm (MQ-PAS) proposed here is able to increase the profit achieved by the provider by considering the budget available for each job to define tasks priorities. We study the scalability of the algorithm with different types of workflows and infrastructures. The experimental results show that our strategy improves provider revenue significantly and obtains comparable successful rates of completed jobs.