文化框架下多群智能优化算法的云作业调度

作业调度是一种云计算核心技术,为了获得更优的云计算作业调度方案,提出一种文化框架下多群智能优化算法的云作业调度方法;首先构建云作业调度问题的数学模型,然后借助文化算法模型,粒子群算法组成信仰空间,人工鱼群算法组成群体空间,两者之间并行演化,相互促进,对云计算作业调度数学模型进行求解,最后通过仿真实验测试算法的性能;结果表明,本文加快了算法的收敛速度,获得了更优的云计算作业调度方案,大幅度缩短少云计算作业完成时间,具有一定的实用价值.     

Hadoop平台中作业调度算法分析与改进研究

针对传统云计算作业调度中简单优先级设置的不足,首先对作业调度进行研究并提出了基于用户服务等级协议(SLA)的作业分级机制。该设计基于Qo S约束的多优先级作业调度算法,在算法中利用云用户作业中的偏好程度来设计优先级值计算函数Priority,在作业调度时可以使较高等级的云用户和具有较高优先级的作业优先得到任务的执行,通过上述方式可以较好地保证云计算环境下的服务质量。     

Hadoop平台下自响应故障感知的检测技术研究实现

当今云计算环境下,Hadoop已经成为大数据处理的事实标准。然而云计算具有大规模、高复杂和动态性的特点,容易导致故障的发生,影响Hadoop上运行的作业。虽然Hadoop具有内置的故障检测和恢复机制,但云环境中不同节点负载大小的变化,被调度的作业仍然导致失败。针对此问题提出自响应故障感知的检测调度方法,对异构环境负载能力的不同,而做出服务器快节点和慢节点的判断,把作业分配调度到合适的节点上执行,调整任务决策来尽可能的防止任务失败的发生。最后在Hadoop框架下与基本调度器进行实验性能比较,结果显示该方法减少作业失败率最高达19%,并缩短了作业执行时间,同时也减少CPU和内存的使用。     

云计算资源调度研究综述

资源调度是云计算的一个主要研究方向.首先对云计算资源调度的相关研究现状进行深入调查和分析;然后重点讨论以降低云计算数据中心能耗为目标的资源调度方法、以提高系统资源利用率为目标的资源管理方法、基于经济学的云资源管理模型,给出最小能耗的云计算资源调度模型和最小服务器数量的云计算资源调度模型,并深入分析和比较现有的云资源调度方法;最后指出云计算资源管理的未来重要研究方向:基于预测的资源调度、能耗与性能折衷的调度、面向不同应用负载的资源管理策略与机制、面向计算能力(CPU、内存)和网络带宽的综合资源分配、多目标优化的资源调度,以便为云计算研究提供有益的参考.     

异构云环境下的密码服务调度方法

针对云计算环境下存在密码服务请求算法种类多、资源需求差异化和节点性能异构等问题。为了提高系统的可靠性,保证服务质量,综合考虑用户请求任务和处理节点等多种因素,在作业包截止时间的基础上,通过任务映射策略完成密码服务的一级调度。设计一个基于用户优先级和任务等待时间的任务优先级调度算法实现二级调度,从而构造一种同时支持多种密码服务请求和任务动态可调整的调度系统框架,以保证云环境下任务的时效性。仿真结果表明,该系统有较好的执行效率和负载分布效果,达到设计目标。与随机法和遗传算法相比,其执行效率分别提高了17%和11%左右。     

云虚拟机资源分配的效用最大化模型

随着云计算和虚拟化技术的发展,为云资源管理提供了一种更高层次的调度选择:一个作业不再只能分配到一台物理机上,而是可将一台或多台物理机的计算资源虚拟化成一台虚拟机来运行该作业.根据作业需要,高效分配定量的物理资源放置虚拟机,是决定云系统性能的关键因素,即云资源调度问题实质就是一个虚拟机和物理机之间的映射问题.文中借鉴网络效用最大化模型,提出了一种云资源调度模型——云效用最大化(Cloud Utility Maximization,CUM)模型,与传统调度模型相比,目标函数不再是最小化最大完工时间,而是以达到效用最大为调度目标,可以充分提高用户的满意程度.通过求解CUM优化问题得到最优的虚拟机和物理机映射关系.设计了针对该模型的分解优化算法——简化次梯度算法求解拉格朗日对偶问题,证明了该算法可以获得原始模型问题的最优解.仿真实验表明算法可行且具有良好的收敛特性,并给出了CUM模型在真实云环境下的应用场景.     

云计算中负载优化模型及算法研究

云计算环境的动态性和异构性,使得云计算很容易出现负载失衡现象,严重影响了云计算的整体性能和用户体验.论文提出了基于改进遗传算法的负载均衡优化模型,兼顾资源需求动态变化和虚拟机的计算能力,建立相应的资源调度模型,运用改进遗传算法实现资源负载均衡.验证表明,该算法能很好满足云环境下数据中心的使用要求,提高资源利用率和负载均衡度.     

面向云计算的期限约束的MapReduce作业调度方法

提出一种面向异构云计算环境的截止时间约束的MapReduce作业调度方法。使用加权偶图建模MapReduce作业调度问题,将Map任务及Reduce任务与资源槽分为2个节点集合,连接2个节点集合的边的权重为任务在资源槽上的执行时间。进而,使用整数线性规划求解最小加权偶图匹配,从而得到任务到资源槽的调度方案。本文考虑了云计算环境下异构节点任务处理时间的差异性,在线动态评估和调整任务的截止时间,从而提升了MapReduce作业处理的性能。实验结果表明,所提出的方法缩短了作业数据访问的时间,最小化了截止时间冲突的作业数量。     

跨云环境下任务调度综述

随着云计算技术的不断发展，越来越多的企业和组织开始采用跨云的方式进行IT交付.跨云环境可以更有效地应对传统单云环境资源利用率低、资源受限以及供应商锁定等问题，并对云资源进行统一管理.由于跨云环境中资源具有异构性，导致跨云任务调度变得更为复杂.基于此，如何合理地调度用户任务并将其分配到最佳的跨云资源上执行，成为了跨云环境中需要解决的重要问题.拟从跨云环境的角度出发，探讨该环境下任务调度算法研究的进展及挑战.首先，结合跨云环境特征将云计算分为联盟云、多云环境并进行详细介绍，同时回顾已有的任务调度类型并分析其优缺点；其次，根据研究现状选取代表性文献对跨云环境下任务调度算法进行整理、分析；最后探讨了跨云环境下任务调度算法研究中的不足和未来的研究趋势，为跨云环境下任务调度算法的进一步研究提供了参考.     

电力大数据调度云的优化

由于电力大数据的体量大、类型多、速度快等特点,传统计算难以对其很好地处理.在深入研究云计算技术的基础上,尝试在调度业务中引用云计算.介绍了一种调度云框架,详细说明了调度云基础设施层、平台层、服务层的层次结构,阐明了调度云的五种应用服务,并设计了调度云的拓扑结构和工作流程.通过仿真比较了云计算和传统计算的效率,验证了利用云计算处理电力大数据的可行性.最后,提出了一种在系统内存中对电力大数据进行处理的云计算方法,并通过实验证明云计算方法能够实现调度云的优化.     

An efficient job management of computing service using integrated idle VM resources for high-performance computing based on OpenStack

In recent years, various studies on OpenStack-based high-performance computing have been conducted. OpenStack combines off-the-shelf physical computing devices and creates a resource pool of logical computing. The configuration of the logical computing resource pool provides computing infrastructure according to the user’s request and can be applied to the infrastructure as a service (laaS), which is a cloud computing service model. The OpenStack-based cloud computing can provide various computing services for users using a virtual machine (VM). However, intensive computing service requests from a large number of users during large-scale computing jobs may delay the job execution. Moreover, idle VM resources may occur and computing resources are wasted if users do not employ the cloud computing resources. To resolve the computing job delay and waste of computing resources, a variety of studies are required including computing task allocation, job scheduling, utilization of idle VM resource, and improvements in overall job’s execution speed according to the increase in computing service requests. Thus, this paper proposes an efficient job management of computing service (EJM-CS) by which idle VM resources are utilized in OpenStack and user’s computing services are processed in a distributed manner. EJM-CS logically integrates idle VM resources, which have different performances, for computing services. EJM-CS improves resource wastes by utilizing idle VM resources. EJM-CS takes multiple computing services rather than single computing service into consideration. EJM-CS determines the job execution order considering workloads and waiting time according to job priority of computing service requester and computing service type, thereby providing improved performance of overall job execution when computing service requests increase.

     

基于改进多目标布谷鸟搜索的资源调度算法

针对IaaS(Infrastructure as a Service)云计算中资源调度的多目标优化问题,提出一种基于改进多目标布谷鸟搜索的资源调度算法。在多目标布谷鸟搜索算法的基础上,通过改进随机游走策略和丢弃概率策略提高了算法的局部搜索能力和收敛速度。以最大限度地减少完成时间和成本为主要目标,将任务分配特定的VM(Virtual Manufacturing)满足云用户对云提供商的资源利用的需求,从而减少延迟,提高资源利用率和服务质量。实验结果表明,该算法可以有效地解决IaaS云计算环境中资源调度的多目标问题,与其他算法相比,具有一定的优势。     

云环境下基于强化学习的多目标任务调度算法

针对云计算环境下的多目标任务调度问题,提出一种新的基于Q学习的多目标优化任务调度算法(Multi-objective Task Scheduling Algorithm based on Q-learning,QM TS).该算法的主要思想是:首先,在任务排序阶段利用Q-learning算法中的自学习过程得到更加合理的任务序列;然后,在虚拟机分配阶段使用线性加权法综合考虑任务最早完成时间和计算节点的计算成本,达到同时优化多目标问题的目的;最后,以产生更小的makespan和总成本为目标函数对任务进行调度,得到任务完成后的实验结果.实验结果表明,QMTS算法在使用Q-learning对任务进行排序后可以得到比HEFT算法更小的makespan;并且根据优化多目标调度策略在任务执行过程中减少了makespan和总成本,是一种有效的多目标优化任务调度算法.     

云计算环境中面向DAG任务的多目标调度算法

为了实现任务执行效率与执行代价的同步优化,提出了一种云计算环境中的DAG任务多目标调度优化算法。算法将多目标最优化问题以满足Pareto最优的均衡最优解集合的形式进行建模,以启发式方式对模型进行求解;同时,为了衡量多目标均衡解的质量,设计了基于hypervolume方法的评估机制,从而可以得到相互冲突目标间的均衡调度解。通过配置云环境与三种人工合成工作流和两种现实科学工作流的仿真实验测试,结果表明,比较同类单目标算法和多目标启发式算法,算法不仅求解质量更高,而且解的均衡度更好,更加符合现实云的资源使用特征与工作流调度模式。     

Preemptive cloud resource allocation modeling of processing jobs

Cloud computing allows execution and deployment of different types of applications such as interactive databases or web-based services which require distinctive types of resources. These applications lease cloud resources for a considerably long period and usually occupy various resources to maintain a high quality of service (QoS) factor. On the other hand, general big data batch processing workloads are less QoS-sensitive and require massively parallel cloud resources for short period. Despite the elasticity feature of cloud computing, fine-scale characteristics of cloud-based applications may cause temporal low resource utilization in the cloud computing systems, while process-intensive highly utilized workload suffers from performance issues. Therefore, ability of utilization efficient scheduling of heterogeneous workload is one challenging issue for cloud owners. In this paper, addressing the heterogeneity issue impact on low utilization of cloud computing system, conjunct resource allocation scheme of cloud applications and processing jobs is presented to enhance the cloud utilization. The main idea behind this paper is to apply processing jobs and cloud applications jointly in a preemptive way. However, utilization efficient resource allocation requires exact modeling of workloads. So, first, a novel methodology to model the processing jobs and other cloud applications is proposed. Such jobs are modeled as a collection of parallel and sequential tasks in a Markovian process. This enables us to analyze and calculate the efficient resources required to serve the tasks. The next step makes use of the proposed model to develop a preemptive scheduling algorithm for the processing jobs in order to improve resource utilization and its associated costs in the cloud computing system. Accordingly, a preemption-based resource allocation architecture is proposed to effectively and efficiently utilize the idle reserved resources for the processing jobs in the cloud paradigms. Then, performance metrics such as service time for the processing jobs are investigated. The accuracy of the proposed analytical model and scheduling analysis is verified through simulations and experimental results. The simulation and experimental results also shed light on the achievable QoS level for the preemptively allocated processing jobs.     

云环境下基于DO-GAPSO的任务调度算法

为了找到合理的云计算任务调度方案,仅从单一方面来优化调度策略已不能满足用户需求,但从多个方面优化调度策略又面临着权重分配问题。针对上述问题,从任务完成时间、任务完成成本、服务质量3个方面考虑,提出一种基于遗传与粒子群算法相融合的动态目标任务调度算法,在算法的适应度评价函数建模中引入线性权重动态分配策略。通过CloudSim平台进行云环境仿真实验,并将此算法与经典的双适应遗传算法(DFGA)、离散粒子群优化算法(DPSO)进行比较。实验结果表明,在相同的设置条件下,该算法在执行效率、寻优能力等方面优于其他两个算法,是一种云计算环境下有效的任务调度算法。     

满足工作流执行时限的可抢占虚拟机实例配置和调度方法研究

随着云计算的迅速发展,将工作流部署到云计算平台已经成为了常见的选择。相比于传统的本地工作流,云工作流不仅要考虑计算时长等要求,还要考虑其产生的经济开销。而云计算服务商为了提高资源利用率,提供了可抢占虚拟机实例这种非常廉价但是不稳定的资源。针对工作流在云计算中的调度和执行问题,提出一种满足工作流执行时限的可抢占虚拟机实例配置和调度方法。该方法使用马尔科夫模型和动态规划方法,对可抢占虚拟机实例的价格进行预测,并得到成本最低的出价策略。同时,结合工作流的执行时限要求,在估计的出价策略下对工作流中使用的实例进行配置。实验结果显示,相比于全部使用按需付费虚拟机实例,该方法在满足工作流执行时限的前提下最高可以节省89.9%的计算成本。     

基于移动云计算的计算迁移能效算法

移动云计算可以通过应用任务的计算迁移降低执行延时和改善移动设备能效,但面对多云站点选择时,迁移决策是NP问题。针对该问题,提出一种能效计算迁移算法。为了实现截止期限和预算约束下执行时间与代价的多目标优化,算法将优化过程分解为三步进行。首先根据用户对时间与代价参数的偏好,设计一种CTTPO算法对应用进行分割,生成迁移模块（云端站点执行）和非迁移模块（移动设备执行）;然后为了实现云端多站点间的迁移模块调度,设计一种基于教与学最优化方法的MTS算法,进而产生效率最优的应用调度解;最后设计一种基于动态电压缩放方法的ESM算法,通过多站点的性能缩放进一步降低应用执行能耗。通过两种随机应用结构图进行了仿真实验,实验结果证明,该算法在执行效率、执行代价以及执行能耗上要优于对比算法。     

Fuzzy Based Ant Colony Optimization Scheduling in Cloud Computing

Cloud computing is an Information Technology deployment model established on virtualization. Task scheduling states the set of rules for task allocations to an exact virtual machine in the cloud computing environment. However, task scheduling challenges such as optimal task scheduling performance solutions, are addressed in cloud computing. First, the cloud computing performance due to task scheduling is improved by proposing a Dynamic Weighted Round-Robin algorithm. This recommended DWRR algorithm improves the task scheduling performance by considering resource competencies, task priorities, and length. Second, a heuristic algorithm called Hybrid Particle Swarm Parallel Ant Colony Optimization is proposed to solve the task execution delay problem in DWRR based task scheduling. In the end, a fuzzy logic system is designed for HPSPACO that expands task scheduling in the cloud environment. A fuzzy method is proposed for the inertia weight update of the PSO and pheromone trails update of the PACO. Thus, the proposed Fuzzy Hybrid Particle Swarm Parallel Ant Colony Optimization on cloud computing achieves improved task scheduling by minimizing the execution and waiting time, system throughput, and maximizing resource utilization.