基于负载预测的虚拟机动态调度算法研究与实现

在云计算系统中为了实现负载均衡和资源的高效利用,需要在虚拟机粒度上对云计算系统进行调度,通过热迁移技术将虚拟机从高负载物理节点迁移到低负载物理节点。把负载预测技术和虚拟机动态调度技术相结合,提出了LFS算法,通过虚拟机历史负载数据对虚拟机未来的负载变化情况进行预测,然后根据预测结果对虚拟机进行调度,能够有效地避免云计算系统中高负载物理节点出现,实现负载均衡,提高资源使用率。     

云数据中心基于贪心算法的虚拟机迁移策略

为了节省云数据中心的能量消耗,提出了几种基于贪心算法的虚拟机（VM）迁移策略。这些策略将虚拟机迁移过程划分为物理主机状态检测、虚拟机选择和虚拟机放置三个步骤,并分别在虚拟机选择和虚拟机放置步骤中采用贪心算法予以优化。提出的三种迁移策略分别为：最小主机使用效率选择且最大主机使用效率放置算法MinMax_Host_Utilization、最大主机能量使用选择且最小主机能量使用放置算法MaxMin_Host_Power_Usage、最小主机计算能力选择且最大主机计算能力放置算法MinMax_Host_MIPS。针对物理主机处理器使用效率、物理主机能量消耗、物理主机处理器计算能力等指标设置最高或者最低的阈值,参考贪心算法的原理,在指标上超过或者低于这些阈值范围的虚拟机都将进行迁移。利用CloudSim作为云数据中心仿真环境的测试结果表明,基于贪心算法的迁移策略与CloudSim中已存在的静态阈值迁移策略和绝对中位差迁移策略比较起来,总体能量消耗少15%,虚拟机迁移次数少60%,平均SLA违规率低5%。     

改进粒子群算法在云计算负载均衡中的应用研究

云计算系统采用虚拟化技术可以更加灵活和高效地分配运算资源,便于管理员根据用户任务需求按需分配云计算资源。但虚拟化后的云计算中心存在种类多样、数量庞大的虚拟机资源,难以将虚拟机合理地放置到物理主机集群上并达到较好的负载均衡。为此,给出了云计算中心虚拟机放置到物理主机的负载均衡模型,采用改进后的粒子群算法（PSO）来求解最优解。最后通过和常用虚拟机放置算法的仿真对比实验,验证了所提云计算负载均衡优化算法的有效性。     

云计算架构下的深层次动态资源调配

云计算是当前学术界和工业界都十分关注的热点,被广泛应用于针对海量数据和用户的大规模计算。云计算的特点要求计算机系统能够提供可伸缩的计算能力,而虚拟化技术正是其中的关键层次,在资源管理、服务器整合、提高资源利用率等方面发挥了巨大的作用。通过虚拟化技术,可以实现一个多层次的资源调度机制,以保证高资源利用率和系统性能:首先面向虚拟机的应用特征建立资源预测模型,然后依据预测结果建立资源分配策略,最终通过虚拟机间的资源动态优化技术,实现在同一物理主机或不同物理主机上虚拟机间动态的资源优化使用。这里,不仅要以物理机的宏观资源利用率作为管理依据,更需要关注虚拟机上应用程序在运行过程中的资源需求变化特征,从而为云计算提供一整套的虚拟化资源优化技术及使用方案,从静态部署、动态预测、单机资源动态调配、多机资源动态均衡调度、在线迁移等多个层次为云计算提供全面、有机的支撑。     

云计算环境下基于需求预测的虚拟机节能分配方法研究

在云计算环境中,大量用来处理各种用户需求的虚拟机分布在具有相异物理配置的主机上.维持这些主机和配套设施的正常运转需要消耗大量的能源.为了控制云计算环境的运营支出并提高其能源利用率,提出了基于需求预测的虚拟机节能分配方法.首先,由于用户需求通常具有时变性且符合一定的季节性模型,所以利用Holt-Winters指数平滑法对后续周期的需求进行预测.其次,根据预测结果,利用修改后的背包算法在主机之间合理地分配虚拟机.最后,利用自优化模块对预测模型中的参数进行自适应更新,并确定合适的预测周期.实验表明该方法可以有效减少主机的开关机操作次数,从而降低云计算环境中无谓的能源消耗.     

虚拟化云计算数据中心能量感知资源分配机制

针对云计算的资源管理问题,提出了云计算数据中心的能量模型以及四个虚拟机放置算法。首先计算每个机架上主机的负载并根据设定的阈值进行归类,然后采用最少迁移策略从主机上选择合适迁移的虚拟机并且接受新的虚拟机分配请求,对每个虚拟机与主机集合进行匹配,选择最优化的主机进行放置。实验结果表明,与现有的能量感知资源分配方法相比,该方法在主机、网络设备以及冷却系统方面能量利用率分别提高了2.4%,18.5%和28.1%,总的能量利用率平均提高了14.5%。     

基于渗透式人工蜂群与蚁群优化混合的负载平衡算法

针对当前云计算负载平衡调度过程中出现的虚拟机迁移效率低和能耗高问题,提出了一种基于渗透式人工蜂群与蚁群混合优化负载平衡算法,该算法将化学渗透行为与生物启发的负载平衡算法相结合,在充分利用人工蜂群和蚁群两种优化算法优点的同时,将渗透技术应用于负载均衡。由于渗透技术支持通过云基础设施迁移的虚拟机的自动部署,从而克服了现有仿生算法在实现物理机之间负载平衡方面的缺点,提高了迁移效率。实验结果表明,以现有负载平衡算法相比,提出的算法在迁移性能上提升明显。     

基于负载均衡的云计算任务调度算法的研究

本文针对当前云计算系统负载不均衡和任务完成效率有待提高的问题,提出了一种基于系统整体负载均衡与最小完成时间LB—ECT算法。根据云计算环境下资源需求动态变化,利用任务在虚拟机上执行时间的预测进行任务到虚拟机上的分配、调度。优化系统的整体效率。采用云计算仿真平台CloudSim对本算法进行仿真实验与分析,实验仿真结果表明,LB—ECT算法能够有效提高系统的整体负载均衡能力．明显缩短任务的总完成时间．     

基于三支决策的虚拟机节能迁移策略

虚拟机迁移技术作为云计算中降低数据中心能耗的重要手段被广泛应用。结合三支决策的分、治、效模型提出一种基于三支决策的虚拟机迁移调度策略（TWD-VMM）。首先,通过建立层次阈值树搜索所有可能取到的阈值,由此以数据中心能耗为优化目标得到总能耗最低的一对阈值,从而实现三分区域,即高负载区域、中负载区域和低负载区域。其次,针对不同负载的主机采取不同的迁移策略：对于高负载主机,以主机预迁出后的多维资源均衡度和主机负载下降幅度为目标;对于低负载主机,主要考虑主机预放置后的多维资源均衡度;对于中等负载主机,如果迁移过来的虚拟机依旧满足中负载特性,则可以接受迁入。实验采用CloudSim模拟器进行,将TWD-VMM算法分别与基于阈值调度算法（TVMS）、基于虚拟机迁移节能调度算法（EEVS）、云计算中心节能调度算法（REVMS）算法在主机负载、主机多维资源利用均衡度、数据中心总能耗等方面进行比较,结果表明TWD-VMM算法在提高主机资源利用率、均衡主机负载等方面有明显效果,且能耗平均降低了27%。     

Xen虚拟机资源调度优化算法

针对Xen虚拟化平台中虚拟机资源分配不合理的问题,提出了两种资源调度优化算法,即细粒度优化算法和粗粒度优化算法.细粒度优化算法主要解决单个物理节点上虚拟机资源分配不合理问题,能够根据物理节点上运行的各虚拟机的资源利用情况来调整资源分配量,适当增加利用率较高的虚拟机的资源,减少资源利用率低的虚拟机的资源,从而优化资源分配,提高资源利用效率,避免不必要的虚拟机迁移.粗粒度优化算法是针对集群中多个物理节点之间虚拟机负载不均衡问题而提出的.该算法结合粒子群优化技术,选择将集群系统中热点物理机上的部分虚拟机迁移到最适合的冷点物理机上,从而避免高载物理机宕机.实验结果表明,这两种资源调度优化算法能够有效解决虚拟机资源分配不合理的问题,具有较好的适用性和应用前景.     

A cost-effective power-aware approach for scheduling cloudlets in cloud computing environments

On a cloud platform, the user requests are managed through workload units called cloudlets which are assigned to virtual machines through cloudlet scheduling mechanism that mainly aims at minimizing the request processing time by producing effective small length schedules. The efficient request processing, however, requires excessive utilization of high-performance resources which incurs large overhead in terms of monetary cost and energy consumed by physical machines, thereby rendering cloud platforms inadequate for cost-effective green computing environments. This paper proposes a power-aware cloudlet scheduling (PACS) algorithm for mapping cloudlets to virtual machines. The algorithm aims at reducing the request processing time through small length schedules while minimizing energy consumption and the cost incurred. For allocation of virtual machines to cloudlets, the algorithm iteratively arranges virtual machines (VMs) in groups using weights computed through optimization and rescaling of parameters including VM resources, cost of utilization of resources, and power consumption. The experiments performed with a diverse set of configurations of cloudlets and virtual machines show that the PACS algorithm achieves a significant overall performance improvement factor ranging from 3.80 to 23.82 over other well-known cloudlet scheduling algorithms..

     

云环境下基于改进NSGA II的虚拟机调度算法

在云环境中,如何将大量的虚拟机调度到物理节点上是一个基本且复杂的问题。文中首先对虚拟机的调度建立装箱问题模型,将该模型的求解转化一个多目标优化问题,目标分别为负载均衡、提高任务执行效率和降低能耗;接着对基于非支配排序的遗传算法（ Non-dominated Sorting Genetic Algorithm,NSGA II）进行改进,利用回溯法中的剪枝函数确定最优初始种群,引入正态分布密度函数限制优秀精英。仿真结果表明,基于改进NSGA II的虚拟机调度算法在任务执行时间、负载均衡和能量消耗三个方面优于其他一些常用算法。     

Novel dynamic load balancing algorithm for cloud-based big data analytics

Big data analytics in cloud environments introduces challenges such as real-time load balancing besides security, privacy, and energy efficiency. This paper proposes a novel load balancing algorithm in cloud environments that performs resource allocation and task scheduling efficiently. The proposed load balancer reduces the execution response time in big data applications performed on clouds. Scheduling, in general, is an NP-hard problem. Our proposed algorithm provides solutions to reduce the search area that leads to reduced complexity of the load balancing. We recommend two mathematical optimization models to perform dynamic resource allocation to virtual machines and task scheduling. The provided solution is based on the hill-climbing algorithm to minimize response time. We evaluate the performance of proposed algorithms in terms of response time, turnaround time, throughput metrics, and request distribution with some of the existing algorithms that show significant improvements.

     

多目标最优化云工作流调度进化遗传算法

为了实现云环境中科学工作流调度的执行跨度和执行代价的同步优化,提出了一种多目标最优化进化遗传调度算法MOEGA。该算法以进化遗传为基础,定义了任务与虚拟机映射、虚拟机与主机部署间的编码机制,设计了满足多目标优化的适应度函数。同时,为了满足种群的多样性,在调度方案中引入了交叉与变异操作,并使用启发式方法进行种群初始化。通过4种现实科学工作流的仿真实验,将其与同类型算法进行了性能比较。结果表明,MOEGA算法不仅可以满足工作流截止时间约束,而且在降低任务执行跨度与执行代价的综合性能方面也优于其他算法。     

双层虚拟化云架构下任务调度能耗优化算法

虚拟机上部署容器的双层虚拟化云架构在云数据中心中的使用越来越广泛。为了解决该架构下云数据中心的能耗问题,提出了一种工作流任务调度算法TUMS-RTC。针对有截止时间约束的并行工作流,算法将调度过程划分为时间利用率最大化调度和运行时间压缩两个阶段。时间利用率最大化调度通过充分使用给定的时间范围减少完成工作流所需的虚拟机和服务器数量;运行时间压缩阶段通过压缩虚拟机空闲时间以缩短虚拟机和服务器的工作时间,最终达到降低能耗的目标。使用大量特征可控的随机工作流对TUMS-RTC算法的性能进行了测试。实验结果表明,TUMS-RTC算法相较于对比算法有更高的资源利用率,虚拟机数量减少率和能耗节省率,并且可以很好地处理云计算中规模大且并行度高的工作流。     

An energy-aware scheduling algorithm under maximum power consumption constraints

This research investigates the production scheduling problems under maximum power consumption constraints. Probabilistic models are developed to model dispatching-dependent and stochastic machine energy consumption. A multi-objective scheduling algorithm called the energy-aware scheduling optimization method is proposed in this study to enhance both production and energy efficiency. The explicit consideration of the probabilistic energy consumption constraint and the following factors makes this work distinct from other existing studies in the literature: 1) dispatching-dependent energy consumption of machines, 2) stochastic energy consumption of machines, 3) parallel machines with different production rates and energy consumption pattern, and 4) maximum power consumption constraints. The proposed three-stage algorithm can quickly generate near-optimal solutions and outperforms other algorithms in terms of energy efficiency, makespan, and computation time. While minimizing the total energy consumption in the first and second stages, the proposed algorithm generates a detailed production schedule under the probabilistic constraint of peak energy consumption in the third stage. Numerical results show the superiority of the scheduling solution with regard to quality and computational time in real problems instances from manufacturing industry. While the scheduling solution is optimal in total energy consumption, the makespan is within 0.6 % of the optimal on average.     

云计算环境下基于蚁群优化算法的资源调度策略

针对当前云计算环境中节点规模巨大,单个节点资源配置较低,寻找有效计算资源效率不高的缺点,文中在Google公司的Map/Reduce框架上提出了两个基于蚁群优化的资源调度策略ACO1和ACO2,并在这两个资源调度策略中引入双向蚂蚁机制。在该双向蚂蚁机制中蚂蚁通过相互交流,能够快速地发现合适的虚拟机资源,从而使得Master节点能够快速地为用户任务分配虚拟机。实验结果表明这两个利用了双向蚂蚁机制的资源调度策略显著减少了为用户任务寻找虚拟机的时间,从而使得用户任务能够更快地获得虚拟机,保证用户作业能够按时完成。     

面向移动云计算的自适应虚拟机调度算法

随着移动云计算的快速发展和应用普及,如何对移动云中心资源进行有效管理同时又降低能耗、确保资源高可用是目前移动云计算数据中心的热点问题之一.本文从CPU、内存、网络带宽和磁盘四个维度,建立了基于多目标优化的虚拟机调度模型VMSM-EUN(Virtual Machine Scheduling Model based on Energy consumption,Utility and minimum Number of servers),将最小化数据中心能耗、最大化数据中心效用以及最小化服务器数量作为调度目标.设计了基于改进粒子群的自适应参数调整的虚拟机调度算法VMSA-IPSO(Virtual Machine Scheduling Algorithm based on Improved Particle Swarm Optimization)来求解该模型.最后通过仿真实验验证了本文提出的调度算法的可行性与有效性.对比实验结果表明,本文设计的基于改进粒子群的自适应虚拟机调度算法在进行虚拟机调度时,能在降低能耗的同时提高数据中心效用.