Mbalancer:虚拟机内存资源动态预测与调配

在现代数据中心,虚拟化技术在资源管理、服务器整合、提高资源利用率等方面发挥了巨大的作用,已成为云计算架构中关键的抽象层次和重要的支撑性技术。在虚拟化环境中,如果要保证高资源利用率和系统性能,必须有一个高效的内存管理方法,使得虚拟机的物理内存大小能够满足应用程序不断变化的内存需求。因此,如何在单机以及数据中心内进行内存资源的动态调控,就成为了一个关键性问题。实现了一个低开销、高精确度的内存工作集跟踪机制,进而进行相应的本地或者全局的内存调控。采用了多种动态内存调控技术：气球技术能够在单机内有效地为各个虚拟机动态调节内存;远程缓存技术可在物理机之间进行内存调度;虚拟机迁移可将虚拟机负载在多个物理主机间进行均衡。深入分析了以上各种方案的优缺点,并根据内存超载的情况有针对性地设计了相应的调控策略,实验数据表明：所提出的预测式的内存资源管理方法能够对内存资源进行在线监控和动态调配,并有效地提高了数据中心的内存资源利用率,降低了数据中心能耗。     

基于虚拟机动态迁移的负载均衡策略

针对数据中心由于异构节点资源利用率不均衡导致的负载均衡问题,本文提出了一种基于动态阈值的迁移时机判决算法与基于负载类型感知的选择算法相结合的虚拟机动态迁移选择策略.该策略先通过监控全局负载度与高低负载节点占比动态调整状态阈值,并结合负载评估值判断迁移时机;再分析虚拟机负载类型,依据虚拟机与节点资源的依赖度、虚拟机当前内存带宽比和虚拟机贡献度选择待迁移虚拟机,并根据虚拟机与目的节点的资源匹配度与迁移代价选择目的节点,实现对高负载与低负载节点的虚拟机动态调整,从而优化节点资源配置问题.实验结果表明,该策略可以有效减少虚拟机迁移次数并保证数据中心服务质量,最终改善数据中心的负载均衡能力.     

Huge Page Friendly Virtualized Memory Management

With the rapid increase of memory consumption by applications running on cloud data centers,we need more efficient memory management in a virtualized environment.Exploiting huge pages becomes more critical for a virtual machine's performance when it runs large working set size programs.Programs with large working set sizes are more sensitive to memory allocation,which requires us to quickly adjust the virtual machine's memory to accommodate memory phase changes.It would be much more efficient if we could adjust virtual machines'memory at the granularity of huge pages.However,existing virtual machine memory reallocation techniques,such as ballooning,do not support huge pages.In addition,in order to drive effective memory reallocation,we need to predict the actual memory demand of a virtual machine.We find that traditional memory demand estimation methods designed for regular pages cannot be simply ported to a system adopting huge pages.How to adjust the memory of virtual machines timely and effectively according to the periodic change of memory demand is another challenge we face.This paper proposes a dynamic huge page based memory balancing system(HPMBS)for efficient memory management in a virtualized environment.We first rebuild the ballooning mechanism in order to dispatch memory in the granularity of huge pages.We then design and implement a huge page working set size estimation mechanism which can accurately estimate a virtual machine's memory demand in huge pages environments.Combining these two mechanisms,we finally use an algorithm based on dynamic programming to achieve dynamic memory balancing.Experiments show that our system saves memory and improves overall system performance with low overhead.     

Hypervisor中内存回收技术的改进

虚拟化是云计算的关键技术. Hypervisor在虚拟机与主机硬件之间提供了一个抽象层,允许用户为运行着的虚拟机分配的内存总值超过主机的可用内存,这种技术称为内存过量分配. 为了能够降低这个技术对虚拟机性能的影响,hypervisor必须提供高效率的内存回收机制. 在本论文中,作者提出了一种解决方案：使用非易失性内存作为hypervisor交换页面数据的缓存设备. 作者从系统内存中划分出空间模拟了非易失性内存设备,修改了KVM模块中的算法,并制定了五种测试环境. 通过实验数据证明,相比现有的Ballooning技术与Hypervisor swapping技术,使用非易失性内存并配合低优先级队列算法时,虚拟机性能可提高30%和50%左右.     

虚拟机动态迁移的研究

虚拟机技术可以使硬件和软件明确分开,还能实现容错管理、动态负载均衡、服务器在线维护,对于提高数据中心和集群的服务性能尤其有利。设计并实现了4种负载类型的虚拟机在XEN上的迁移实验,比较了不同负载对于动态迁移的影响,以及动态迁移相对于静态迁移的优越性。     

基于SDN网络构架的网络动态优化研究

针对动态网络优化依赖虚拟机在线迁移技术的问题,利用新型的网络架构SDN很好地实现了对网络设备的灵活管理和配置,达到数据中心虚拟化管理,且使得数据中心在资源优化,差错容忍和负载均衡方面具有很好的灵活性。同时,提出了一种基于QoS流机制的多路径虚拟机迁移策略(QMA),该机制通过对网络动态传输的虚拟机迁移资源划分为不同的QoS流,然后对每一个流选择有效的转发路径进行迁移,从而提高虚拟机整体迁移性能,最终达到对网络资源动态优化管理。     

基于渗透式人工蜂群与蚁群优化混合的负载平衡算法

针对当前云计算负载平衡调度过程中出现的虚拟机迁移效率低和能耗高问题,提出了一种基于渗透式人工蜂群与蚁群混合优化负载平衡算法,该算法将化学渗透行为与生物启发的负载平衡算法相结合,在充分利用人工蜂群和蚁群两种优化算法优点的同时,将渗透技术应用于负载均衡。由于渗透技术支持通过云基础设施迁移的虚拟机的自动部署,从而克服了现有仿生算法在实现物理机之间负载平衡方面的缺点,提高了迁移效率。实验结果表明,以现有负载平衡算法相比,提出的算法在迁移性能上提升明显。     

面向云计算的虚拟机动态迁移技术研究

以虚拟机动态迁移关键技术的优化作为研究的主要目标,对现有的虚拟机动态迁移框架进行解析,改进动态迁移机制和迁移算法,提出预测概率算法和内存压缩算法。通过实验与比较分析,证明该改进框架和算法在虚拟机动态迁移上减少了数据传输量,缩短宕机时间,提高了虚拟机动态迁移性能。     

一种云计算环境下的虚拟机动态迁移策略

提出一种云计算环境下的虚拟机动态迁移策略DMS-VM(Dynamic Migration Strategy for Virtual Machine) 。首先,假设了一种云计算环境下虚拟机迁移场景,在该场景下多种应用服务请求处于动态变化之中,并且提供的应用服务与虚拟机是一对一绑定的;其次,提出了该场景下的基于多约束的多目标规划模型,并设计遗传算法作为虚拟机的主要迁移策略;最后利用某个企业的大数据中心作为云端测试环境, 对比测试DMS-VM算法与已有的虚拟机迁移算法的性能。实验结果表明,DMS-VM迁移策略能够更好的减少物理主机的使用数量和虚拟机的迁移次数,同时降低数据中心能耗,性能优于已有的迁移策略。     

私有云平台的虚拟机内存调度策略

在私有云平台中,现有的方法无法灵活地对虚拟机内存资源进行有效的监控和分配。针对以上问题,提出了内存实时监测和动态调度(MMS)模型,利用libvirt函数库和Xen提供的libxc函数库实现了对虚拟机内存紧缺、内存空闲时的实时监测和动态调度,并且提出虚拟机迁移策略,有效地缓解宿主机的内存紧缺问题。最后选取一台物理机作为主控节点,两台物理机作为子节点,利用Eucalyptus搭建一个小型的私有云平台。结果显示,当宿主机处于内存紧缺状态时,MMS系统通过启动虚拟机迁移策略有效地释放了内存空间;当虚拟机占用内存逼近初始最大内存时,MMS为其分配新的最大内存;当占用内容降低时,MMS系统对部分空闲的内存资源进行了回收,而且释放内存不超过150MB(最大内存512MB)时,其对虚拟机性能的影响不大。结果表明该模型对私有云平台中虚拟机内存进行实时监测和动态调度是有效的。     

改进指数平滑预测的虚拟机自适应迁移策略

针对云数据中心虚拟机频繁迁移问题对虚拟机迁移时机进行研究,提出一种基于改进指数平滑预测的虚拟机自适应迁移策略.该策略采用双阈值和预测相结合的方法,连续判断负载状态触发负载预测,然后,根据历史负载值自适应地预测下一时刻主机负载状态并触发虚拟机迁移,实现主机负载平衡,提高迁移效率,降低能耗.经实验表明,该方法在能耗和虚拟机迁移次数方面分别可降低约7.34%和58.55%,具有良好的优化效果.     

面向云服务平台的弹性负载均衡算法

云计算主要通过虚拟化技术并以虚拟机的形式为用户的各种应用提供资源管理和隔离,但虚拟机的超负荷运行会降低这些应用的性能,因此需要通过虚拟机迁移来进行负载均衡以防止服务器过载。然而,以往的负载均衡方案都是基于确定性的资源需求估计和工作负载特征来进行迁移决策,而没有考虑资源需求的突发性。本文通过对虚拟机资源需求跟踪观测,充分考虑其工作负载的动态性和突发性,提出一种弹性负载均衡的算法。该算法有效地解决了资源需求估计不准确和随机性特征资源需求预测的问题,为具有弹性需求特征的负载均衡问题提供了新的解决方案。最后将本文算法与相关算法对比,表明本文算法取得了较好的效果。     

面向长作业环境中的云调度策略

随着云计算的普及,大量的数据处理选择云服务来完成。现有算法较少考虑异构型系统中虚拟机计算能力的不同,导致某些任务等待时间过长。提出了虚拟机负载大小实时调整的算法。对云计算中资源虚拟化特征,给出一种评估虚拟机计算能力的方法。根据虚拟机能力和运行过程中的状态变化,自适应进行任务量大小调整,满足实时要求。通过任务调度,协调任务完成时间,保持各虚拟机负载的动态均衡,缩短长作业的总执行时间,提高了系统的吞吐量和整体服务能力,提升了效益。实验结果表明,本文算法能自适应地调整任务量大小,进行调度,以维持虚拟机负载均衡。     

面向虚拟机的远程磁盘缓存

在虚拟机(virtual machine)系统中,随着虚拟机数量和应用程序需求的不断增长,内存容量已经成为应用程序性能的主要瓶颈。为了提升内存密集型和I/O密集型程序的页面交换性能,提出了虚拟机的远程磁盘缓存机制REMOCA,它允许运行在一台物理主机上的虚拟机将其他物理主机的内存作为其二级磁盘缓存。由于网络传输延迟远远小于磁盘访问,用网络传输代替磁盘访问就能够有效地降低虚拟机的平均磁盘访问延迟。REMOCA的目标就要尽可能地减少磁盘访问。REMOCA运行在虚拟机管理器中,其基本工作原理是截获并处理虚拟机的页面淘汰、磁盘访问等事件。REMOCA能够与现有的虚拟机内存管理机制(如气球技术、影子缓存)相结合,从而提供更加灵活的内存资源管理策略。实验数据表明,REMOCA能有效地降低页面抖动对虚拟机性能的影响,并在很大程度上提升虚拟机中I/O密集型应用的性能。     

云数据中心中负载均衡的虚拟机调度方法

 本文研究在主机之间迁移虚拟机来提高系统负载均衡度（包括2个方面：CPU和disk I/O）,同时尽可能地降低迁移代价。因此,目标是寻找主机和虚拟机之间尽可能优的映射方案。本文提出虚拟机的亲和力概念,并且定义了亲和力指数的计算方法,然后建立基于遗传算法的虚拟机调度模型。在这个模型中,交叉操作驱动映射方案的亲和力指数尽可能地增加,变异操作使得主机的CPU和disk I/O的差值趋于收敛。在每一代中,选择策略将亲本个体和子代个体分为一组,并选择较大适应度的个体遗传到下一代,从而使得种群不断地进化,得到最终的映射方案解空间。本文提出基于遗传算法的虚拟机均衡调度算法。该算法选取最终映射方案解空间中的最优解,做到从全局的角度考虑负载均衡问题;提前计算迁移的影响,在得到最优的迁移方案时才进行实质性迁移,从而降低了迁移代价;使用MTALB算法将多类型任务均匀地分配到虚拟机中,系统的负载均衡效果更佳。实验结果表明,就迁移代价和系统负载均衡各项具体指标而言,本文算法相比于首次适应和轮转调度算法以及NABM算法存在全面优势。在任务处理率这一关键指标上,本文算法比首次适应和轮转调度算法及NABM算法分别平均提升了25%和12%。     

基于负载特征的虚拟机迁移调度策略

为提高虚拟机迁移时的资源利用率及服务可用性,提出一种基于负载特征的虚拟机迁移调度策略。针对节点的触发类型和虚拟机的负载特征,采用多阈值方式触发迁移,完成对拟迁移的虚拟机以及迁移目标节点的选择。实验结果表明,该策略能够实现虚拟机迁移的自主管理,并能提升资源的使用效率,具有较好的自适应性。     

申威架构下的虚拟机访存特征提取方法

虚拟化技术是云服务的重要支柱之一,虚拟化充分扩展了物理资源的灵活性,提升了物理资源的利用率。随着国家信息化水平的发展,云服务器核心技术自主可控、安全高效的要求不断提高。近年来,作为国产服务器的典型代表,申威架构服务器的功能不断完善。提出了申威架构上的虚拟机访存特征提取方法,充分利用了申威架构独特优势,实时测算虚拟机的内存缺失率曲线,并最终计算工作集大小,同时利用热页集机制大幅度减少页面追踪的性能开销。实验结果表明,该方法可以准确计算虚拟机工作集大小,平均误差低于3%,平均性能开销不高于8.3%。本工作为申威虚拟机内存动态分配提供条件,最终目标是提高申威云服务器整体性能和内存利用率。     

基于资源需求分布特征的异构云环境虚拟机放置算法

针对异构云环境中的虚拟机放置（VMP）问题,提出一种基于虚拟机资源需求分布特征的放置算法（RDDFPA）。首先,建立基于CPU资源和内存资源比例系数的虚拟机需求和物理机配置描述方法,并根据该比例系数对所有虚拟机进行排序;其次,通过分析虚拟机需求与物理机配置各自在CPU资源和内存资源比例方面的关系,确定比例分界点,完成虚拟机集合的划分,每个虚拟机子集合的规模反映出对相匹配的不同配置物理机的需求比例;最后,利用启发式算法如首次适应（First Fit）算法完成虚拟机子集合在相匹配配置的物理机子集合上的放置。理论分析和仿真实验结果表明,与采用任意单一配置的物理机总数量相比,所提算法所需物理机的总台数减少了2%~17%。RDDFPA能够根据虚拟机资源需求分布的不同,确定各类配置物理机的数量,高效完成虚拟机的放置,在提高资源利用率的同时,降低了系统能耗。     

基于KVM虚拟机的串口转发器的研究与设计

针对串口个数的有限性和串口的可重用性,扩展串口的外设使用显得尤为重要;通过介绍串口及KVM虚拟机,提出了一种基于KVM虚拟机的串口转发器的设计方法,能够让一个串口同时能为虚拟机上的不同系统提供物理上的串口服务,实验表明:同一个物理串口能够并发的、让用户有选择的为不同的虚拟系统服务,解决了物理串口外设有限性的难题。     

基于虚拟化技术的私有云计算平台设计

为提高分布式集群系统的硬件资源利用率,避免闲置设备造成的经济损失,结合虚拟化技术,提出了一种基于多种框架技术的私有云平台实现方案.该方案整合底层硬件资源,实现了对资源的按需分割、动态分配及动态迁移,并针对传统的虚拟机部署方法中的负载不均衡问题,提出了基于动态分配决策的虚拟机部署机制,该策略根据虚拟机资源的特点,结合现有物理节点的负载情况,对虚拟机进行了动态部署.最后设计实现了灵活性强、可扩展性能好的私有云计算服务平台,以石油勘探中的傅里叶有限差分叠前深度偏移为测试用例进行了应用测试,证明了私有云平台的可行性和有效性,并对虚拟机的部署机制进行了测试.实验结果表明,动态分配决策能够在部署大量虚拟机的同时,较好地保持私有云平台的负载平衡.