自适应调整虚拟机权重参数的调度方法

在基于特权服务操作系统的虚拟机架构下客户操作系统需要借助特权服务操作系统来访问真实硬件,目前虚拟机调度算法的优化主要是侧重于I/O密集型虚拟机的研究,而忽视了CPU密集型虚拟机,更忽视了特权服务操作系统的I/O处理能力对虚拟机整体性能的影响.针对这些问题,提出了一种基于Credit算法的自适应调整虚拟机权重参数的优化调度方法,将特权服务操作系统的I/O处理能力作为虚拟机参数调整的一个重要参数,同时兼顾I/O密集型虚拟机和CPU密集型虚拟机对资源的需求.实验结果表明该方法能够及时根据当前的I/O请求数量和特权服务操作系统的处理能力合理调整虚拟机的权重参数,从而大大提高了客户操作系统CPU处理性能和硬件设备的访问性能.     

一种灵活高效的虚拟CPU调度算法

目前,虚拟化已经广泛应用于数据中心,但主流的虚拟CPU调度策略并没有实现对I/O性能的保障,尤其当延时敏感型负载的虚拟机和计算敏感型负载的虚拟机竞争CPU资源时,其性能显著下降.针对上述问题,本文提出了一种灵活、高效的虚拟CPU调度算法（FLMS）.FLMS通过采用虚拟机分类、虚拟CPU绑定、多类时间片等技术降低了虚拟机的响应延时,同时基于多处理器架构重新设计了负载均衡策略,优化了虚拟CPU迁移.FLMS通用于目前主流的虚拟化方案,在软件虚拟化方式下相比于最新的优化方案延时降低了30%,带宽有10%的提升;在使用硬件辅助虚拟化的系统中,通过FLMS能够获得接近原生系统的I/O性能,并且保证了整个系统的公平性.     

一种云计算环境下基于Xen的虚拟机调度机制

目前Xen下的经典的虚拟机调度算法忽略了服务操作系统的I/O处理能力对系统整体性能的影响,同时未考虑增加延迟敏感型任务的响应速度,为此,设计了一种云计算环境下的改进的Credit调度算法;首先,设计了一种新的Credit值自适应计算方法,然后设计了一种根据服务操作系统的请求处理速度来确定各虚拟客户操作系统和服务操作系统CPU物理时间片的权值确定方法并描述了权值更新时机,最后,对改进的VCPU调度算法进行了定义和描述,在算法中通过优先考虑延迟敏感任务和缓存关联任务作为下一步调度的VCPU以进一步提高算法性能;实验结果表明:文中方法有效实现Xen框架下的虚拟CPU调度,较其它方法相比,将CPU利用率提高了8%以上,是一种有效的适用于云计算的虚拟机调度方法,具有很强的可行性。     

VMSF—一种内核级虚拟机监控器调度框架

虚拟化技术由于具有提高资源利用率、降低系统总体拥有成本等优点得到越来越多的关注。虚拟机成为计算机系统的一种新型应用模式,但虚拟机应用在服务质量保证和协同运行等方面与传统商用操作系统面向的应用不同,虚拟机监控器应针对此类应用的特点设计相应的调度算法。但是,在传统基于宿主操作系统的虚拟化技术中,虚拟机的调度由宿主操作系统的标准调度器完成。本文提出一种不修改宿主操作系统现有调度机制的虚拟机调度扩展框架VMSF,该框架允许第三方自行开发适于虚拟机系统的调度算法。最后通过在Linux上开源的内核级虚拟机监控器KVM上移植Xen的Credit调度器验证了本文研究的有效性。     

对延迟敏感型应用的虚拟机调度算法

针对Credit调度算法不能保证实时性的不足提出两点改进。首先,当有大量I/O任务时对BOOST态虚拟CPU进行负载均衡来缩短系统响应时间。其次,利用动态时间片代替原来的固定时间片去适应虚拟CPU的动态变化。通过检测系统对任务的平均响应时间和周转时间来评估改进前和改进后对I/O任务的响应的影响。实验研究表明,改进之后的Credit调度算法平均响应时间与改进前相比降低了102.3%,可以显著提高I/O延迟敏感型应用的性能。     

一种基于资源预分配的虚拟机软实时调度方法

虚拟机技术作为云计算的重要技术之一,近年来得到广泛关注,但是由于虚拟机管理层的存在,导致语义鸿沟,使得实时应用程序、并发程序等在虚拟机上的运行性能受到影响。分析和研究了Xen虚拟机管理器的Credit调度算法,针对其在并发调度和软实时调度方面存在的不足,提出了改进调度算法,实现了算法的调度器原型。新的调度算法对软实时虚拟机进行Credit比例预分配,采用动态调度时间片机制,以non-work-conserving方式实现软实时任务周期调度,保障调度周期满足运行周期要求。通过区分并发和非并发软实时虚拟机,采取不同的调度策略,在满足资源利用率的基础上,确保实时任务的顺利运行。测试结果表明,该调度算法在对并发和非并发软实时任务调度上,具有良好的表现,较好满足了软实时应用调度需求。     

Xen系统中CPU间歇性故障的自适应策略

Xen虚拟化环境没有考虑CPU的间歇性故障带来的影响。基于此,建立模拟CPU间歇性故障的时间模型,在该模型下未修改的Xen系统中的虚拟机会立刻崩溃。提出一种自适应的策略来改进Xen的CPU调度,该策略主动跟踪CPU的状态变化,将发生故障的CPU上的虚拟处理器迁移到可用的其他CPU上。实验结果表明,当CPU间歇性故障频繁发生时,应用该策略可以使虚拟机继续稳定地工作,性能平滑地降低。     

利用虚拟机动态迁移技术整合虚拟和模拟环境

系统虚拟化和模拟技术对当今计算机科学研究和相关产业有着重要的影响.整合虚拟和模拟环境,让运行在虚拟机中的操作系统获得更多重要的服务是一项具有挑战性和有意义的工作.由系统虚拟化提供的虚拟机动态迁移技术作进一步扩展后,可整合这两个计算环境.提出Roam,一个支持在虚拟和模拟环境之间进行虚拟机动态迁移的框架.开发的Roam原型系统实现了Linux虚拟机在Xen和纯Qemu环境之间的动态迁移.相关性能测试表明Roam是一个可行的虚拟机动态迁移方案,并且虚拟机的停机时间和整体迁移时间都在一个可接受的范围内.     

基于Openstack的高能物理虚拟计算集群系统及应用

高能物理计算是典型的高性能计算的应用,运行时需要大量的CPU资源。如果系统的CPU资源利用率不高,会使得计算效率大大下降。传统的高能物理计算环境资源管理是静态的,很难同时满足突发、批处理、CPU密集型、数据密集型等不同类型的作业对于不同的物理资源的需求。文中基于Openstack构建的虚拟计算集群系统,实现以CPU核为粒度进行调度作业,根据当前的作业和虚拟资源情况,动态调度资源,大大提高了资源的利用率。首先介绍本系统的相关研究工作,包括KVM虚拟机的测试优化、高能物理作业在虚拟机上的性能测试及高能物理公共服务云IHEPCloud,这些工作进一步表明了高能物理实验的数据分析在虚拟机上的性能是完全可以被接受的;然后详细介绍了虚拟计算集群系统的设计与实现;最后给出虚拟机计算集群在高能物理计算中的实际应用情况,证明了虚拟计算集群系统能很好地满足高能物理的计算需求。     

基于Q-learning的虚拟网络功能调度方法

针对现有调度方法多数未考虑虚拟网络功能在实例化过程中的虚拟机选择问题,提出一种新的虚拟网络调度方法。建立基于马尔科夫决策过程的虚拟网络功能调度模型,以最小化所有服务功能链的服务延迟时间。通过设计基于Q-learning的动态调度算法,优化虚拟网络功能的调度顺序和虚拟机选择问题,实现最短网络功能虚拟化调度时间。仿真结果表明,与传统的随机虚拟机选择策略相比,该方法能够有效降低虚拟网络功能调度时间,特别是在大规模网络中调度时间可降低约40%。     

Task mapper and application-aware virtual machine scheduler oriented for parallel computing

We design a task mapper TPCM for assigning tasks to virtual machines, and an application-aware virtual machine scheduler TPCS oriented for parallel computing to achieve a high performance in virtual computing systems. To solve the problem of mapping tasks to virtual machines, a virtual machine mapping algorithm (VMMA) in TPCM is presented to achieve load balance in a cluster. Based on such mapping results, TPCS is constructed including three components: a middleware supporting an application-driven scheduling, a device driver in the guest OS kernel, and a virtual machine scheduling algorithm. These components are implemented in the user space, guest OS, and the CPU virtualization subsystem of the Xen hypervisor, respectively. In TPCS, the progress statuses of tasks are transmitted to the underlying kernel from the user space, thus enabling virtual machine scheduling policy to schedule based on the progress of tasks. This policy aims to exchange completion time of tasks for resource utilization. Experimental results show that TPCM can mine the parallelism among tasks to implement the mapping from tasks to virtual machines based on the relations among subtasks. The TPCS scheduler can complete the tasks in a shorter time than can Credit and other schedulers, because it uses task progress to ensure that the tasks in virtual machines complete simultaneously, thereby reducing the time spent in pending, synchronization, communication, and switching. Therefore, parallel tasks can collaborate with each other to achieve higher resource utilization and lower overheads. We conclude that the TPCS scheduler can overcome the shortcomings of present algorithms in perceiving the progress of tasks, making it better than schedulers currently used in parallel computing.     

Xen虚拟机资源调度优化算法

针对Xen虚拟化平台中虚拟机资源分配不合理的问题,提出了两种资源调度优化算法,即细粒度优化算法和粗粒度优化算法.细粒度优化算法主要解决单个物理节点上虚拟机资源分配不合理问题,能够根据物理节点上运行的各虚拟机的资源利用情况来调整资源分配量,适当增加利用率较高的虚拟机的资源,减少资源利用率低的虚拟机的资源,从而优化资源分配,提高资源利用效率,避免不必要的虚拟机迁移.粗粒度优化算法是针对集群中多个物理节点之间虚拟机负载不均衡问题而提出的.该算法结合粒子群优化技术,选择将集群系统中热点物理机上的部分虚拟机迁移到最适合的冷点物理机上,从而避免高载物理机宕机.实验结果表明,这两种资源调度优化算法能够有效解决虚拟机资源分配不合理的问题,具有较好的适用性和应用前景.     

Optimisation schemes to improve hybrid co-scheduling for concurrent virtual machines

Hybrid co-scheduling (CS) is an effective approach to address the synchronisation problems for concurrent virtual machines such as lock-holder preemption. However, the scheduling gaps and fragments in hybrid CS cause a serious performance degradation and unfairness if multiple concurrent domains exist. We propose three optimisation schemes for such problems named partial co-scheduling (PCS), boost co-scheduling (BCS) and precise boost co-scheduling (PBCS) using finer space granularity. PCS scheme activates the CS signals only for the indispensable central processing units (CPUs) instead of all online CPUs. BCS scheme boosts the priorities for co-scheduled virtual CPUs (VCPUs) to induce the scheduler to pick the appropriate VCPUs. PBCS combines PCS and BCS to achieve better performance and robustness. We implement three optimisations into Credit Scheduler in Xen 4.0.1. The experimental results show that our schemes achieve better performance and fairness compared to existing hybrid CS under different scenarios.     

负载类型相关的Xen虚拟机系统性能模型

针对Xen虚拟机系统执行网络I/O密集型负载时容易耗尽Domain0的CPU资源而过载和执行计算密集型负载时在客户域平均性能与数目之间存在线性规划的问题,提出了两个负载类型相关的性能模型。首先,通过分析Xen虚拟机系统处理网络I/O操作的CPU资源消耗规律,建立了CPU核共享和CPU核隔离两种情况下的客户域网络I/O操作请求次数计算模型;然后,通过分析多个相同客户域并行执行计算密集型负载的平均性能与一个相同客户域执行相同负载的性能表现之间的关系,建立了并行执行计算密集型负载的客户域平均性能分析模型。实验结果表明,两个性能模型能够有效地限制客户域提交的网络I/O操作请求次数以防止Xen虚拟机系统过载,并求解给定资源配置情况下执行计算密集型负载的Xen虚拟机系统客户域伸缩性数目。     

Efficient consolidation-aware VCPU scheduling on multicore virtualization platform

Multicore processors are widely used in today’s computer systems. Multicore virtualization technology provides an elastic solution to more efficiently utilize the multicore system. However, the Lock Holder Preemption (LHP) problem in the virtualized multicore systems causes significant CPU cycles wastes, which hurt virtual machine (VM) performance and reduces response latency. The system consolidates more VMs, the LHP problem becomes worse. In this paper, we propose an efficient consolidation-aware vCPU (CVS) scheduling scheme on multicore virtualization platform. Based on vCPU over-commitment rate, the CVS scheduling scheme adaptively selects one algorithm among three vCPU scheduling algorithms: co-scheduling, yield-to-head, and yield-to-tail based on the vCPU over-commitment rate because the actions of vCPU scheduling are split into many single steps such as scheduling vCPUs simultaneously or inserting one vCPU into the run-queue from the head or tail. The CVS scheme can effectively improve VM performance in the low, middle, and high VM consolidation scenarios. Using real-life parallel benchmarks, our experimental results show that the proposed CVS scheme improves the overall system performance while the optimization overhead remains low.     

一种针对Xen超级调用的入侵防护方法

云计算技术已飞速发展并被广泛应用,虚拟化作为云计算的重要支撑,提高了平台对资源的利用效率与管理能力。作为一款开源虚拟化软件,Xen独特的设计思想与优良的虚拟化性能使其被许多云服务商采用,然而Xen虚拟机监视器同样面临着许多安全问题。Xen为虚拟机提供的特权接口可能被虚拟机恶意代码利用,攻击者可以借此攻击Xen或者运行其上的虚拟机。文章针对Xen向虚拟机提供的超级调用接口面临被恶意虚拟机内核代码利用的问题,提出了一种基于执行路径的分析方法,用以追溯发起该超级调用的虚拟机执行路径,与一个最初的路径训练集进行对比,可以避免超级调用被恶意虚拟机内核代码利用。该方法通过追溯虚拟机内核堆栈信息,结合指令分析与虚拟机内核符号表信息,实现了虚拟化平台下对虚拟机执行路径的动态追踪与重构。在Xen下进行实验,通过创建新的虚拟机并让其单独运行来获得训练集,训练集中包含所有发起该超级调用的虚拟机路径信息。在随后虚拟机运行过程中针对该超级调用动态构造出对应的虚拟机执行路径,将其与训练集对比,避免非正常执行路径的超级调用发生。     

Transparently bridging semantic gap in CPU management for virtualized environments

Consolidated environments are progressively accommodating diverse and unpredictable workloads in conjunction with virtual desktop infrastructure and cloud computing. Unpredictable workloads, however, aggravate the semantic gap between the virtual machine monitor and guest operating systems, leading to inefficient resource management. In particular, CPU management for virtual machines has a critical impact on I/O performance in cases where the virtual machine monitor is agnostic about the internal workloads of each virtual machine. This paper presents virtual machine scheduling techniques for transparently bridging the semantic gap that is a result of consolidated workloads. To enable us to achieve this goal, we ensure that the virtual machine monitor is aware of task-level I/O-boundedness inside a virtual machine using inference techniques, thereby improving I/O performance without compromising CPU fairness. In addition, we address performance anomalies arising from the indirect use of I/O devices via a driver virtual machine at the scheduling level. The proposed techniques are implemented on the Xen virtual machine monitor and evaluated with micro-benchmarks and real workloads on Linux and Windows guest operating systems.     

基于虚拟化技术的客户虚拟机内核模块检测方法

虚拟化技术是云计算的关键技术之一.同时,监视虚拟机又是虚拟化平台的一个重要功能.为了更好的获取客户虚拟机的内部信息,在Xen虚拟化环境中设计并实现了一种轻量级的虚拟机内核模块检测方法KMDM. KMDM驻留在宿主机里面,利用虚拟机自省机制来获取被监控虚拟机的内核模块信息.实验结果表明, KMDM能够全面检测客户虚拟机的内核模块信息,检测结果准确、可靠.     

一种基于虚拟机的安全监测方法

随着虚拟化广泛应用于如云计算等各种领域,渐渐成为各种恶意攻击的目标.虚拟机的运行时安全是重中之重.针对此问题,提出一种适用于虚拟化环境下的监测方法,并且在Xen中实现虚拟机的一个安全监测原型系统.通过这个系统,特权虚拟机可以对同一台物理机器上的大量客户虚拟机进行动态、可定制的监控.特别地,本系统对于潜伏在操作系统内核中的rootkit的检测十分有效.这种安全监测方法能有效提高客户虚拟机以及整个虚拟机系统的安全性.