面向OpenStack/Ceph的虚拟机备份系统研究

针对OpenStack面临的虚拟机容灾备份问题,提出了一种基于Ceph存储快照的虚拟机容灾备份系统,备份时对虚拟机存储在Ceph中的磁盘生成快照,再根据备份要求计算有效数据或者变化数据,保存虚拟机的配置信息以及磁盘数据,恢复时自动创建相同配置的虚拟机并将当前快照点的磁盘数据恢复到该虚拟机中.实验表明,该方法比OpenStack的快照备份方法能有效节省备份时间和存储空间,并且可以实现后者不具有的增量备份、多磁盘备份等功能.     

一种高效的虚拟机快照管理系统

链式虚拟磁盘快照技术是广泛实现的一种支持虚拟机失效恢复的技术手段,针对链式结构磁盘快照技术引入多余I／O请求导致虚拟机性能低效问题,分析和研究了支持高效虚拟机快照实现的无链式关联磁盘快照技术,通过集成ZFS及OCFS2文件系统给出了无链式关联磁盘快照技术实现,并设计和实现了虚拟机快照存储组织模型和快速检索算法,提高了虚拟机快照检索效率．设计试验验证了系统的有效性．     

面向虚拟机的远程磁盘缓存

在虚拟机(virtual machine)系统中,随着虚拟机数量和应用程序需求的不断增长,内存容量已经成为应用程序性能的主要瓶颈。为了提升内存密集型和I/O密集型程序的页面交换性能,提出了虚拟机的远程磁盘缓存机制REMOCA,它允许运行在一台物理主机上的虚拟机将其他物理主机的内存作为其二级磁盘缓存。由于网络传输延迟远远小于磁盘访问,用网络传输代替磁盘访问就能够有效地降低虚拟机的平均磁盘访问延迟。REMOCA的目标就要尽可能地减少磁盘访问。REMOCA运行在虚拟机管理器中,其基本工作原理是截获并处理虚拟机的页面淘汰、磁盘访问等事件。REMOCA能够与现有的虚拟机内存管理机制(如气球技术、影子缓存)相结合,从而提供更加灵活的内存资源管理策略。实验数据表明,REMOCA能有效地降低页面抖动对虚拟机性能的影响,并在很大程度上提升虚拟机中I/O密集型应用的性能。     

多虚拟机环境下磁盘写优化机制

在虚拟化环境下,如何在写直达法和写回法之间做出权衡以使系统既具有较好的可靠性又具有较高的磁盘读写性能,是一个亟待解决的问题。本文提出了基于XEN的兼有写直达法和写回法优点的磁盘数据写操作方法。通过修改虚拟机块设备前后端驱动程序,在虚拟机管理器中为每个虚拟机建立块级别的虚拟机磁盘缓存。虚拟机中的应用程序均采取写直达的方式,将数据直接写到位于虚拟机管理器的虚拟机磁盘缓存中。结果表明,该机制能为虚拟机提供高效率的磁盘读写操作,同时,在虚拟机系统突然宕机时也能保证用户数据的完整性和可靠性。     

虚拟化环境下面向多目标优化的自适应SSD缓存系统

以SSD为代表的新型存储介质在虚拟化环境下得到了广泛的应用,通常作为虚拟机读写缓存,起到优化磁盘IO性能的作用.已有研究往往关注SSD缓存的容量规划,依据缓存读写命中率评价SSD缓存分配效果,未能充分考虑SSD的服务能力上限,难以适用于典型的分布式应用场景,存在虚拟机抢占SSD缓存资源,导致虚拟机中应用性能违约的可能.本文实现了虚拟化环境下面向多目标优化的自适应SSD缓存系统,考虑了SSD的服务能力上限.基于自适应闭环实现对虚拟机和应用状态的动态感知.动态检测局部SSD缓存抢占状态,基于聚类方法生成虚拟机的优化放置方案,依据全局SSD缓存供给能力确定虚拟机迁移顺序和时机.实验结果表明该方法在应对典型分布式应用场景时可以有效缓解SSD缓存资源的争用,同时满足应用对虚拟机放置的需求,提升应用的性能并兼顾应用的可靠性.在Hadoop应用场景下,平均降低了25%的任务执行时间,对IO密集型应用平均提升39%的吞吐率.在ZooKeeper应用场景下,以不到5%的性能损失为代价应对了虚拟化主机的单点失效带来的虚拟机宕机问题.     

基于SSD高速缓存的桌面虚拟机交互性能优化方法

针对在桌面虚拟机办公环境下应用软件响应时间过长的问题,提出一种利用固态硬盘高速缓存来改善虚拟机响应时间和交互性的方法。在传统磁盘和内存之间添加固态硬盘高速缓存,将影响系统交互性的磁盘内容保存到固态硬盘高速缓存中。通过利用固态硬盘读速度快、随机寻道时间短的特征,提高虚拟机读磁盘性能,进而缩短应用软件的响应时间并改善系统的交互性。针对桌面虚拟机办公环境下磁盘I/O的特征,设计固态硬盘高速缓存的替换算法和缓存策略。实验显示,固态硬盘高速缓存是缩短虚拟机响应时间、改善虚拟机交互性的一个好方法。     

基于设备的容灾备份方案的研究

快照技术是产生在线热备份的重要技术手段,存储子系统中使用快照技术能够有效地缩短复制操作造成的停机时间。在分析现有各种快照系统和容灾备份系统的需求基础上,本文提出了一种基于磁盘的容灾备份系统体系结构,分为快照驱动、本地服务器和远程服务器三个主要组成部分,并在AIX平台上进行了实现。     

云计算环境下的虚拟机快速克隆技术

虚拟机克隆技术是指在云计算环境下快速复制出多个虚拟机（VM）并将这些VM分发到多台物理主机上,克隆出来的VM共享相同的初始状态然后独立运行提供服务。虚拟机克隆使得云计算提供商能够快速有效地部署系统资源。给出了一种虚拟机快速克隆方法,利用写时拷贝技术来创建虚拟磁盘和内存状态的快照,然后用按需分配内存技术和多点传送技术来请求和传输这些状态信息。在C3云平台上的实验表明,此方法在不中断源虚拟机中运行服务的情况下,实现了云计算中的快速虚拟机克隆。     

虚拟机磁盘迁移技术研究与实现

已有基于内存的虚拟机迁移技术要求迁移源机和目标机之间必须共享网络磁盘,迁移性能受网络条件的影响很大,且在不支持"共享网络磁盘"的环境中,无法实现虚拟机迁移.针对上述问题,考虑到虚拟机磁盘作为虚拟机运行所需的持久化状态的封装体,所展现出的如高可用性、高效能、安全稳定等良好特性,提出基于磁盘的虚拟机迁移.通过设计虚拟磁盘驱动系统DiskMig,在实现虚拟机磁盘迁移的同时保证了其在源端和目的端的一致性.设计了"Transfer on Demand with Forward-ahead"(TOD&FA)算法快速同步源端和目的端磁盘文件差异.DiskMig采用自行设计的高效存储结构bitmap,使记录、查询虚拟机磁盘迁移过程中的大量I/O操作时仅需时间复杂度O(1).实验表明,DiskMig所采用的相关方法对虚拟机及其中应用程序运行性能的影响仅为5%左右,有效支持了虚拟机磁盘文件的迁移.     

一种抵御内部人员攻击的云租户密钥保护方法

云计算作为一种新兴计算模式,近几年来对传统IT架构产生了巨大影响.然而,云计算也面临着新的安全挑战,例如,存储在云虚拟机内存中口令、密钥等易受到云平台内部人员发起的攻击.恶意云运维人员可通过简单命令获取云虚拟机的内存快照,再从内存快照中提取敏感数据(称作内存快照攻击).本文为保护虚拟机内的加密密钥免受内存快照攻击,提出...     

虚拟机管理器中面向虚拟块设备的一种通用快照扩展机制

基于虚拟机环境下虚拟块设备多样性的特点以及对高可用、容错等能力的需求,本文针对目前主流的虚拟机体系结构,提出了一种在虚拟机管理器中为虚拟块设备扩展通用快照功能的机制,能够为虚拟机环境下的多种虚拟块设备提供统一和可扩展的快照服务,有效避免了大幅修改底层的多种具体的虚拟块设备驱动。基于Linux平台,为QEMU扩展了通用的快照功能,验证了快照扩展机制的可行性,并通过实验测试分析了快照对虚拟机性能的影响。     

基于重复数据删除的虚拟桌面存储优化技术

虚拟桌面基础架构依靠数据中心海量的云基础设施,为用户按需提供虚拟桌面部署所需的软硬件资源,但同时面临存储资源利用率低和虚拟机启动慢的困境.针对虚拟桌面存储中具有大量数据冗余的特性,采用重复数据删除技术缩减虚拟桌面基础架构的存储空间需求;并利用服务器本地磁盘缓存以及共享存储池内的固态硬盘来优化虚拟机的启动性能.通过原型实现,发现相比于基于内容分块的策略,静态分块策略更适合虚拟桌面存储进行重复数据删除,最优的分块大小为4KB,并能够缩减85%的存储空间容量;通过服务器本地磁盘缓存和基于闪存的固态硬盘进行I/O优化,虚拟机的启动速度能够获得35%的提升.     

多虚拟机下基于内存缓存的动态块迁移算法

虚拟化技术为用户提供了高可用性、动态、可扩展、可按需分配的逻辑资源,虚拟机迁移技术则减弱了虚拟化初次分配资源后物理资源和逻辑资源的耦合程度,使得物理资源池构建更为灵活。然而现存的虚拟机迁移技术存在着资源消耗多,物理磁盘负载重,迁移数据冗余等问题,使得迁移的稳定性和可用性大打折扣。提出基于内存缓存的动态块迁移算法。该算法主要关注以下两点:其一是如何在保证迁移性能不受明显影响的前提下,更加合理利用内存缓存,快速将虚拟机页面迁移到目的服务器,从而节省物理资源;其二是如何通过更细粒度的资源管理方式实现更有针对性的迁移时机优化。基于QEMU虚拟机实现了该算法,多种不同应用负载下的实验结果表明,该算法能有效降低资源消耗和物理磁盘的负载,稳定且迅速地实现虚拟机的迁移。     

客户虚拟机磁盘数据安全性的保护方法

虚拟环境中,客户虚拟机的磁盘数据的访问由特权虚拟机来完成,这使得恶意的黑客或者系统管理员可以通过控制特权虚拟机随意地访问和修改客户虚拟机的磁盘数据,对客户虚拟机的磁盘数据安全性带来了极大的威胁。通过虚拟机监控器对客户虚拟机的磁盘数据使用数据加密和哈希校验的方法,可以有效地保护客户虚拟机的磁盘数据在访问过程中的隐私性和完整性,从而确保虚拟环境中,客户虚拟机磁盘数据的安全。该方法可以有效增强Xen虚拟架构下客户虚拟机磁盘数据的安全性。实验结果显示该方法真实有效且性能开销很小,是一种有效地保护客户虚拟机磁盘数据的安全性的方法。     

基于优化的COW虚拟块设备的虚拟机按需部署机制

基于COW(Copy-on-Write)读写模式的虚拟块设备有利于实现大规模虚拟机环境下虚拟机的快速部署.文中为虚拟机管理器中的COW虚拟块设备设计了一种优化方法,能够提高COW磁盘的访问性能以及生成多个小尺寸的COW磁盘映像文件,以降低通过网络部署虚拟机的开销.基于优化的COW虚拟块设备,文中提出了虚拟机环境下的虚拟机按需部署机制及关键技术问题的解决方案.基于Linux平台和QEMU虚拟机,实现了基于优化COW虚拟块设备的虚拟机按需部署原型系统.实验表明,优化的COW虚拟块设备、基于COW磁盘有效工作集的优化部署以及COW磁盘回收等方法能够有效地支持虚拟机环境下低开销的、按需的虚拟机部署.     

基于自动测试的虚拟机磁盘I/O服务质量评估框架

通过系统虚拟化技术在同一物理主机上的各个虚拟机之间动态地分配物理资源,可以实现物理资源的最大利用率和分配的公平性,达到较高的服务质量.提出了一种基于测试和汇总同一物理主机上各虚拟机之间物理磁盘I/O带宽的分配情况,来评估虚拟机磁盘I/O服务质量的框架.它通过客户端控制各虚拟机执行指定的I/O测试程序,同步收集各虚拟机的虚拟磁盘吞吐量,并加以汇总.实验证明这套框架可以有效地从高效性和公平性两方面评估虚拟化环境中虚拟机磁盘I/O的服务质量.     

高效数据快照方法设计

随着现代企业对计算机技术依赖的增强以及数据量的增大,传统的镜像备份技术消耗的时间越来越长,在备份时又需要停机,使得企业的计算机系统在备份时需要长时间处于停机状态。这显然不符合现代企业的要求。数据快照技术应运而生,解决了这一矛盾。数据快照技术使得备份时间接近于零,消除了计算机系统停机对企业的不利影响。探讨了快照的设计方案和各种功能的实现,以及利用快照备份对数据进行恢复的机能。     

一种基于磁盘介质的网络存储系统缓存

随着计算规模越来越大,网络存储系统应用领域越来越广泛,对网络存储系统I/O性能要求也越来越高.在存储系统高负载的情况下,采用低速介质在客户机和网络存储系统的I/O路径上作为数据缓存也变得具有实际的意义.设计并实现了一种基于磁盘介质的存储系统块一级的缓存原型D-Cache.采用两级结构对磁盘缓存进行管理,并提出了相应的基于块一级的两级缓存管理算法.该管理算法有效地解决了因磁盘介质响应速度慢而带来的磁盘缓存管理难题,并通过位图的使用消除了磁盘缓存写Miss时的Copy on Write开销.原型系统的测试结果表明,在存储服务器高负载的情况下,缓存系统能够有效地提高系统的整体性能.     

面向QEMU的分布式块存储系统的设计与实现

计算系统虚拟化是当前的主流趋势,然而为虚拟机磁盘提供存储的现有后端系统常直接沿袭分布式文件系统的设计,导致一系列虚拟磁盘I/O场景下不必要的开销。提出的COMET系统,是一个面向QEMU的分布式块存储系统。它基于Proactor模式,针对虚拟磁盘I/O特性扬弃文件系统的语义并在数据读写与一致性等方面采用精简合理的设计,尽可能缩短I/O路径,在具备线性扩展能力、高可用性的同时,实现了写时复制的磁盘快照和写时复制的磁盘克隆等创新功能。测试数据表明,COMET在部分I/O场景下拥有足以媲关乃至超越成熟开源系统的性能。     

虚拟机快速全系统在线迁移

虚拟机全系统在线迁移对于广域网或者没有共享存储的局域网中的虚拟化平台非常重要.然而,全系统映像一般在几十吉字节(gigabyte, GB)量级,迁移这些数据需占用大量I/O带宽且时间开销很大.快速全系统在线迁移方法具有如下特点:文件系统感知的磁盘同步,利用文件系统的磁盘块分配位图,只拷贝实际使用的磁盘块,显著减少了第1阶段同步的磁盘映像数据量;异或压缩,利用映像数据的自相似性,快速有效地减少了迁移最后两个阶段拷贝的数据量;流水迁移,流水化迁移各个阶段,使得读写映像、压缩解压映像、网络收发各阶段充分并行.实验表明,与传统压缩迁移相比,快速迁移可以减少50%的迁移时间,最好情况和平均情况下,能分别降低21.68%和14.48%的停机时间.在网络带宽受限或虚拟机负载过重等极限条件下,快速迁移同样有效.