面向SSD/HDD混合存储的动态缓存调度算法DRC

云计算与大数据的发展,对存储系统的性能提出了越来越高的要求。这些系统中的任务具有高并发度特征,使得存储系统的数据访问呈现随机化。SSD具有优异的随机读写性能,但其写入次数受到限制,成本高昂,因此,基于SSD-HDD的混合系统成为存储技术发展的主要方向。面向SSD-HDD混合存储提出了一种基于动态替换代价的缓存调度算法(DRC),以请求中的热点数据以及替换数据的代价作为缓存替换依据,不仅有效地提高了缓存命中率,而且,通过减少磁盘随机写操作提升了系统的整体性能。实验结果表明,在高并发读写的场景下,DRC算法相对于LRU或FIFO算法缓存命中率提升可达11.6%,IO速度最多提升16.7%,在各种缓存大小条件下均取得了显著的性能提升。     

面向SSD寿命优化的访问序列折叠缓存替换算法*

SSD(solid state drive)的写入寿命比较有限,因此除命中率外,SSD缓存设备的写入量成为评价缓存替换算法的另一个关键指标。如何使算法提高写入数据转化为缓存命中的效率,从而延长SSD的使用寿命,具有重要的研究意义。目前,已有缓存替换算法的设计一般基于时间局部性,即刚被访问的数据短期内被访问的概率较高,因此需要频繁的数据更新和较高写入量来保证较高命中率;或是通过不低的开销屏蔽相对最差的部分数据来减少一定的写入量,还缺少用低开销获得数据长期热度规律,有效提高缓存数据质量的算法。提出了访问序列折叠的缓存替换算法,用比较低的开销定位拥有长期稳定热度的数据写入缓存,明显提高了SSD缓存数据质量,在保证命中率的同时减少了SSD的写入量。实验表明,访问序列折叠算法相比LRU(least recently used)算法可在命中率损失低于10%的情况下减少90%的写入量,与SieveStore、L2ARC(level2 adjustable replacement cache)等写入优化缓存算法相比,命中率相当时可将写入量减少50%以上,有效达到了通过缓存高质量数据,减少SSD的写入量,延长其使用寿命的目的。     

多虚拟机下基于内存缓存的动态块迁移算法

虚拟化技术为用户提供了高可用性、动态、可扩展、可按需分配的逻辑资源,虚拟机迁移技术则减弱了虚拟化初次分配资源后物理资源和逻辑资源的耦合程度,使得物理资源池构建更为灵活。然而现存的虚拟机迁移技术存在着资源消耗多,物理磁盘负载重,迁移数据冗余等问题,使得迁移的稳定性和可用性大打折扣。提出基于内存缓存的动态块迁移算法。该算法主要关注以下两点:其一是如何在保证迁移性能不受明显影响的前提下,更加合理利用内存缓存,快速将虚拟机页面迁移到目的服务器,从而节省物理资源;其二是如何通过更细粒度的资源管理方式实现更有针对性的迁移时机优化。基于QEMU虚拟机实现了该算法,多种不同应用负载下的实验结果表明,该算法能有效降低资源消耗和物理磁盘的负载,稳定且迅速地实现虚拟机的迁移。     

一种基于虚拟化缓存的备份／恢复系统的设计与实现

该文提出并实现了一种基于虚拟化缓存的远程备份/恢复系统。该系统对本地应用服务器上的数据变化进行截获,然后通过本地网关,发送到缓存队列之后再发送到Internet上,通过远程备份服务器的写重放,实现数据的备份和恢复。缓存队列利用了虚拟化存储思想,提供了更有效更方便的环境。整个过程可以在配置管理客户端实时监控和管理。     

一种高性能高可靠的混合客户端缓存系统

现代数据中心普遍使用网络存储系统提供共享存储服务.存储服务端通常使用独立冗余磁盘阵列(RAID)技术保障数据可靠性,如可以容单/双盘错的RAID5/6.相比于传统磁盘,固态盘具有更低的访问时延和更高的价格,因此将固态盘作为存储客户端缓存成为一种流行的方案.写回法可以充分发挥固态盘的优势加速存储读写性能,然而一旦固态盘发生故障,写回法无法保证数据的一致性和持久性.写直达法简化了一致性模型,但是无法减小写时延.设计并实现一种新的混合客户端缓存(hybrid host cache, HHC),HHC通过使用廉价的日志磁盘镜像存放固态盘上的脏数据来提高可靠性,并且利用写屏障语义保证数据的可靠性和一致性.分析表明,HHC的平均无故障时间远远高于后端存储系统.最后实现了一个原型系统并使用Filebench进行性能评估,结果表明在不同负载下,HHC性能与传统的写回法接近,远远超过写直达法.     

多种存储环境下压缩数据库的缓存优化

近年来,各行业数据量增速提升,对承担数据存储任务的数据库系统进行性能优化的需求也越来越强烈。利用关系型数据库I/O密集型、服务器CPU相对空闲的特点,在数据库中引入数据压缩技术,节省了数据存储空间和I/O传输带宽。但当今主流数据库系统的压缩技术都是针对传统的存储和运行环境设计,并未考虑固态硬盘（SSD）等新型存储设备和云数据库等虚拟化运行环境对系统性能的影响,因此,以数据库压缩系统在不同存储环境的缓存优化作为切入点,对系统整体性能的影响进行分析,给出了数据库压缩系统性能的分析模型,并以MySQL为例进行具体分析,给出了对应的缓存优化措施。在内核虚拟机（KVM）和MySQL数据库测试平台上的性能评估结果表明,所提出的优化方法使得系统性能最高有超过40%的提升,在某些配置下获得了优于物理机的性能。     

基于本地缓存的桌面虚拟化在高校机房的应用研究

高校机房具有计算机数量庞大、应用软件繁多、更新频繁的特点,如何高效管理大量的计算机,一直是业内倍受关注的问题。桌面虚拟化技术因其集中管理的特性,被寄予了很大期望,但是其对服务器的计算和存储资源消耗惊人,不适合在高校机房使用。在这种背景下,我们探索了一种新的管理模式——基于本地缓存的桌面虚拟化,并获得了较好的使用效果。     

基于本地缓存的桌面虚拟化在高校机房的应用研究

高校机房具有计算机数量庞大、应用软件繁多、更新频繁的特点,如何高效管理大量的计算机,一直是业内倍 受关注的问题。桌面虚拟化技术因其集中管理的特性,被寄予了很大期望,但是其对服务器的计算和存储资源消耗惊人,不适 合在高校机房使用。在这种背景下,我们探索了一种新的管理模式——基于本地缓存的桌面虚拟化,并获得了较好的使用效 果。     

移动环境下自适应缓存管理机制

在深入研究缓存失效广播技术的基础上提出了一种基于移动环境的自适应缓存管理机制(ACMS).该方法根据存取数据的移动客户机的数目,在服务器端动态调整失效报告的内容及广播间隔,在客户端根据时间戳及时间间隔值修改缓存数据.通过对该方法进行性能分析,与现有的缓存机制进行比较,该机制能有效节省能量,提高带宽利用率.     

面向直播HTTP Streaming系统的HTTP缓存服务器行为优化

HTTP缓存服务器是提高HTTP Streaming系统客户并发量的关键环节。但当前主流HTTP缓存服务器,如Nginx、Squid、Varnish等,在缓存资源更新期间的行为都存在不足,当被应用在面向直播的HTTP Streaming系统中时,会周期性地把大量客户端请求转发至源服务器,从而制约了HTTP Streaming系统的可伸缩性。提出一种优化的HTTP缓存服务器在缓存更新期间的行为,即缓存服务器仅向源服务器转发一路客户端请求,缓存更新期间,拒绝其他关于该资源的请求。优化策略在使用最为广泛的Nginx服务器的基础上进行了实现。实验证明,优化后系统的伸缩性得到了显著提高。     

利用虚拟机动态迁移技术整合虚拟和模拟环境

系统虚拟化和模拟技术对当今计算机科学研究和相关产业有着重要的影响.整合虚拟和模拟环境,让运行在虚拟机中的操作系统获得更多重要的服务是一项具有挑战性和有意义的工作.由系统虚拟化提供的虚拟机动态迁移技术作进一步扩展后,可整合这两个计算环境.提出Roam,一个支持在虚拟和模拟环境之间进行虚拟机动态迁移的框架.开发的Roam原型系统实现了Linux虚拟机在Xen和纯Qemu环境之间的动态迁移.相关性能测试表明Roam是一个可行的虚拟机动态迁移方案,并且虚拟机的停机时间和整体迁移时间都在一个可接受的范围内.     

KVM虚拟化动态迁移技术的安全防护模型

虚拟机动态迁移技术是在用户不知情的情况下使得虚拟机在不同宿主机之间动态地转移,保证计算任务的完成,具有负载均衡、解除硬件依赖、高效利用资源等优点,但此技术应用过程中会将虚拟机信息和用户信息暴露到网络通信中,其在虚拟化环境下的安全性成为广大用户担心的问题,逐渐成为学术界讨论和研究的热点问题.本文从研究虚拟化机制、虚拟化操作系统源代码出发,以虚拟机动态迁移的安全问题作为突破点,首先分析了虚拟机动态迁移时的内存泄漏安全隐患;其次结合KVM(Kernel-based Virtual Machine)虚拟化技术原理、通信机制、迁移机制,设计并提出一种新的基于混合随机变换编码方式的安全防护模型,该模型在虚拟机动态迁移时的迁出端和迁入端增加数据监控模块和安全模块,保证虚拟机动态迁移时的数据安全;最后通过大量实验,仿真测试了该模型的安全防护能力和对虚拟机运行性能的影响,仿真结果表明,该安全防护模型可以在KVM虚拟化环境下保证虚拟机动态迁移的安全,并实现了虚拟机安全性和动态迁移性能的平衡.     

桌面虚拟化环境下的交互式性能优化

硬件辅助虚拟化的提出,极大地提高了全虚拟化的性能。但是全虚拟化下类似网络教室等桌面虚拟化应用,在交互式性能方面还存在较大局限。交互式性能主要受I/O性能的影响:一方面I/O设备属于慢速设备;另一方面全虚拟化中采用模拟方式来共享设备。对全虚拟化的交互式性能进行了改进,充分利用多核处理器的物理特征来部署配置虚拟机,根据用户行为动态调整虚拟机的使用资源,依据虚拟化特征进行I/O调度的优化。最后,通过评测实验证明了改进方案的有效性。     

一种面向SAN环境的Windows存储虚拟化系统

企业级用户在部署存储系统时往往需要能够支持多操作系统平台的存储虚拟化系统.给出了一种能够应用在Win-dow s操作系统的存储虚拟化客户端软件.该软件作为SAN环境下的存储虚拟化系统的一部分,在系统内核态提供虚拟存储的基本服务.此外,该软件运用按需分配技术提高了存储资源利用率;通过虚拟卷在线扩展技术可以在不中断服务的情况下完成大规模的数据迁移.实验结果表明,与传统虚拟卷相比,使用按需分配技术可以在不损失性能的前提下有效节约存储资源;通过在线扩展技术不仅在容量上和性能上得到有效扩展,还能够在数据迁移的同时始终保持虚拟存储服务的持续性.     

一种机群文件系统的缓存模型

提出了一种新的机群文件系统缓存模型，它充分利用机群系统累积的系统资源和高速的互联网络，将文件系统元数据和内容数据分离，分别使用分布式元数据缓存和统一缓存模型进行管理。元数据缓存使用改进的广播一致性协议和LRU替换算法。内容数据统一缓存则将磁盘缓存整个文件和内存缓存文件块相结合组成一个单一映像的多层次分布协作缓存，并使用单拷贝优先LRU和向前传递调度缓存块替换算法以及一种贪心的数据预取方法。实验结果表明，这两种缓存机制结合使用能极大地提高机群文件系统的性能。     

容器热迁移优化技术研究

容器虚拟化技术由于轻量级的特性逐渐在云计算中崭露头角.容器热迁移是许多云管理能力的基础,其在最短的宕机时间内,将运行中的容器完整地迁移到另一个物理节点上继续运行.性能是容器热迁移研究的重点,但通过对现有容器热迁移系统的详细分析,本文发现其中仍然存在着一些影响性能的问题,包括转储并行度低、预拷贝策略不收敛以及根文件系统与运行状态迁移并行度低等.针对这些问题,本文分别提出和设计了资源感知的并行转储机制、基于后拷贝策略的运行状态迁移和基于多优先级的传输调度并行算法等优化策略和算法,并基于Docker实现了一个高性能容器热迁移系统Dmigrate.实验结果表明Dmigrate相比于目前最新的研究,平均可有效减少17.05%的宕机时间,总迁移时间平均减少24.33%.     

一种固态盘的读写性能优化调度方法

相比于传统机械硬盘,基于NAND Flash的固态盘由于具有非易失性、高性能、低功耗等优点,被广泛应用于数据中心、云计算、在线事务交易等场景。然而,由于NAND Flash中的读操作速度远远快于写操作速度,当读写请求并发执行时,读请求可能被写请求阻塞,从而表现出极大的读延时。在许多以读请求为主的场合,尤其是在线事物交易中(读请求占总请求的比例超过90%),读延时的急剧增加严重影响了系统的整体性能。提出一种读写性能优化调度的策略,通过在闪存转换层之下动态调整读写请求的优先序列,使读性能获得显著的提升。实验中,通过对固态盘仿真器的设计与实现,对读写调度策略的有效性进行了系统的评估。实验结果表明,在该调度策略下,系统中读延时的最大值和平均值均得到了显著的减少,且降幅分别达到了72%和41%。     

GCaching--一种网格协同缓存系统

协同缓存通过多个代理缓存服务器的协同工作,可以充分利用各服务器的缓存空间,提高缓存命中率．网格技术可以方便地共享和整合异构的服务器资源．结合网格和协同技术,提出了一种网格协同缓存系统Gcaching,它将地域上分布的多个代理缓存服务器组成缓存池,充分利用缓存资源,协同工作,为用户提供更好的服务能力．Gcaching系统设计并实现了一种缓存放置和替换算法GCPR,它使用周期缓存更新策略,根据用户访问模式自适应地调整缓存数据的分布．仿真实验表明,GCPR算法的缓存命中率和平均访问跳数都优于传统的LRU等算法．     

基于日志分析的虚拟化环境故障定位系统

在云平台的运行维护中,虚拟化环境的故障定位对容错极其重要。针对虚拟化环境的空间拓扑时变性,提出了一种基于时变的节点间依赖关系的日志分析方法,为决策树故障定位提供支持。节点间依赖关系能够帮助压缩日志,只提供故障时间窗口内的有效信息作为挖掘来源,从而更快更准确地完成故障定位。实验表明,能够在较大系统规模的多变的虚拟化环境下实现有效和高效的故障定位。     

涉密环境桌面虚拟化多级安全系统设计与实现

为解决涉密环境对于桌面虚拟化的多级安全防护需求,文章提出了一种面向涉密环境的桌面虚拟化多级安全模型--vDesktop-BLP模型。该模型结合桌面虚拟化应用场景,对经典BLP多级安全模型进行了改进,实现了对涉密环境桌面虚拟化系统中信息流流向的多级安全控制。文章还对模型进行了系统实现,对其中的安全机制进行了详细设计,最终保证虚拟桌面间最主要的两类信息交互行为（网络通信行为和存储设备读写行为）能够符合涉密信息系统多级安全的要求。