面向QEMU的分布式块存储系统的设计与实现

计算系统虚拟化是当前的主流趋势,然而为虚拟机磁盘提供存储的现有后端系统常直接沿袭分布式文件系统的设计,导致一系列虚拟磁盘I/O场景下不必要的开销。提出的COMET系统,是一个面向QEMU的分布式块存储系统。它基于Proactor模式,针对虚拟磁盘I/O特性扬弃文件系统的语义并在数据读写与一致性等方面采用精简合理的设计,尽可能缩短I/O路径,在具备线性扩展能力、高可用性的同时,实现了写时复制的磁盘快照和写时复制的磁盘克隆等创新功能。测试数据表明,COMET在部分I/O场景下拥有足以媲关乃至超越成熟开源系统的性能。     

面向虚拟机的分布式块存储系统设计及实现

传统的DAS、NAS、SAN存储以及分布式文件系统难以满足IaaS场景下的虚拟机存储对容量、性能、可用性的综合需求。设计一个分布式块存储系统,提供较高的性能和可用性、几乎不受限制的扩展性,同时保持低廉的价格,具有良好的前景。通过创新性地结合本地数据卷、远程数据卷和日志卷,系统达到了较传统的三副本技术(几乎)同等的可用性,同时减少了容量开销。并发写日志和本地数据卷、以及后台更新远程数据卷的方法提高了系统性能。将虚拟机所需的数据迁移到相应的宿主机上,可以提高虚拟机的性能表现。测试表明,系统提供了底层设备支持的全部IOPS和绝大部分的带宽,并在故障中具备容错和恢复能力,恢复过程中的性能表现完全可接受。     

去中心化的安全分布式存储系统

提出一种去中心化的安全分布式存储系统。通过公钥加密和单钥加密相结合的方法,提高存储数据的保密性。对每个数据源使用不同的对称密钥进行分布式加密,采用分布式纠删码对加密后的数据进行编码。使用RS多项式编码和List Decoding译码方法存储加密的对称密钥,以保证系统的鲁棒性。分析结果表明,该方案的计算复杂度较低。     

基于虚拟化与分布式技术的存储系统

介绍了一套基于云计算(cloud computing)技术的数据应用平台系统设计方案。该系统由多组服务器集群组成,可提供数据存储、备份和并行运算服务。并可采用虚拟化应用端与分布式(Hadoop)技术相结合的方式为用户提供高容量和异构应用存储系统,以便结合iSCSI协议在硬件层获得更灵活的部署。     

面向科研领域的分布式对象存储系统

随着科研工作的推进,科研数据出现了海量的增长, PB级科研数据需要高效、稳定的存储系统.传统的数据存储方案存在资源利用率差、集群扩展性能低以及用户界面操作不友好等问题,严重限制了数据在科研场景下的有效利用.依托中科院地球科学大数据专项,本文设计并实现高效的存储系统i-Harbor.该系统以对象存储系统为核心架构,以开源的Ceph分布式存储系统和MongoDB数据库作为对象数据和元数据的存储载体,设计通用的基于HTTP和FTP协议的数据接口,同时利用多副本和纠删码技术消除单点故障,配合Zabbix集群监控系统,实时定位平台参数以及故障,提高平台容灾性和安全性.此外,基于底层分布式结构的特点,集群可以随意添加存储节点,提高了平台的扩展性.     

基于Agent的分布式存储系统故障检测技术

当前的分布式并行文件系统与数据库系统在存储容量、访问性能、可靠性、可扩展性等方面都不能很好地满足数据密集型应用的需求,基于集群的存储系统也存在一定的不足.针对这一问题,提出了一种PC存储集群解决方案,采用3层Agent结构构建了一个分布式存储系统,介绍了基于主从备份方式的系统可靠性模型,详细阐述了检查点检测和心跳检测相结合的故障检测方法,分析故障检测带来的系统开销并加以改进.数学分析表明,新系统具有较高的可靠性与较低的通信开销.     

面向分布式虚拟机监视器的节点特征描述机制

DVMM基于硬件虚拟化技术,在机群硬件之上构建一层系统软件以感知机群的物理资源,并虚拟化全局物理资源,整合构建全局虚拟资源信息呈现给操作系统OS(Operating System)使用。DVMM为多台物理机虚拟为一台虚拟机描述了一个框架,但是此框架存在一个性能上的缺陷:OS对底层硬件拓扑并不真正了解的情况下,可能将不适合在某节点上运行的任务调度到该节点,引发大量的节点间通信,从而导致该任务运行效率显著降低。提出分布式虚拟机监视器DVMM(Distributed Virtual Machine Monitor)中的节点特征描述机制NCM(Node Characterization Mechanism)。NCM解决了上述问题,其主要思想是将各个节点的特征描述并保存,为资源管理提供更全面的系统资源描述,呈现系统拓扑结构及节点底层硬件差异供DVMM使用。以上述机制为基础(并在OS的配合下),能够实现任务的高效调度,提高整系统的运行效率,使得DVMM更加完善。     

一种基于聚类分组的虚拟机镜像去冗余方法

随着云计算的兴起,虚拟化技术使用也越来越广泛,虚拟机正逐步取代物理机,成为应用服务的部署环境.出于灵活性、可靠性等方面的需求,虚拟机镜像急剧增长,如何高效地、经济地管理这些镜像文件已成为一个很有挑战性的研究热点.由于虚拟机镜像之间存在大量重复性的数据块,高效的去冗余方法对于虚拟机镜像管理至关重要.然而,传统的去冗余方法由于需要巨大的资源开销,会对平台中托管的虚拟机性能造成干扰,因而并不适用于云环境.提出了一种局部去冗余的方法,旨在优化镜像去冗余过程.其核心思想是:将全局去冗余变成局部去冗余,从而降低去冗余算法的空间复杂度,以达到减少操作时间的目的.该方法利用虚拟机镜像相似性作为启发式规则对虚拟机镜像进行分组,当一个新的镜像到来时,通过统计抽样的方法为镜像选取最为相似的分组进行去冗余.实验结果表明:该方法可以通过牺牲1%左右的存储空间,缩短50%以上的去冗余操作时间.     

基于RS和Chord的分布式存储系统的设计

文章首先分析并实现了基于Vander monde矩阵的RS算法.接着本文提出并初步实现了一种基于RS编码算法和Chord协议的分布式存储系统,详细分析了系统的关键技术:Chord协议在分布式存储中的应用.最后本文介绍了系统的体系结构并进行了性能分析.     

浅析分布式存储系统的研究及应用

本文介绍了什么是分布式存储技术,通过对分布式存储技术特点的分析认为,分布式存储系统的低成本、可扩展性和易用性,在分布式计算技术和存储共享数据方面已经有了很好的应用,是互联网发展的又一个热点,分布式存储技术必将带来互联网新的发展前景.     

一种高效存储解决方案的分析与研究

企业的关键信息以几何级速度增长,更多的数据需要保存更长的时间,面对TB甚至是PB级海量数据如何进行高效存储成为研究的重点.伴随着云计算和云存储的发展,对后端的高效存储和管理成为存储方面的重点研究问题,高效存储和管理不仅为用户提供更高质量的服务,而且还可以降低用户成本,实现高效低碳的环保型存储,这其中主要用到了多协议访问、存储虚拟化、自动精简配置、重复数据删除等关键技术.     

一种基于集群环境的虚拟存储系统研究与实现

虚拟存储管理系统能够根据用户的需要随时在线调整存储卷的容量，而且能够提供快照、在线数据备份等功能，成为存储系统中重要的功能中间件．然而传统的服务器存储管理系统不能适应集群环境下的数据管理，尤其是随着SANs（Storage Area Networks）技术的日益发展与普及，研究集群环境下的虚拟存储系统成为迫切任务．本文通过对虚拟存储技术的研究，提出了集群环境下虚拟存储系统的模型CVM．分析了其中的关键技术．并且给出了一个具体的实现方案和测试结果，结果表明，CVM系统能够有效实现共享存储环境下的虚拟存储管理．同时提供了在线数据备份、数据镜像等功能，具有很好的容错特性，较好实现了集群环境下的共享存储管理．     

基于带外存储虚拟化的逻辑卷高性能快照

在逻辑卷级别实现快照既能屏蔽物理存储设备的异构性,又能为各种应用提供透明的数据保护支持.提出了一种基于带外存储虚拟化系统的高性能快照方法LVHPsnap,它通过可扩展的元数据组织策略,能够灵活使用多种类型的快照适应不同应用的需求;通过以Finesnap卷、Checkpoint卷两种类型快照卷构建混合快照链表和压缩快照索引数据实现了高性能快照,以高频度生成快照时系统能保持较高的性能和存储空间利用率;引入自适应快照机制,通过监控数据块修改频度,使自动生成快照的时间间隔随应用负载的变化动态调整,实现数据按需保护.基于真实工作负载和基准测试程序的实验表明,在构建混合快照链表的条件下,LVHPsnap的性能和存储空间利用率随Finesnap卷的比例增加而提高,例如当Finesnap卷与Checkpoint卷比例分别为4∶1和8∶1时,LVHPsnap的性能分别较集群虚拟化系统LVM2提高了109.45%和130.86%,存储空间使用量分别仅为LVM2系统的43.40%和31.35%.     

基于Swift的可去重校园云存储系统的设计与实现

随着高校信息化的发展以及教学、科研和管理应用系统的广泛应用,数据资源如:图片、文档、视频等非结构化资源增长十分迅速。如何应对校园网络环境中不断增大的存储需求,提高存储资源的利用效率,是校园数据中心运维中一个比较重要的问题。本文介绍了基于开源软件 Swift 的云存储平台的搭建,以及带有重复数据删除功能的校园云存储系统(Dedupe_swift) 的设计与实现。通过重复数据删除功能的引入,提高了底层存储空间利用率;采用源端去重机制,为用户缩短了重复文件的上传时间;通过 Web 服务将存储作为服务提供给用户,为用户提供良好的云存储访问体验。     

BW-VSDS:大容量、可扩展、高性能和高可靠性的网络虚拟存储系统

设计并实现了一个大容量、可扩展、高性能和高可靠性的网络虚拟存储系--BW-VSDS.和其他网络存储系统对比,它有如下的特点:1)采用带内元数据管理和带外数据访问的虚拟存储管理架构,存储管理更灵活,并且系统扩展性更好;2)在单个节点内部的多个虚拟卷、多个虚拟池和多个网络存储设备上利用存储虚拟化技术重构得到面向多种存储应用的网络虚拟存储设备,实现了3层的层次化存储虚拟化模型,对内共享存储设备的容量和带宽,对外提供不同属性的虚拟磁盘;3)采用写时按需分配策略提高了存储空间的利用率,使用数据块重组提高了I/O读写性能;4)使用设备链表和位图实现了层叠式虚拟快照,支持增量快照、写时拷贝和写时重定向机制,实现源卷和快照卷的数据共享;5)提出结合带外存储虚拟化管理的后端集中的带外冗余管理结构,数据读写直接访问存储节点,冗余管理节点在磁盘上以日志方式缓存从存储节点镜像写的数据,然后在后台进行RAID5冗余计算,提高了活跃数据的可靠性,减轻了冗余计算对写性能的影响.     

VMStore: Distributed storage system for multiple virtual machines

Desktop virtualization is a very hot concept in both industry and academic communities. Since virtualized desktop system is based on multiple virtual machines (VM), it is necessary to design a distributed storage system to manage the VM images. In this paper, we design a distributed storage system, VMStore, by taking into account three important characteristics: high performance VM snapshot, booting optimization from multiple images and redundancy removal of images data. We adopt a direct index structure of...     

基于重复数据删除的虚拟桌面存储优化技术

虚拟桌面基础架构依靠数据中心海量的云基础设施,为用户按需提供虚拟桌面部署所需的软硬件资源,但同时面临存储资源利用率低和虚拟机启动慢的困境.针对虚拟桌面存储中具有大量数据冗余的特性,采用重复数据删除技术缩减虚拟桌面基础架构的存储空间需求;并利用服务器本地磁盘缓存以及共享存储池内的固态硬盘来优化虚拟机的启动性能.通过原型实现,发现相比于基于内容分块的策略,静态分块策略更适合虚拟桌面存储进行重复数据删除,最优的分块大小为4KB,并能够缩减85%的存储空间容量;通过服务器本地磁盘缓存和基于闪存的固态硬盘进行I/O优化,虚拟机的启动速度能够获得35%的提升.