面向QEMU的分布式块存储系统的设计与实现

计算系统虚拟化是当前的主流趋势,然而为虚拟机磁盘提供存储的现有后端系统常直接沿袭分布式文件系统的设计,导致一系列虚拟磁盘I/O场景下不必要的开销。提出的COMET系统,是一个面向QEMU的分布式块存储系统。它基于Proactor模式,针对虚拟磁盘I/O特性扬弃文件系统的语义并在数据读写与一致性等方面采用精简合理的设计,尽可能缩短I/O路径,在具备线性扩展能力、高可用性的同时,实现了写时复制的磁盘快照和写时复制的磁盘克隆等创新功能。测试数据表明,COMET在部分I/O场景下拥有足以媲关乃至超越成熟开源系统的性能。     

面向多虚拟机的分布式存储系统

通过分析虚拟桌面系统对存储系统的要求,设计并实现了面向多虚拟机的分布式存储系统——虚拟机存储系统(virtual machine storage,VMStore)。分布式技术具有灵活性和可扩展性,因此采用分布式技术提高多虚拟机存储系统的吞吐率。在元数据管理中采用直接块索引结构以获得更好的快照性能,并采用去冗余技术减少多虚拟机镜像之间的冗余数据。实验结果显示存储系统具有较好的吞吐能力,且快照和去冗余的开销对整个系统的影响较小。     

分布式块存储系统:HCBS实现机制

分布式存储一直是个经久不衰的话题,在当前竞争激烈的云市场,存储系统的性能与稳定性一直是用户考量存储产品的重要指标,为适应用户需求与市场发展,腾讯云团队推出了一款新的分布式块存储系统———HCBS。块存储是云上不可或缺的一部分,虽然很多云产品商在对外提供服务时虚拟机内还有本地硬盘的身影,     

面向科研领域的分布式对象存储系统

随着科研工作的推进,科研数据出现了海量的增长, PB级科研数据需要高效、稳定的存储系统.传统的数据存储方案存在资源利用率差、集群扩展性能低以及用户界面操作不友好等问题,严重限制了数据在科研场景下的有效利用.依托中科院地球科学大数据专项,本文设计并实现高效的存储系统i-Harbor.该系统以对象存储系统为核心架构,以开源的Ceph分布式存储系统和MongoDB数据库作为对象数据和元数据的存储载体,设计通用的基于HTTP和FTP协议的数据接口,同时利用多副本和纠删码技术消除单点故障,配合Zabbix集群监控系统,实时定位平台参数以及故障,提高平台容灾性和安全性.此外,基于底层分布式结构的特点,集群可以随意添加存储节点,提高了平台的扩展性.     

分布式的附网存储系统的设计与实现

设计并实现了一种高性能的分布式附网存储系统,并详细介绍了其工作原理、设计流程和主要程序段。     

基于RS和Chord的分布式存储系统的设计

文章首先分析并实现了基于Vander monde矩阵的RS算法.接着本文提出并初步实现了一种基于RS编码算法和Chord协议的分布式存储系统,详细分析了系统的关键技术:Chord协议在分布式存储中的应用.最后本文介绍了系统的体系结构并进行了性能分析.     

虚拟机管理器中面向虚拟块设备的一种通用快照扩展机制

基于虚拟机环境下虚拟块设备多样性的特点以及对高可用、容错等能力的需求,本文针对目前主流的虚拟机体系结构,提出了一种在虚拟机管理器中为虚拟块设备扩展通用快照功能的机制,能够为虚拟机环境下的多种虚拟块设备提供统一和可扩展的快照服务,有效避免了大幅修改底层的多种具体的虚拟块设备驱动。基于Linux平台,为QEMU扩展了通用的快照功能,验证了快照扩展机制的可行性,并通过实验测试分析了快照对虚拟机性能的影响。     

面向分布式虚拟机监视器的节点特征描述机制

DVMM基于硬件虚拟化技术,在机群硬件之上构建一层系统软件以感知机群的物理资源,并虚拟化全局物理资源,整合构建全局虚拟资源信息呈现给操作系统OS(Operating System)使用。DVMM为多台物理机虚拟为一台虚拟机描述了一个框架,但是此框架存在一个性能上的缺陷:OS对底层硬件拓扑并不真正了解的情况下,可能将不适合在某节点上运行的任务调度到该节点,引发大量的节点间通信,从而导致该任务运行效率显著降低。提出分布式虚拟机监视器DVMM(Distributed Virtual Machine Monitor)中的节点特征描述机制NCM(Node Characterization Mechanism)。NCM解决了上述问题,其主要思想是将各个节点的特征描述并保存,为资源管理提供更全面的系统资源描述,呈现系统拓扑结构及节点底层硬件差异供DVMM使用。以上述机制为基础(并在OS的配合下),能够实现任务的高效调度,提高整系统的运行效率,使得DVMM更加完善。     

一种面向高性能计算的分布式对象存储系统

现有分布式文件存储系统存在数据组织低效和访问语义冗余等问题,严重限制了系统性能。为此,借鉴对象存储思想,设计面向高性能计算的分布式对象存储系统。分离数据访问和数据管理,实现更精简高效的访问语义,同时采用分布式全局对象数据组织方式,运用基于内存的元数据管理方法提升系统性能。实验结果表明,在大规模并发访问时,该系统的读/写聚合带宽相比Lustre系统分别提升22.5%和50.4%,文件创建、删除性能分别达到Lustre系统的2.15倍和5.13倍。此外,该系统还具有拟线性的数据读/写和元数据管理功能,可扩展性较好。     

浅析分布式存储系统的研究及应用

本文介绍了什么是分布式存储技术,通过对分布式存储技术特点的分析认为,分布式存储系统的低成本、可扩展性和易用性,在分布式计算技术和存储共享数据方面已经有了很好的应用,是互联网发展的又一个热点,分布式存储技术必将带来互联网新的发展前景.     

面向大数据的分布式存储技术研究

随着计算机信息应用技术的发展和互联网技术的不断的成熟,大数据时代是必然的趋势,它能为人们提供更加便捷的生活方式,为各类信息的接收和输出提供更好的途径,庞杂的信息量为数据存储带来了需求的同时也加大了技术上的难度,本文通过对大数据环境下数据分布式存储的技术进行研究,以求获得一些可行性方案。     

“异地多活”分布式存储系统设计和实现

随着互联网进入了大数据和云计算时代,分布式存储技术近年来受到了工业界和学术界的广泛关注。为了解决服务器压力过大、异地快速容灾和用户就近访问等问题,本文从异地多活、分布式CAP理论着手,分析了分布式存储的特性、应用场景和技术挑战,进而利用开源的Redis NoSql数据库,RabbitMQ消息队列等技术,搭建了一个满足最终一致性,可用性和分区容忍性的“异地多活”分布式存储系统。通过对系统的压力测试结果表明,基本可以满足工业级应用的吞吐量和一致性的要求。     

基于虚拟机的存储过程设计与实现

存储过程在数据库管理系统中占有重要的地位。虚拟机为解释性语言提供了一套完整的运行环境接口。该文提出了一种基于虚拟机的实现存储过程的方法,并结合存储过程的特点介绍了一些实现细节。该方法已经应用到DM数据库管理系统之中。     

去中心化的安全分布式存储系统

提出一种去中心化的安全分布式存储系统。通过公钥加密和单钥加密相结合的方法,提高存储数据的保密性。对每个数据源使用不同的对称密钥进行分布式加密,采用分布式纠删码对加密后的数据进行编码。使用RS多项式编码和List Decoding译码方法存储加密的对称密钥,以保证系统的鲁棒性。分析结果表明,该方案的计算复杂度较低。     

基于NAS的非结构化数据分布式存储系统设计

随着气象事业发展,非结构化数据海量增长,针对传统非分布式、直联式存储方式支撑能力受限问题及对存储系统需要支持大容量、集中管理、高可扩展性、高可靠性的新需求出发,利用网络附加存储,采用分布式架构、堆叠组网冗余和纠删码冗余保护机制、运用NFS、CIFS、FTP等协议,搭建一个分布式架构集群存储系统,通过分布式文件系统对外提供统一网络存储空间,通过CIFS、NFS、FTP三种方式实现文件共享。解决旧系统存储能力不足、动态扩展性差、效率不高、可靠性和安全性低的问题,进一步提升重庆气象数据云平台基础支撑能力。     

Linux下网络块设备的设计和实现

网络块设备是一种数据异地透明存取的网络存储技术，是实现网络计算机存储的新方法。文章简要介绍了块设备的原理并给出了网络块设备在Linux系统环境下的设计和实现。最后，分析了网络块设备作为网络计算机存储方案的优势。     

基于RDMA的分布式存储系统研究综述

远程直接内存访问(remote direct memory access, RDMA)技术正在大数据领域被越来越广泛地应用,它支持在对方主机CPU不参与的情况下远程读写异地内存,并提供高带宽、高吞吐和低延迟的数据传输特性,从而大幅提升分布式存储系统的性能,因此基于RDMA的分布式存储系统将为满足大数据高时效处理和存储带来新的机遇.首先分析了基于RDMA的分布式存储系统简单替换网络传输模块并不能充分发挥RDMA在语义和性能上的优势的原因,并指出存储系统架构需要变革的因素.然后阐述了高效运用RDMA技术主要取决于2个方面：第1方面是硬件资源的高效管理,包括网卡缓存和CPU缓存的合理利用、多核CPU的并行加速以及内存资源管理等;第2方面是软硬件的紧耦合设计,借助RDMA在语义和性能上的特性,重构新型数据组织和索引方式、优化分布式协议等.同时,以分布式文件系统、分布式键值存储和分布式事务系统为典型应用场景,分别阐述了它们在硬件资源管理和软件重构这2个方面的相关研究.最后,给出了总结和展望.     

基于Peer-to-Peer的分布式存储系统的设计

分布式存储系统是p2p技术的一个重要的研究领域.当前对p2p系统的结构研究已经能够高度有效地控制节点路由次数,人们逐渐转向追求更为实际的路由距离.作为存储应用,分布式系统需要具备综合容错-恢复能力.在分析现有研究的基础上,建立一个接近实际网络节点分布的计算模型,通过已知的节点最优路径情况动态地预测网络真实路径的长度.利用评估算法聚集网络中相近的节点,使得同一分组的节点之间的距离最小化,提供更加合理的路由选择.对于存储的可靠性,提出了节点交叉管理模型和相应的数据迁移算法.这种管理策略及迁移算法的本地性特点显著提高了系统对各种事件的反应能力,保证了系统的可持续性.模拟结果显示,分组为路由选择提供了确实有效的判据,而且可以扩展到更大的规模.     

基于虚拟机的透明计算设备子系统设计及实现*

为解决在现有透明计算系统中磁盘等设备的虚拟化,需要对操作系统进行修改才能在端计算机上运行的问题,提出透明计算系统中一种基于虚拟机技术的设备子系统。以Intel VT硬件级虚拟支持和Xen虚拟化技术为基础, 在全虚拟化的虚拟机上运行用户操作系统: 通过运行在管理域用户空间中设备模型的虚拟磁盘和网络驱动,将用户域访问磁盘和网络的I/O请求跨网络地重定向到服务器进行处理, 从而实现端计算机上多操作系统的远程运行。在VT硬件平台和Xen虚拟机监控器上实现了原型系统,验证了该方法的可行性。     

基于X Code和RS Code的二维分布式存储系统

随着分布式存储技术的发展,网络数据存储的安全性问题成为计算机领域研究的热点.在分析了基于X Code和RS Code技术的分布式存储系统的基础上,为进一步增强数据系统容错能力提出了一种改进的二维分布式存储系统.该系统将数据服务器中的数据块组织成具有行列坐标的两维实体,在列上将RS Code和X Code两种编码方法综合运用产生校验信息,在行上实行基于异或运算的校验.实验表明经改进的系统较采用RS Code技术的系统减少了数据恢复时间,较采用X Code技术的系统增加了容错数量,从而在整体上提高了系统容错效率.