面向虚拟机的分布式块存储系统设计及实现

传统的DAS、NAS、SAN存储以及分布式文件系统难以满足IaaS场景下的虚拟机存储对容量、性能、可用性的综合需求。设计一个分布式块存储系统,提供较高的性能和可用性、几乎不受限制的扩展性,同时保持低廉的价格,具有良好的前景。通过创新性地结合本地数据卷、远程数据卷和日志卷,系统达到了较传统的三副本技术(几乎)同等的可用性,同时减少了容量开销。并发写日志和本地数据卷、以及后台更新远程数据卷的方法提高了系统性能。将虚拟机所需的数据迁移到相应的宿主机上,可以提高虚拟机的性能表现。测试表明,系统提供了底层设备支持的全部IOPS和绝大部分的带宽,并在故障中具备容错和恢复能力,恢复过程中的性能表现完全可接受。     

面向多虚拟机的分布式存储系统

通过分析虚拟桌面系统对存储系统的要求,设计并实现了面向多虚拟机的分布式存储系统——虚拟机存储系统(virtual machine storage,VMStore)。分布式技术具有灵活性和可扩展性,因此采用分布式技术提高多虚拟机存储系统的吞吐率。在元数据管理中采用直接块索引结构以获得更好的快照性能,并采用去冗余技术减少多虚拟机镜像之间的冗余数据。实验结果显示存储系统具有较好的吞吐能力,且快照和去冗余的开销对整个系统的影响较小。     

分布式块存储系统:HCBS实现机制

分布式存储一直是个经久不衰的话题,在当前竞争激烈的云市场,存储系统的性能与稳定性一直是用户考量存储产品的重要指标,为适应用户需求与市场发展,腾讯云团队推出了一款新的分布式块存储系统———HCBS。块存储是云上不可或缺的一部分,虽然很多云产品商在对外提供服务时虚拟机内还有本地硬盘的身影,     

分布式的附网存储系统的设计与实现

设计并实现了一种高性能的分布式附网存储系统,并详细介绍了其工作原理、设计流程和主要程序段。     

面向科研领域的分布式对象存储系统

随着科研工作的推进,科研数据出现了海量的增长, PB级科研数据需要高效、稳定的存储系统.传统的数据存储方案存在资源利用率差、集群扩展性能低以及用户界面操作不友好等问题,严重限制了数据在科研场景下的有效利用.依托中科院地球科学大数据专项,本文设计并实现高效的存储系统i-Harbor.该系统以对象存储系统为核心架构,以开源的Ceph分布式存储系统和MongoDB数据库作为对象数据和元数据的存储载体,设计通用的基于HTTP和FTP协议的数据接口,同时利用多副本和纠删码技术消除单点故障,配合Zabbix集群监控系统,实时定位平台参数以及故障,提高平台容灾性和安全性.此外,基于底层分布式结构的特点,集群可以随意添加存储节点,提高了平台的扩展性.     

基于RS和Chord的分布式存储系统的设计

文章首先分析并实现了基于Vander monde矩阵的RS算法.接着本文提出并初步实现了一种基于RS编码算法和Chord协议的分布式存储系统,详细分析了系统的关键技术:Chord协议在分布式存储中的应用.最后本文介绍了系统的体系结构并进行了性能分析.     

“异地多活”分布式存储系统设计和实现

随着互联网进入了大数据和云计算时代,分布式存储技术近年来受到了工业界和学术界的广泛关注。为了解决服务器压力过大、异地快速容灾和用户就近访问等问题,本文从异地多活、分布式CAP理论着手,分析了分布式存储的特性、应用场景和技术挑战,进而利用开源的Redis NoSql数据库,RabbitMQ消息队列等技术,搭建了一个满足最终一致性,可用性和分区容忍性的“异地多活”分布式存储系统。通过对系统的压力测试结果表明,基本可以满足工业级应用的吞吐量和一致性的要求。     

去中心化的安全分布式存储系统

提出一种去中心化的安全分布式存储系统。通过公钥加密和单钥加密相结合的方法,提高存储数据的保密性。对每个数据源使用不同的对称密钥进行分布式加密,采用分布式纠删码对加密后的数据进行编码。使用RS多项式编码和List Decoding译码方法存储加密的对称密钥,以保证系统的鲁棒性。分析结果表明,该方案的计算复杂度较低。     

基于NAS的非结构化数据分布式存储系统设计

随着气象事业发展,非结构化数据海量增长,针对传统非分布式、直联式存储方式支撑能力受限问题及对存储系统需要支持大容量、集中管理、高可扩展性、高可靠性的新需求出发,利用网络附加存储,采用分布式架构、堆叠组网冗余和纠删码冗余保护机制、运用NFS、CIFS、FTP等协议,搭建一个分布式架构集群存储系统,通过分布式文件系统对外提供统一网络存储空间,通过CIFS、NFS、FTP三种方式实现文件共享。解决旧系统存储能力不足、动态扩展性差、效率不高、可靠性和安全性低的问题,进一步提升重庆气象数据云平台基础支撑能力。     

分布式存储系统中元数据系统的研究与设计

在分布式存储系统中,元数据服务系统是一个潜在的访问瓶颈。文章提出了一种基于分布式哈希函数和共享存储器思想的元数据服务器系统,并且与LazyHybrid(LH)方法进行了对比研究,通过仿真测试表明其具有较高的元数据操作吞吐量和减少了元数据服务器之间元数据移动及易扩展等特性。     

一种对等式存储系统的设计与实现

一方面信息量的爆炸式增长对传统的存储模型提出了严峻挑战,另一方面宽带广泛普及、计算机性能大幅度提升,在此背景下,以Pber-to-Peer的方式对存储资源进行管理成为可能。提出了系统的体系结构和模块组织,重点探讨存储资源的发布与发现以及数据的存取与维护,通过覆盖网的路由和定位机制均衡存储管理负载,通过数据分片与剐本机制增加系统可靠性,并对系统的设计与实现要点进行分析。结果表明对等式存储系统是可行的。     

浅析分布式存储系统的研究及应用

本文介绍了什么是分布式存储技术,通过对分布式存储技术特点的分析认为,分布式存储系统的低成本、可扩展性和易用性,在分布式计算技术和存储共享数据方面已经有了很好的应用,是互联网发展的又一个热点,分布式存储技术必将带来互联网新的发展前景.     

基于虚拟化与分布式技术的存储系统

介绍了一套基于云计算(cloud computing)技术的数据应用平台系统设计方案。该系统由多组服务器集群组成,可提供数据存储、备份和并行运算服务。并可采用虚拟化应用端与分布式(Hadoop)技术相结合的方式为用户提供高容量和异构应用存储系统,以便结合iSCSI协议在硬件层获得更灵活的部署。     

分布式存储系统中客户端的设计与实现

BlueOcean是基于对象存储技术的大规模分布式存储系统,详细描述了其客户端软件的设计。客户端基于用户态文件系统fuse框架进行开发,既保证了客户端的通用性,又降低了开发和维护的复杂度。客户端实现了常用的posix接口,可支持绝大多数应用程序的透明运行;设计了一套高效的缓存机制,减少了元数据访问过程中的通信开销,减小了读写延迟,有效地提高了BlueOcean存储系统的性能。     

基于RDMA的分布式存储系统研究综述

远程直接内存访问(remote direct memory access, RDMA)技术正在大数据领域被越来越广泛地应用,它支持在对方主机CPU不参与的情况下远程读写异地内存,并提供高带宽、高吞吐和低延迟的数据传输特性,从而大幅提升分布式存储系统的性能,因此基于RDMA的分布式存储系统将为满足大数据高时效处理和存储带来新的机遇.首先分析了基于RDMA的分布式存储系统简单替换网络传输模块并不能充分发挥RDMA在语义和性能上的优势的原因,并指出存储系统架构需要变革的因素.然后阐述了高效运用RDMA技术主要取决于2个方面：第1方面是硬件资源的高效管理,包括网卡缓存和CPU缓存的合理利用、多核CPU的并行加速以及内存资源管理等;第2方面是软硬件的紧耦合设计,借助RDMA在语义和性能上的特性,重构新型数据组织和索引方式、优化分布式协议等.同时,以分布式文件系统、分布式键值存储和分布式事务系统为典型应用场景,分别阐述了它们在硬件资源管理和软件重构这2个方面的相关研究.最后,给出了总结和展望.     

基于Peer-to-Peer的分布式存储系统的设计

分布式存储系统是p2p技术的一个重要的研究领域.当前对p2p系统的结构研究已经能够高度有效地控制节点路由次数,人们逐渐转向追求更为实际的路由距离.作为存储应用,分布式系统需要具备综合容错-恢复能力.在分析现有研究的基础上,建立一个接近实际网络节点分布的计算模型,通过已知的节点最优路径情况动态地预测网络真实路径的长度.利用评估算法聚集网络中相近的节点,使得同一分组的节点之间的距离最小化,提供更加合理的路由选择.对于存储的可靠性,提出了节点交叉管理模型和相应的数据迁移算法.这种管理策略及迁移算法的本地性特点显著提高了系统对各种事件的反应能力,保证了系统的可持续性.模拟结果显示,分组为路由选择提供了确实有效的判据,而且可以扩展到更大的规模.     

基于分布式存储技术的高校集群存储系统实践与研究

随着文件大小和数据规模逐步达到TB和PB级,大数据与大文件在群体中的共享出现了困难,为解决此问题集群存储系统出现。笔者深入研究了集群存储系统,并通过将其与传统的存储区域网(SAN)和网络附加存储(NAS)的比较[1],分析高校集群储存系统的七大功能特点。     

基于X Code和RS Code的二维分布式存储系统

随着分布式存储技术的发展,网络数据存储的安全性问题成为计算机领域研究的热点.在分析了基于X Code和RS Code技术的分布式存储系统的基础上,为进一步增强数据系统容错能力提出了一种改进的二维分布式存储系统.该系统将数据服务器中的数据块组织成具有行列坐标的两维实体,在列上将RS Code和X Code两种编码方法综合运用产生校验信息,在行上实行基于异或运算的校验.实验表明经改进的系统较采用RS Code技术的系统减少了数据恢复时间,较采用X Code技术的系统增加了容错数量,从而在整体上提高了系统容错效率.     

网络存储系统的设计与实现

文章介绍了当前网络存储系统的几种流行模式，并着重描述了具有发展前景的SAN存储系统的管理、控制及实现的原理。结合实际应用阐述了设计构造SAN存储系统的有效方法及采用该技术的优越性。     

基于P2P的关键字路由分布式存储系统设计

在P2P的基础上采用了Server-to-Server的模型,各个Server之间完全对等,通过路由关系连接起来,提出一种基于P2P的分布式存储平台的实现框架和基于关键字路由算法的系统模型,实现了跨网段的资源共享与存储,并通过冗余备份,提高系统的容错性.