分布式存储系统中元数据系统的研究与设计

在分布式存储系统中,元数据服务系统是一个潜在的访问瓶颈。文章提出了一种基于分布式哈希函数和共享存储器思想的元数据服务器系统,并且与LazyHybrid(LH)方法进行了对比研究,通过仿真测试表明其具有较高的元数据操作吞吐量和减少了元数据服务器之间元数据移动及易扩展等特性。     

分布式存储系统中自适应纠删码的研究综述

随着海量存储系统的发展和在复杂环境中的应用,存储系统所面临数据丢失的风险也不断提升,因此存储系统中数据的可靠性受到了严重的挑战,成为了当前学术界和工业界关注的一大热点。为了解决该问题,海量数据存储系统通常使用具有低存储成本的纠删码技术。海量数据存储系统需要满足海量用户复杂多变的存储需求,以及提供高可用的存储服务,而这给海量数据存储系统中纠删码技术带来了关键性科学问题,即,纠删码的存储扩展性能较低与频繁变化的存储扩展需求之间的矛盾。为此,针对基于纠删码的海量数据存储系统,围绕存储扩展和数据修复的性能开展了一个综述性的研究。首先介绍了当前典型和常见的具有自适应特性的纠删码技术的发展现状,然后从评价纠删码性能的各项重要指标的角度详细地对比和分析了现有的纠删码技术,最后指出了现有自适应纠删码的不足和可能的改进见解。     

分布式存储系统的故障检测自适应算法

为建立分布式存储系统中高效可靠的故障检测机制,提出一种基于混合状态的捎带故障检测自适应算法——MSP-AFD。建立面向分布式存储系统的故障检测框架,基于负载预测的方式计算检测时延,自适应调整超时参数。实验结果表明,MSP-AFD算法的故障检测性能较优。     

MyBUD自适应分布式存储管理的设计与实现

面对日益增长的非结构化数据管理需求,实现了基于"自由表"数据模型和BUD(bank of unstructured data)参考体系模型的非结构化数据管理平台MyBUD系统。提出了一种能够根据非结构化数据的类型和访问特点自适应地选择分布式存储子系统的方法,同时也对MyBUD进行了TPCC测试和非结构化数据存取实验。结果表明,这种自适应的数据存储方法为MyBUD系统提供了高效的可扩展存储层,为采用数据库方法实现对结构化和非结构化数据统一管理的进一步研究工作奠定了基础。     

分布式存储系统中客户端的设计与实现

BlueOcean是基于对象存储技术的大规模分布式存储系统,详细描述了其客户端软件的设计。客户端基于用户态文件系统fuse框架进行开发,既保证了客户端的通用性,又降低了开发和维护的复杂度。客户端实现了常用的posix接口,可支持绝大多数应用程序的透明运行;设计了一套高效的缓存机制,减少了元数据访问过程中的通信开销,减小了读写延迟,有效地提高了BlueOcean存储系统的性能。     

P2P分布式存储系统

设计了一个基于P2P的分布式存储系统.该存储系统采用高可扩展的P2P体系结构,将大量分散的节点组织成一个逻辑网络,充分利用原先被忽视的端系统资源,构建大规模分布式存储系统.该存储系统采用高效的结构化P2P路由机制、动态自适应的副本管理、信任机制和激励机制为用户提供高效、可靠的分布式存储服务.     

分布式的附网存储系统的设计与实现

设计并实现了一种高性能的分布式附网存储系统,并详细介绍了其工作原理、设计流程和主要程序段。     

对象存储系统中自适应的元数据负载均衡机制

面向对象的存储系统在研究、工程以及服务领域均得到了广泛的应用.在面向对象的存储系统中,元数据的负载均衡对于提高整个系统的I/O性能具有重要的作用.现有的元数据负载均衡策略不能动态地平衡元数据的访问负载,而且自适应性以及容错特性有待提高.提出了一种自适应的分布式元数据负载均衡机制(adaptabledistributed load balancing of metadata,简称ADMLB),包含基本的负载均衡算法和分布式的增量负载均衡算法.采用基本的负载均衡算法按照服务器的性能公平地分布负载,使用分布式的负载均衡算法定时地调整负载的分布.ADMLB采取分布式的方法均衡地在元数据服务器之间分布负载,根据负载的变化自适应地进行调整,具有很好的容错特性,而且用户可以高效地定位元数据服务器.     

分布式存储系统可靠性的研究

通过对分布式存储系统可靠性的研究,运用了具有MDS特性的X码的编码模式,实现了能纠正2个疑符的译码新算法,从而有效地增强了分布式存储系统的可靠性。     

关于Ceph分布式存储系统性能优化技术的研究

由于现代信息技术快速发展,人们的网络活动数据急速增加,对计算机的储存和处理能力提出了更高的要求。文章基于Ceph分布式存储系统的架构,分析其性能优化技术,包括可扩展哈希下的受控复制（Controlled Replication Under Scalable Hashing,CRUSH）算法、对象存储设备（Object-based Storage Device,OSD）参数优化、使用异构硬件配置、基于固态盘的缓存性能优化、基于固态盘的元数据管理优化,从而扩大系统的吞吐量、缩短系统响应时间,提升系统的可伸缩性。     

Data Utilization-Based Adaptive Data Management Method for Distributed Storage System in WAN Environment

Recently, research on a distributed storage system that efficiently manages a large amount of data has been actively conducted following data production and demand increase. Physical expansion limits exist for traditional standalone storage systems, such as I/O and file system capacity. However, the existing distributed storage system does not consider where data is consumed and is more focused on data dissemination and optimizing the lookup cost of data location. And this leads to system performance degradation due to low locality occurring in a Wide Area Network (WAN) environment with high network latency. This problem hinders deploying distributed storage systems to multiple data centers over WAN. It lowers the scalability of distributed storage systems to accommodate data storage needs. This paper proposes a method for distributing data in a WAN environment considering network latency and data locality to solve this problem and increase overall system performance. The proposed distributed storage method monitors data utilization and locality to classify data temperature as hot, warm, and cold. With assigned data temperature, the proposed algorithm adaptively selects the appropriate data center and places data accordingly to overcome the excess latency from the WAN environment, leading to overall system performance degradation. This paper also conducts simulations to evaluate the proposed and existing distributed storage methods. The result shows that our proposed method reduced latency by 38% compared to the existing method. Therefore, the proposed method in this paper can be used in large-scale distributed storage systems over a WAN environment to improve latency and performance compared to existing methods, such as consistent hashing.     

基于共享存储池的元数据服务器机群的设计研究

在大型分布式对象存储系统中,元数据服务系统是一个潜在的访问瓶颈.本文提出一种通过分层式文件系统构建共享存储池的采用两次分布式哈希函数方式的元数据服务系统.其具有不需要人工干预的故障恢复性和易扩展特性,而且最大程度减少了MDS之间大量元数据的物理迁移.实验测试证明系统具有良好的I/O性能.     

基于分布存储的嵌入式系统双机备份设计

双机备份是提高设备可靠性的重要手段,本文首先分析了在通用的服务器架构下实现双机备份的两种方案,然后根据嵌入式系统的特点,提出了一种基于分布存储方式的嵌入式系统的双机备份设计方案,并以综合业务交换平台的设计为例介绍了该方案的具体实现.     

对象存储系统的研究

SCSI, ATA/IDE等现有的基于块的存储接口已成为提升存储系统性能、降低存储管理成本的障碍。对象存储技术有望改变现状，成为下一个标准存储接口，使得建立拥有自主管理、数据共享、安全和智能化等特征的存储网络成为可能。该文分析对象存储的特点，设计并实现一个简单的对象存储系统原型，该对象存储系统遵照对象存储的OSD T10标准，由客户端、目标端和IP网络构成，采用iSCSI作为通信协议。读写性能测试分析结果表明，该系统可以满足实际需求。     

去中心化的安全分布式存储系统

提出一种去中心化的安全分布式存储系统。通过公钥加密和单钥加密相结合的方法,提高存储数据的保密性。对每个数据源使用不同的对称密钥进行分布式加密,采用分布式纠删码对加密后的数据进行编码。使用RS多项式编码和List Decoding译码方法存储加密的对称密钥,以保证系统的鲁棒性。分析结果表明,该方案的计算复杂度较低。     

分布式存储系统最小带宽再生码研究

分布式存储系统常常使用纠删码冗余技术提高系统可靠性.为保证一定的冗余度,系统必须具有自修复能力再生失效数据.再生码是纠删码的一种改进形式,最大特点在于无需下载整个数据文件就能恢复单个节点数据,从而有效减少数据修复时的网络带宽.相关文献证明再生码数据修复时存在极值点—最小带宽再生点(MBR),由此提出最小带宽再生码MBRC.文中从数据分布、失效数据修复和数据重构三个方面描述了实现的原理,并通过构建数据矩阵和修复矩阵实现MBRC再生码.利用实例详细给出了再生码的实现过程,并理论证明正确性,最后仿真实验验证了MBRC的有效性.     

基于Peer-to-Peer的分布式存储系统的设计

分布式存储系统是p2p技术的一个重要的研究领域.当前对p2p系统的结构研究已经能够高度有效地控制节点路由次数,人们逐渐转向追求更为实际的路由距离.作为存储应用,分布式系统需要具备综合容错-恢复能力.在分析现有研究的基础上,建立一个接近实际网络节点分布的计算模型,通过已知的节点最优路径情况动态地预测网络真实路径的长度.利用评估算法聚集网络中相近的节点,使得同一分组的节点之间的距离最小化,提供更加合理的路由选择.对于存储的可靠性,提出了节点交叉管理模型和相应的数据迁移算法.这种管理策略及迁移算法的本地性特点显著提高了系统对各种事件的反应能力,保证了系统的可持续性.模拟结果显示,分组为路由选择提供了确实有效的判据,而且可以扩展到更大的规模.     

面向科研领域的分布式对象存储系统

随着科研工作的推进,科研数据出现了海量的增长, PB级科研数据需要高效、稳定的存储系统.传统的数据存储方案存在资源利用率差、集群扩展性能低以及用户界面操作不友好等问题,严重限制了数据在科研场景下的有效利用.依托中科院地球科学大数据专项,本文设计并实现高效的存储系统i-Harbor.该系统以对象存储系统为核心架构,以开源的Ceph分布式存储系统和MongoDB数据库作为对象数据和元数据的存储载体,设计通用的基于HTTP和FTP协议的数据接口,同时利用多副本和纠删码技术消除单点故障,配合Zabbix集群监控系统,实时定位平台参数以及故障,提高平台容灾性和安全性.此外,基于底层分布式结构的特点,集群可以随意添加存储节点,提高了平台的扩展性.