基于Peer-to-Peer的分布式文件共享系统的研究与设计

文件共享系统是P2P技术的一个重要研究领域．当前对P2P系统的结构研究已从路由次数的有效控制逐渐转向追求更为实际的时间距离．为此，本文提出了多决策队列路由模型，以期在减低宽带消耗的同时，加快传输速率，并采用分时宽带独享的P2P传输方式，既获得低网络延时．又确保了系统平衡负载的实现．     

基于P2P的关键字路由分布式存储系统设计

在P2P的基础上采用了Server-to-Server的模型,各个Server之间完全对等,通过路由关系连接起来,提出一种基于P2P的分布式存储平台的实现框架和基于关键字路由算法的系统模型,实现了跨网段的资源共享与存储,并通过冗余备份,提高系统的容错性.     

基于RS和Chord的分布式存储系统的设计

文章首先分析并实现了基于Vander monde矩阵的RS算法.接着本文提出并初步实现了一种基于RS编码算法和Chord协议的分布式存储系统,详细分析了系统的关键技术:Chord协议在分布式存储中的应用.最后本文介绍了系统的体系结构并进行了性能分析.     

基于NAS的非结构化数据分布式存储系统设计

随着气象事业发展,非结构化数据海量增长,针对传统非分布式、直联式存储方式支撑能力受限问题及对存储系统需要支持大容量、集中管理、高可扩展性、高可靠性的新需求出发,利用网络附加存储,采用分布式架构、堆叠组网冗余和纠删码冗余保护机制、运用NFS、CIFS、FTP等协议,搭建一个分布式架构集群存储系统,通过分布式文件系统对外提供统一网络存储空间,通过CIFS、NFS、FTP三种方式实现文件共享。解决旧系统存储能力不足、动态扩展性差、效率不高、可靠性和安全性低的问题,进一步提升重庆气象数据云平台基础支撑能力。     

基于RDMA的分布式存储系统研究综述

远程直接内存访问(remote direct memory access, RDMA)技术正在大数据领域被越来越广泛地应用,它支持在对方主机CPU不参与的情况下远程读写异地内存,并提供高带宽、高吞吐和低延迟的数据传输特性,从而大幅提升分布式存储系统的性能,因此基于RDMA的分布式存储系统将为满足大数据高时效处理和存储带来新的机遇.首先分析了基于RDMA的分布式存储系统简单替换网络传输模块并不能充分发挥RDMA在语义和性能上的优势的原因,并指出存储系统架构需要变革的因素.然后阐述了高效运用RDMA技术主要取决于2个方面：第1方面是硬件资源的高效管理,包括网卡缓存和CPU缓存的合理利用、多核CPU的并行加速以及内存资源管理等;第2方面是软硬件的紧耦合设计,借助RDMA在语义和性能上的特性,重构新型数据组织和索引方式、优化分布式协议等.同时,以分布式文件系统、分布式键值存储和分布式事务系统为典型应用场景,分别阐述了它们在硬件资源管理和软件重构这2个方面的相关研究.最后,给出了总结和展望.     

基于X Code和RS Code的二维分布式存储系统

随着分布式存储技术的发展,网络数据存储的安全性问题成为计算机领域研究的热点.在分析了基于X Code和RS Code技术的分布式存储系统的基础上,为进一步增强数据系统容错能力提出了一种改进的二维分布式存储系统.该系统将数据服务器中的数据块组织成具有行列坐标的两维实体,在列上将RS Code和X Code两种编码方法综合运用产生校验信息,在行上实行基于异或运算的校验.实验表明经改进的系统较采用RS Code技术的系统减少了数据恢复时间,较采用X Code技术的系统增加了容错数量,从而在整体上提高了系统容错效率.     

去中心化的安全分布式存储系统

提出一种去中心化的安全分布式存储系统。通过公钥加密和单钥加密相结合的方法,提高存储数据的保密性。对每个数据源使用不同的对称密钥进行分布式加密,采用分布式纠删码对加密后的数据进行编码。使用RS多项式编码和List Decoding译码方法存储加密的对称密钥,以保证系统的鲁棒性。分析结果表明,该方案的计算复杂度较低。     

基于虚拟化与分布式技术的存储系统

介绍了一套基于云计算(cloud computing)技术的数据应用平台系统设计方案。该系统由多组服务器集群组成,可提供数据存储、备份和并行运算服务。并可采用虚拟化应用端与分布式(Hadoop)技术相结合的方式为用户提供高容量和异构应用存储系统,以便结合iSCSI协议在硬件层获得更灵活的部署。     

基于Hash函数的分布式路由算法

随着Internet的发展,路由器成为了网络性能的瓶颈。路由算法的效率和鲁棒性成为网络研究领域的热点之一。分布式系统采用并行运行,避免了单点故障。本文提出的分布式路由器使用IP做为任务分配粒度,利用Hash算法实现负载均衡。改进了基于心跳和检测点的故障检测机制,在较低的系统开销下缩短了系统检测的响应时间。仿真试验的结果表明,该机制可行且高效。     

基于服务成本和对用户价值的分布式存储系统机制设计

分布式系统可以被视为一个连接许多代理的网络。在传统的分布式系统中,代理们被假定为是服从性的,即他们遵循一定的算法。但是当许多计算机联结成为一个分布式系统时,系统的各个组成部分会有不同的利益关系。这样的分布式系统就可能是策略性的,即系统的不同部分有自己不同的动因。在一个策略性分布式系统中,策略性代理根据各自的利益作出反应。当每个理性而自私的代理只关心自己的私利时,动因问题就成为一个亟待解决的重要问题。在传统的机制设计中,人们通常只考虑每个用户愿意支付的价格。研究基于服务成本和对用户价值的分布式存储系统中的动因问题,考虑在单个用户、多个存储节点提供服务的场景下,设计相应的机制保证系统在每个节点Selfish的情况下仍能正常运行。     

一种对等式存储系统的设计与实现

一方面信息量的爆炸式增长对传统的存储模型提出了严峻挑战,另一方面宽带广泛普及、计算机性能大幅度提升,在此背景下,以Pber-to-Peer的方式对存储资源进行管理成为可能。提出了系统的体系结构和模块组织,重点探讨存储资源的发布与发现以及数据的存取与维护,通过覆盖网的路由和定位机制均衡存储管理负载,通过数据分片与剐本机制增加系统可靠性,并对系统的设计与实现要点进行分析。结果表明对等式存储系统是可行的。     

基于数据块的对等存储系统的设计与实现

对等存储系统把分散在不同主机的零碎存储空间集合成一个统一的存储空间,每个主机处于相等的地位,且没有服务器进行统一管理。本文介绍了由华中科技大学信息存储系统实验室研制的对等存储系统,并对其系统结构、工作原理、扩展性、容错性等方面的设计与实现进行了详细的分析。     

自适应分布式存储系统设计

在综合考虑Repstore、UrsaMinor、Tdage这几种存储系统优缺点的基础上,本文提出一种自适应控制分布式存储架构原型ACOSS。此架构在存储系统轻载时,可以按照应用优先级来分配磁盘I／O带宽,重栽或过载时可以在线更改存储设备上应用数据分布,减轻热点对象的I／O负担,保证存储系统的服务质量。     

基于分布存储的嵌入式系统双机备份设计

双机备份是提高设备可靠性的重要手段,本文首先分析了在通用的服务器架构下实现双机备份的两种方案,然后根据嵌入式系统的特点,提出了一种基于分布存储方式的嵌入式系统的双机备份设计方案,并以综合业务交换平台的设计为例介绍了该方案的具体实现.     

基于存储结构重配置的分布式存储系统节能算法

作为云计算底层核心基础设施,分布式数据存储系统是各种云计算服务的基础,是云计算重要的组成部分.然而随着系统规模的不断扩大以及设计时对能耗因素的忽略使其暴露出高能耗问题.由于存在数据可用性要求,使其并不能简单采用已有节能技术解决能耗问题,保证数据可用性成为设计分布式存储系统节能算法的前提.对系统与数据的可用性进行了建模,并通过对存储结构与机制、节点状态与数据块可用性之间的关系的研究提出构造数据块可用性度量矩阵解决数据可用性完全覆盖问题.定义了分布式存储系统的节能模型,将RACK划分为Active-Zone与Sleep-Zone两个存储区域,根据不同数据的访问频率与规律计算活动因子以配置数据的存储区域,通过数据中心负载规律适时对Sleep-Zone区域中的服务器进行休眠处理以达到节能的目的.实验结果表明:算法在适应数据访问规律与可用性保证前提下,能够提高分布式存储系统的能耗利用率,并且当系统负载与数据平均活动因子越低时算法节能效率越高.     

分布式存储系统的故障检测自适应算法

为建立分布式存储系统中高效可靠的故障检测机制,提出一种基于混合状态的捎带故障检测自适应算法——MSP-AFD。建立面向分布式存储系统的故障检测框架,基于负载预测的方式计算检测时延,自适应调整超时参数。实验结果表明,MSP-AFD算法的故障检测性能较优。     

面向科研领域的分布式对象存储系统

随着科研工作的推进,科研数据出现了海量的增长, PB级科研数据需要高效、稳定的存储系统.传统的数据存储方案存在资源利用率差、集群扩展性能低以及用户界面操作不友好等问题,严重限制了数据在科研场景下的有效利用.依托中科院地球科学大数据专项,本文设计并实现高效的存储系统i-Harbor.该系统以对象存储系统为核心架构,以开源的Ceph分布式存储系统和MongoDB数据库作为对象数据和元数据的存储载体,设计通用的基于HTTP和FTP协议的数据接口,同时利用多副本和纠删码技术消除单点故障,配合Zabbix集群监控系统,实时定位平台参数以及故障,提高平台容灾性和安全性.此外,基于底层分布式结构的特点,集群可以随意添加存储节点,提高了平台的扩展性.     

对等结构的分布式存储系统设计与研究

随着计算机技术与网络技术的快速发展,网络分布式存储逐渐成为存储技术研究的重点。文章设计并实现了对等结构的分布式存储系统—NDSS,它可以提供大容量、高性能、高可靠性与灵活扩展的存储服务。介绍了NDSS的系统结构、工作原理与关键技术,并提供了对系统访问性能的实验测试结果。     

分布式存储方案的设计与研究

针对基于纠删码的分布式存储方法中信息分割算法IDA在运算中涉及构造拆分矩阵,计算开销大,且单纯基于纠删码的方案无法确保所存储数据的完整性、机密性等特性,只能够容忍系统中存在的良性故障,无法容忍入侵者的恶意入侵。提出了分布式系统中一种基于Tornado码的浏览器-服务器工作模式的数据存储方案。在数据写入过程中通过构造编码后数据分块的Hash值级联（即数字指纹）,并与每个数据分块一起分布在存储服务器集中的不同服务器中,当需要读出时对分块及数据指纹进行验证,然后利用Tornado译码方法恢复原始文件,即可实现Byzantine环境数据的完整性保护,并提高了系统的容错能力。