SegEra:一种Erasure Code与分割相结合的P2P存储结构

基于Erasure Code编码冗余存储技术,结合传统的文件分割存储思想,提出称为SegEra的Erasure Code与分割相结合的P2P存储结构.研究了SegEra的文件构成方式和存储结构特性,讨论其所适合的索引化离散数据存储分布架构;然后,从理论上研究了SegEra的P2P存储节点选择的优化方案,并针对P2P存储环境特点设计了与之相适应的简化算法;并通过仿真实验表明SegEra采用简化节点选择算法能够有效的提高存储文件的可用性水平.     

云存储环境下基于分散式服务器的Erasure Code算法

基于单服务器的Erasure Code算法,在网络中存在大量用户访问系统,容易导致系统效率低的问题。为此,提出一种基于分散式服务器的算法,通过对原数据进行分割编码来实现数据块的冗余存储。实验结果表明,该算法能够确保云存储环境下数据的可靠性与保密性,较好地避免单服务器负载过重,同时提高了系统的吞吐量和资源利用率。     

网络环境下基于Erasure Codes的高可靠性存储体系设计*

设计了一种基于Erasure Codes的网络环境下的分布式文件存储系统。初步的实验结果证明这种存储体系可以较好地解决人们当前所面临的文件存储的可靠性、安全性等问题。     

结合隐式元数据和List IO的并行文件系统

并行文件系统中的文件数据与元数据分离管理和分离存储使得系统复杂性上升,可靠性下降,采用将两种数据结合的隐式的元数据管理与存储则可以避免上述问题,而且可以获得元数据的并行服务能力,将Expand隐式元数据管理的简单可靠及元数据并发服务和PVFS高效的ListI/O非连续数据访问的能力相结合,可以同时获得两者的优点。     

文件秒传系统在云存储环境下的设计与实现

针对云存储环境下用户数据上传速度慢的问题,设计一个文件秒传系统FSTS(File Second Transmission System)。该系统基于云存储服务器充足的数据资源,建立元数据资源库,通过将文件设计为资源共享的方式实现数据秒传,元数据资源库将云存储服务器上的数据通过唯一标识数据内容的字段组织起来,以此来保证该资源库中没有重复的数据。用户在上传数据到云存储服务器时,如果该数据的唯一标识已经存在于元数据资源库,那么只需要增加该记录的引用计数即可完成用户数据的上传,而无需通过网络传输数据的任何内容,即实现了文件的逻辑上传,并且保证了对数据的后续操作都是正常的。实验结果表明,该文件秒传系统可以很好地提高数据的上传速度以及提高云存储服务器存储空间的利用率,该方案在云存储环境下是可行的、有效的。     

掉电中断的嵌入式设备高可靠存储方案

嵌入式设备通常基于Flash存储器和TFFS文件系统构建数据存储方案,本文针对其存储性能和可靠性问题,提出了一种基于掉电中断的数据存储优化方案。该方案将频繁变化的数据缓存于内存中,仅在设备下电时将缓存数据写入文件,最大程度降低Flash擦写次数,避免设备掉电引起文件系统元数据不一致导致无法访问文件的可能,提高了设备存储可靠性,延长了Flash芯片使用寿命。     

一种服务端驱动的无锁的文件元数据操作方法

当前的大规模存储系统提供大量的聚合I/O带宽,但并没有实现高度的元数据扩展性以管理分布于成千上万存储节点之上的文件。本文提出服务端驱动的无锁元数据操作来改进文件元数据操作的扩展性。服务端驱动技术简化了一致性维护,无锁技术既避免了资源冲突,又增进了元数据操作的并行性。实现了文件创建、删除操作。实验结果表明,该方法能显著提高系统的性能和扩展性。     

支持分布式存储删冗的相似文件元数据集合索引

分布式存储技术因其良好的可扩展性、高性价比在当前云存储系统和企业存储中心得到广泛应用.在分布式存储系统中进行内嵌删冗可以有效降低系统存储开销,提高数据存取效率,实现内嵌删冗的关键在于高性能和可扩展的元数据索引方法.该方法应确保删冗操作不影响存储性能.通过分析影响索引性能的关键因素,提出一种分布式相似文件元数据集合索引的构建方法.该方法使用位置敏感Hash函数,将具有相同数据片的相似文件元数据组成集合并建立索引,使一个文件所有数据片元数据检索只需要访问一次外存,有效提高元数据检索效率.并且所生成的索引具有良好可扩展性和很小的内存开销,适合在采用分布式存储结构的云存储系统或者企业存储系统中进行应用.     

基于CDN和P2P的分布式网络存储系统

把用户的文件分片后均衡存储在不同的分布式存储节点上,并利用虚拟目录服务器和基于P2P—DHT的目录服务器把文件元数据与文件数据片高效地对应起来,以提供高效目录服务,分布式存储节点以P2P方式工作以快速完成用户对文件数据的请求任务。分布式网络存储系统DNSS充分利用了CDN和P2P的技术优势,有较高的可用性、可靠性和可扩展性。DNSS已经在中国科学技术大学应用。     

一种基于HDFS的远程文件备份系统的设计和实现

针对传统远程文件备份系统,备份数据存储在单节点服务器存在的存储空间受限、多用户情况下的读写性能以及备份数据单副本问题,提出了一种基于HDFS的远程文件备份系统的设计方案。将用户的备份数据分布式存储于多台不同的数据存储服务器,元数据存储在单独的控制服务器。该存储架构可以有效解决单存储服务器存储空间受限的问题,改善面对多用户并发读性能问题,提供了文件多副本存储策略,并且该系统增强了备份文件存储的安全性。     

基于数据挖掘的文件元数据预取探究

在文件存储系统中,文件系统整体性能的提升对于保证文件的安全性和可靠性具有重要意义,而在此过程中,元数据访问性能与文件系统性能有密切关系,要想进一步满足大规模文件存储系统需要,就必须建立相应的文件元数据预取模型。本文通过对基于数据挖掘的文件元数据预取进行分析,以期满足文件数据的大量存取访问需求。     

纯用户态的网络文件系统——RUFS

针对在使用高速存储硬件时常规网络文件系统会被软件开销影响整体性能的问题，提出了利用存储性能开发套件（SPDK）搭建文件系统的方法，并在此基础上实现了一个网络文件系统RUFS的原型。该系统通过键值存储模拟文件系统的目录树结构以及对文件系统的元数据进行管理，通过SPDK存储文件的内容。另外，利用远程直接内存访问（RDMA）技术对外提供文件系统服务。RUFS相较于NFS+ext4，在4 KB随机访问上，读写吞吐性能分别提高了202.2%和738.9%，读写平均延迟分别降低了74.4%和97.2%；在4 MB顺序访问上，读写吞吐性能分别提高了153.1%和44.0%。在大部分元数据操作上，RUFS相比NFS+ext4也有显著优势，特别是文件夹创建操作，RUFS的吞吐性能提高了约5 693.8%。该系统能够充分发挥高速网络和高速存储设备的性能优势，为用户提供延时更低、吞吐性能更好的文件系统服务。     

纯用户态的网络文件系统——RUFS

针对在使用高速存储硬件时常规网络文件系统会被软件开销影响整体性能的问题,提出了利用存储性能开发套件（SPDK）搭建文件系统的方法,并在此基础上实现了一个网络文件系统RUFS的原型。该系统通过键值存储模拟文件系统的目录树结构以及对文件系统的元数据进行管理,通过SPDK存储文件的内容。另外,利用远程直接内存访问（RDMA）技术对外提供文件系统服务。RUFS相较于NFS+ext4,在4 KB随机访问上,读写吞吐性能分别提高了202.2%和738.9%,读写平均延迟分别降低了74.4%和97.2%;在4 MB顺序访问上,读写吞吐性能分别提高了153.1%和44.0%。在大部分元数据操作上,RUFS相比NFS+ext4也有显著优势,特别是文件夹创建操作,RUFS的吞吐性能提高了约5 693.8%。该系统能够充分发挥高速网络和高速存储设备的性能优势,为用户提供延时更低、吞吐性能更好的文件系统服务。     

云文件系统中纠删码技术的研究与实现

云文件系统凭借高性能、高扩展、高可用、易管理等特点,成为云存储和大数据的基础和核心。云文件系统一般采用完全副本技术来提升容错能力,提高数据资源的使用效率和系统性能。但完全副本的存储开销随着副本数目的增加呈线性增长,存储副本时造成额外的写带宽和数据管理开销。纠删码在没有增加过量的存储空间的基础上,通过合理的冗余编码来保证数据的高可靠性和可用性。研究了纠删码技术在云文件系统中的应用,从纠删码类型、编码对象、编码时机、数据更改、数据访问方式和数据访问性能等六个方面,对云文件系统中纠删码的设计进行了探究,以增强云文件系统的存储模型。在此基础上,设计并实现了纠删码原型系统,并通过实验证明了纠删码能有效地保障云文件系统的数据可用性,并且节省存储空间。     

一种面向数据可用性和存储可靠性动态要求的自适应纠删码存储策略设计

为了满足指数级增长的大数据存储需求,现代的分布式存储系统需要提供大容量的存储空间以及快速的存储服务.因此在主流的分布式存储系统中,均应用了纠删码技术以节约数据中心的磁盘成本,保证数据的可靠性,并且满足应用程序和客户端的快速存储需求.在实际应用中数据往往重要程度并不相同,对数据可用性要求不一,且不同磁盘的故障率和可靠性动态不一的特点,对于传统RAID存储方式包括基于纠删码的存储系统提出了新的挑战.本文提出了一种面向数据可用性和磁盘可靠性动态要求的灵活自适应纠删码存储设计On-demand ARECS(On-demand Availability and Reliability Oriented Adaptive Erasure Coded Storage System),根据存储后端数据可用性和磁盘可靠性的多个维度进行设计,综合确定纠删码编码策略和存储节点选择,从而减少存储冗余度和存储延迟,同时提高数据可用性和存储可靠性.我们在Tahoe-LAFS开源分布式文件系统中进行了实验,实验结果验证了我们的理论分析,在保证具有多样性要求的数据可用性和磁盘可靠性的前提下,明显减少了数据冗余度和存储延迟.     

分布式异构存储网络安全技术的研究

分布式存储网络增加了系统的高可用性、高扩展性以及高性能等优点的同时,也给系统造成了更多的安全隐患。通过设计一种内核态的加密文件系统,并结合研究的存储代理、异构文件系统服务、元数据管理等技术,该文提出了一种新的异构存储网络安全架构,该方法解决了传统技术不能很好解决分布式环境安全的弊病。实验表明,采用加密后的文件系统给系统性能带来的性能开销很小,证明了这种内核态的安全技术可以很好地应用于分布式网络环境中。     

小规模集群文件系统中两级元数据服务器的设计与实现

在集群文件系统中,元数据服务器是整个系统正常运转的核心,它的可靠性和性能是设计系统时需要着重考虑的问题之一.本文设计了一个具有高可靠性、高性能的两级元数据服务器系统,兼顾了集中式元数据管理和分布式元数据管理的优点.系统中高级元数据服务器负责维护文件系统全局的目录结构和管理整个文件系统的命名空间,双元数据服务器负责维护文件元数据的分布信息,并采用了马尔可夫回报模型对两级元数据服务器系统进行了可靠性分析.实验数据表明,具有两级元数据服务器的集群文件系统能提供高吞吐量.     

基于扩展属性的元数据管理算法

元数据的管理效率对大规模存储系统性能具有重要影响.在深入研究现有元数据管理算法的基础上,提出了一种基于扩展元数据属性的元数据分布算法.该算法通过对文件系统中目录进行编码并将编码作为Hash键值,有效解决了文件重命名导致的数据迁移问题,通过使用标志位,有效地解决了目前文件系统目录删除操作中使用递归遍历方式的低效问题,提升了大规模存储系统的元数据管理效率.