HANDY:一种具有动态扩展性的集群文件系统

针对当前集群文件系统只支持静态扩展、不提供高可用性等问题，提出一种基于全局哈希表的动态扩展协议-GHT．利用该协议实现一种支持节点动态扩展的集群文件系统HANDY，重点阐述了协议的设计、算法和理论分析．实验数据证明．HANDY集群文件系统具有良好的动态扩展性和可用性，减小系统的管理和维护开销．     

异构分布式文件系统GSHDFS名字服务的设计与实现

名字服务是异构分布式文件系统的核心部分．在参阅国内外众多分布式文件系统的基础上，提出一种新的命名方案──输出共享方式，在保留原文件系统命名语法的前题下，将本地文件系统与远程文件系统有机地结合起来，并采用混和的分布方式实现了名字服务员，达到了位置透明性要求．     

Grid VFS中代理管理客户端磁盘缓存的设计与实现

设计并实现了在网格虚拟文件系统Grid VFS客户端采用代理管理磁盘缓存来隐藏网络延迟，提高网格数据利用率。此方法扩展了虚拟化分布式文件系统，提高了对网格资源有效完整的数据访问。在Grid VFS中，客户端代理动态地产生和管理磁盘缓存，每一个未修改的应用程序和OS都能应用，支持write-back策略、文件系统之间缓存的共享以及磁盘缓存的多级化，通过用户级VFS可以完整的集成到网格应用程序和资源中，从而提高了网格数据的访问性能。     

基于微核心的文件系统服务器虚拟文件子系统

S5FS与UFS是两个互不兼容的UNIX文件系统,基于Vnode的文件系统体系结构使得一个文件系统可同时支持多种文件系统类型，如S5FS和UFS本文介绍了Vnode界面和国家“八五”高科技攻关项目中一个虚拟文件子系统的实现．     

一种分布式文件系统—HDFS

随着互联网数据规模呈剧增趋势,在需要存储文件的时候就要求文件系统具有更大的容量、更好的性能以及更高的安全性.因为HDFS分布式文件系统通过网络相连存在着大量的节点(用于存储元数据及文件数据),这使得HDFS分布式文件系统的设计实现的难度和复杂度增大.针对这些问题重点研究HDFS分布式文件系统的系统架构及文件读写过程.     

分布式文件系统

文件系统是计算机系统重要的组成部分，随着网络技术的发展，独立平台上的文件系统有向局域网和广域网上发展的趋势，逐渐形成分布式计算机环境中的一个支撑技术──分布式文件系统。本文首先叙述分布式文件系统的基本概念，发展历史以及几个成熟的分布式文件系统，然后介绍一下支持分布式文件系统的关键技术─—虚拟文件系统、高速缓存技术以及所需的通讯技术。     

SAN环境下高可用性备份方案的研究和设计

SAN存储的优点是实现海量数据的高可用性、安全性和存储的高性能,SAN的应用需要在软件中解决存储与服务器文件系统的同步备份控制和联动问题。基于SAN存储的两种备份方案,围绕高可用性的系统要求,提出了在SAN环境下文件系统级的高可用性数据备份方案。     

面向QEMU的分布式块存储系统的设计与实现

计算系统虚拟化是当前的主流趋势,然而为虚拟机磁盘提供存储的现有后端系统常直接沿袭分布式文件系统的设计,导致一系列虚拟磁盘I/O场景下不必要的开销。提出的COMET系统,是一个面向QEMU的分布式块存储系统。它基于Proactor模式,针对虚拟磁盘I/O特性扬弃文件系统的语义并在数据读写与一致性等方面采用精简合理的设计,尽可能缩短I/O路径,在具备线性扩展能力、高可用性的同时,实现了写时复制的磁盘快照和写时复制的磁盘克隆等创新功能。测试数据表明,COMET在部分I/O场景下拥有足以媲关乃至超越成熟开源系统的性能。     

一种面向分布式文件系统的文件预取模型的设计与实现

如何为上层应用和计算提供稳定高效的文件I/O性能,是分布式文件系统性能研究的热点。文中分析分布式文件系统在设计机理上的共同特征,基于此提出一种通用型的启发式文件预取模型,并选取HDFS平台进行系统实现。启发式文件预取对上层应用透明,采用在文件系统内部建立预取线程池的方法,以组成文件块的数据存储文件为预取单位,在分布式文件系统内部实现。这种设计思路具有一定的普适性,适合推广应用于多种分布式文件系统。实验结果表明,所述的启发式文件预取,能够有效提升分布式文件系统的I/O性能。     

基于哈希规则的分布式文件系统的设计与实现

随着全球数据量猛增,分布式文件系统逐渐成为存储技术的研究重点.文章设计与实现了基于哈希规则的分布式文件系统,它是一个可扩展的集群文件系统,并提供了一个具有两层结构哈希规则,规则为客户端提供了文件定位服务,其伪随机性也将文件均匀的分布到了不同的服务器中,起到了一定的负载均衡的作用;系统中采用桶来管理文件元数据与文件数据,桶的独立性与灵活性使得桶便于迁移,增加了系统的可扩展性;系统中同时采用了Lazy机制来达成系统性能与文件副本可用性之间的平衡.文中首先介绍了系统的整体架构,然后描述了系统中采用的关键技术与系统典型流程,最后,对系统的性能进行的测试证明了其高效性.     

基于Linux的集群文件系统CSFS的实现

传统的分布式文件系统无法为集群系统提供严格的单一映像功能(SSI)，使得集群系统的管理较为复杂。基于Linux的集群文件系统CSFS(Cluster Single File System)，提供单一映像功能，有效地解决了这一问题。通过对Linux虚拟文件系统(VFS)特点的分析，在VFS上添加文件系统CSFS，提高了集群系统的可用性和可管理性。     

集群流媒体文件系统MFS设计与实现

文章描述了WanLan集群视频服务器上的集群流媒体文件系统(MFS)的设计与实现。MFS是一种支持MPEG文件格式的分布式流媒体文件系统，它由MFS的客户端、管理节点、数据节点以及元数据服务节点组成。MFS流媒体集群文件系统实现了单一系统的逻辑映像、数据和元数据的高可用以及系统自动配置。     

一种面向分布构件集群系统的配置管理模型

分布构件技术是一种面向三层计算结构业务逻辑中间层的分布计算技术。分布构件集群系统,在分布构件基础之上,面向企业计算需求,提供了更好的可用性和更高的性能。文章研究分布构件集群系统的构造及配置管理内容;通过给出分布构件集群系统的配置管理模型,定义相关的配置管理关系和配置管理数据,使得能够在统一的管理视图上对分布构件集群系统及内部所安装部署的分布构件进行有效的管理。该模型是分布构件集群系统在运行时刻支持高可用和高性能的基础。     

Scalable, secure, and highly available distributed file access

A summary of and historical perspective on work done to implement easy-to-share distributed file systems based on the Unix model are presented. Andrew and Coda are distributed Unix file systems that embody many of the recent advances in solving the problem of data sharing in large, physically dispersed workstation environments. The Andrew architecture is presented, the scalability and security of the system are discussed. The Coda system is examined, with emphasis on its high availability     

Granary: A sharing oriented distributed storage system

Up to now, more and more people use Internet storage services as a new way of sharing. File sharing by a distributed storage system is quite different from a specific sharing application like BitTorrent. And as large file sharing becomes popular, the data transmission rate takes the place of the response delay to be the major factor influencing user experience. We present the design and implementation of a distributed storage system named as Granary in this paper, which provides reliable data storage and sharing service to cyber users. Granary uses a specific DHT(Distributed Hash Table) layer to store file meta-data and employs a raw data storage scheme to scatter large data. We introduce its adaptive DHT recovery algorithm in this paper which assures the availability and consistency of meta-data with small bandwidth consumption and improved throughout. The replication strategies which are used to accelerate file sharing with low bandwidth consumptions are further discussed. Experimental results show that these methods offer a reliable and efficient data storage and sharing speed with network bandwidth costs less than conventional policies.     

并行文件系统集中式元数据管理高可用系统设计

本文针对并行文件系统集中式元数据管理存在单一失效点的问题，设计了一种双元服务器高可用系统。通过元数据镜像生成冗余副本，保证了元数据的可靠性；通过故障屏蔽，实现了对客户端的连续服务。所有功能都是用内核模块来实现，因此对用户是完全透明的。最后，本文阐述了各个模块的实现，并对该系统进行了可靠性分析。     

A dual-direction technique for fast file downloads with dynamic load balancing in the Cloud

File downloads make up a large percentage of the Internet traffic to satisfy various clients using distributed environments for their Cloud, Grid and Internet applications. In particular, the Cloud has become a popular data storage provider and users (individuals and corporates) are relying heavily on it to keep their data. Furthermore, most cloud data servers replicate their data storage infrastructures and servers at various sites to meet the overall high demands of their clients and increase availability. However, most of them do not use that replication to enhance the download performance per client. To make use of this redundancy and to enhance the download speed, we introduce a fast and efficient concurrent technique for downloading large files from replicated Cloud data servers and traditional FTP servers as well. The technique, DDFTP utilizes the availability of replicated files on distributed servers to enhance file download times through concurrent downloads of file blocks from opposite directions in the files. DDFTP does not require coordination between the servers and relies on the in-order and reliability features of TCP to provide fast file downloads. In addition, DDFTP offers efficient load balancing among multiple heterogeneous data servers with minimal overhead. As a result, we can maximize network utilization while maintaining efficient load balancing on dynamic environments where resources, current loads and operational properties vary dynamically. We implemented and evaluated DDFTP and experimentally demonstrated considerable performance gains for file downloads compared to other concurrent/parallel file/data download models.     

一种可扩展机群文件系统的设计与实现

介绍了可扩展机群文件系统TH-CluFS的设计与实现．TH-CluFS基于共享文件模型，采用无服务器的对等体系结构．同时，为了有效利用杌群系统累积的资源，TH-CluFS采用了复制与分布相结合的元数据分布管理策略、文件粒度的数据分布存储机制，以及一种茚治的I／O负载平衡方法．实验结果表明，TH-C1uFS很好地统一了机群文件系统在单一系统映像、高性能以及可扩展性等方面的需求．     

基于MooseFS的纠错码存储方法设计和实现

在云存储技术中,云存储系统的数据容错十分重要,直接关系到整个系统的可用性。当前多数分布式存储系统通过多副本来保证数据的可用性,然而,多副本存储方式也使得数据存储空间翻倍增加,为了降低存储空间,提高数据可用性,有些分布式存储系统开始采用纠错码技术来提高数据可用性和降低数据存储空间占用。通过对MooseFS分布式文件系统进行分析,提出了一种基于MooseFS的纠错码实现方法。通过数据存储效率测试,该方法能够保证常用的“热数据”按照多副本存储,不常用的“冷数据”按照纠错码方式存储,在保证可靠性的同时极大地降低了多副本方式空间占用量。