蓝鲸分布式文件系统的物理资源管理模型

蓝鲸分布式文件系统可以管理数百个存储节点，向上千个应用服务器提供远程文件访问服务，提供超大规模的系统容量。其物理资源管理模型能有效地管理分布的存储资源，形成统一的地址空间，动态分配各种资源，缩短查找和跟踪路径。此模型为整个蓝鲸分布式文件系统提供了统一的资源管理机制，是文件系统并发访问的基础。     

蓝鲸分布式文件系统的分布式分层资源管理模型

为了高效地管理海量分布式存储资源,蓝鲸分布式文件系统抛弃了传统的集中式资源管理方式,实现了分布式分层资源管理模型.该模型可以管理多个存储服务器,还能支持多个元数据服务器组成的集群进行分布式元数据处理,支持各种元数据和数据的负载平衡策略.同时,该模型中的带外数据传输功能克服了系统的性能瓶颈,提高了系统支持并发访问的能力.理论分析和实际测试结果都表明此模型能够满足多种不同的需求,提供很好的性能和良好的扩展性.     

采用信任管理的分布式文件系统TrustFs

在传统的分布式文件系统中用户无法判断文件的可信任性,针对此问题提出采用信任管理的分布式文件系统TrustFs,使用数字签名对文件的发布者进行认证,通过信任管理技术评估发布者的可信任度,从而达到帮助用户识别不安全文件的目的。TrustFs使用可堆叠文件系统的技术实现,可以移植到所有的Unix系统,并具有良好的扩展性。     

蓝鲸分布式文件系统的客户端元数据缓存模型

在蓝鲸分布式文件系统中,客户端的所有元数据操作都是通过远程过程调用由元数据服务器完成,所有数据读写都是直接与存储服务器交换完成的.由于通信延迟,在客户端进行频繁数据读写时,元数据信息交换影响了整个系统的性能.我们设计了一种在客户端尽量缓存文件元数据信息的模型,有效地减少了元数据通信,缩短了整个读写过程的延迟,极大地提高了蓝鲸分布式文件系统的性能.     

基于网络软RAID的分布式文件系统的设计与实现

随着计算机技术与网络技术的快速发展,网络分布式存储逐渐成为存储技术研究的重点。分布式文件系统作为分布式存储系统中数据的管理者,为不同节点上的用户提供了对底层存储系统的文件访问接口。文章设计与实现了基于网络软RAID的分布式文件系统,并对系统的设计思想、总体结构和技术要点进行了详细介绍。     

分布式文件系统中的负载平衡技术

I／O，特别是存储系统成为了计算机系统结构的核心，因而用于组织存储内容并提供使用接口的文件系统中的负载平衡研究也成为提高整个系统性能和可扩展性的重要组成部分。在分析现有文件系统负载平衡技术的优缺点的基础上，提出了一种动态的负载平衡技术，并给出此技术的实现方案和可行性分析。     

分布式文件系统NTFS概述

NTFS(New Technology File System)是Windows NT操作环境和Windows NT高级服务器网络操作系统环境下的文件系统.文件系统是操作系统用于明确磁盘或分区上的文件的方法和数据结构,是在磁盘上组织文件的方法,同时也指用于存储文件的磁盘或分区,或文件系统种类.     

一种优化分布式文件系统的文件合并策略

分布式文件系统的性能对整个分布式系统的性能有着重要的影响,以Hadoop分布式文件系统(HDFS)为研究目标,针对HDFS处理小文件数据性能差的问题,分析存在的问题,提出一种新的文件合并策略,优化系统I/0性能.实现结果表明这种合并策略能有效提高分布式文件系统的性能.     

LOCUS分布式文件系统

分布式计算机系统在多个小型、微型计算机和大型计算机之间进行耦合而显示出的优越性已经引起计算机界的广泛重视。美国加州大学在七十年代末期开始进行这方面的研究,相隔数年后,LOCUS计算有限公司开始了所谓LOCUS分布式系统结构的研究。该结构的特点     

曙光星云分布式文件系统:海量小文件存取

随着互联网应用的发展和云计算的兴起,在线图片、音频、视频以及微博等服务逐渐广泛发展,这些应用展示了与传统应用截然不同的数据访问和存储模式.数据中心内每秒钟都有大量较小文件的生成、分析和返回,这些应用对高并发海量文件的高吞吐、低延迟读写提出了新的挑战.提出基于分布式表存储的全新的分布式文件系统HVFS来管理数以十亿计的文件,并同时支持高吞吐和低延迟的文件访问.HVFS通过改进分布式可扩展哈希来管理元数据、日志结构的格式和列存储来利用时空局部性.本文描述了HVFS的设计和实现并进行了中等规模的实验.实验显示HVFS的表存储结构能够线性的扩展,并在82个结点上提供超过240,000次/秒、100,000次/秒的数据(<1KB)写和读;基于FUSE的实现在32个节点上提供超过180,000个/秒的文件创建速度.     

广域存储虚拟化系统的文件访问

广域存储虚拟化所要解决的一个问题是如何实现对分布的文件进行方便高效的访问。本文在分析了几种常见的文件系统后，针对广域存储虚拟化系统的特征，设计了客户端的文件访问模式，并实现了一套应用于该系统的文件访问接口，使用户能够像使用本地系统一样使用广域存储虚拟化系统的存储资源。     

蓝鲸分布式文件系统元数据服务

文件系统元数据请求占据了所有请求50%以上的比例,文件系统元数据服务对整个文件系统有着重要的影响。该文介绍了蓝鲸分布式文件系统的元数据服务器集群(BWMMS)的设计方法。BWMMS通过高扩展的系统结构和简单灵活的元数据请求处理协议,完成元数据服务的协同处理过程。初步评估表明,BWMMS的元数据管理机制能够提供较好的元数据处理性能,具有较高的扩展能力。     

基于合并控制消息的分布式文件系统优化机制

目前将控制消息通信与数据通信分离能大大提高分布式文件系统的性能,但大量的控制消息通信仍然是影响分布式文件系统性能的重要因素.在分析pNFS中控制消息通信协议的基础上,基于操作语义,提出一种基于合并RPC的控制消息通信协议,通过减少控制消息通信的数量,达到提高分布式文件系统读写性能的目的;并在pNFS-2.6.33的基础上实现一个原型系统,使用Filebench以及多种负载数据集进行了测试与分析,实验结果显示在文件大小达到2GB以上时读写性能比之前提高了约5％.     

分布式文件存储系统性能测试问题研究

分布式文件存储系统的性能测试不同于普通的文件系统性能测试。首先,需要根据系统支持的操作确定测试的benchmark,然后,需要根据系统的设计规模对多用户并发访问系统的情形进行模拟。在“燕星”分布式文件存储系统的性能测试中,对Andrewbenchmark进行改造,确定了测试的benchmark;基于RMIcallback机制,模拟了500个用户并发访问系统的情形。并将测试结果与NFS进行了对比,结果表明,“燕星”系统具有良好的实用性能。     

基于堆叠式分布式文件系统的端到端校验

端到端校验是一种有效的数据完整性检测手段,可为分布式存储系统提供基本的可靠性保证。Glusterfs 是一种常用的堆叠式分布式文件系统,但缺乏有效的数据完整性检测机制,存在用户数据遭受破坏而无法被发现的风险,即返回错误数据给用户。这种风险在某些情况还会扩散,造成多副本或灾备、双活情况下的数据丢失。针对这一问题,该文提出了一种高性价比的基于 Glusterfs 的端到端校验方案(命名为 Glusterfs-E2E),可以有效解决 Glusterfs 文件系统中存在的数据完整性风险。该方案不但可以提供全路径的保护,具备 2%～8% 的高性能开销,而且还可以提供软件故障的定位功能。     

基于并发策略的分布式文件系统性能优化方案

分布式文件系统是构建分布式存储系统的核心底层子系统,它的性能影响着整个分布式存储系统的性能。针对Hadoop分布式文件系统性能的不足,提出基于并发策略的性能优化方案,改进其写操作性能。实验表明该方案能有效的提高写的性能,提高系统的执行效率。