蓝鲸分布式文件系统元数据服务

文件系统元数据请求占据了所有请求50%以上的比例,文件系统元数据服务对整个文件系统有着重要的影响。该文介绍了蓝鲸分布式文件系统的元数据服务器集群(BWMMS)的设计方法。BWMMS通过高扩展的系统结构和简单灵活的元数据请求处理协议,完成元数据服务的协同处理过程。初步评估表明,BWMMS的元数据管理机制能够提供较好的元数据处理性能,具有较高的扩展能力。     

分布式文件系统中元数据操作的优化研究

分析了PVFS2中的元数据操作流程,以remove操作为例,通过测试发现其瓶颈之处,提出一种将判断过程放置到服务器端来减少通信次数的优化方法,这些方法同样可以应用于其他元数据操作。在PVFS2中实现了该优化方法,并将其同原来的remove操作耗时进行了对比,结果表明,该元数据操作的性能提高了10%左右。     

分布式文件系统元数据服务器高可用性设计

设计并实现了面向对象的分布式文件系统元数据服务器高可用方案,用于提高存储系统的可用性.系统使用集中式元数据管理服务器,通过日志文件和检查点文件对元数据进行保存;针对系统特点,该方案采用active/hot-standby模式实现元数据服务器冗余备份.对系统状态监控、日志及检查点数据同步复制、元数据服务器节点失败接管、防止系统split-brain等关键技术问题进行了深入研究和提出相应解决方法,并对影响系统恢复时间的因素进行了细致分析.测试表明,高可用功能的实现对系统性能影响可以随存储文件的增大而减少,并可在失败发生后的较短时间内完成主从服务器的切换.     

分布式文件系统元数据服务的负载均衡框架

请求负载均衡,是分布式文件系统元数据管理需要面对的核心问题.以最大化元数据服务器集群吞吐量为目标,在已有元数据管理层之上设计实现了一种分布式缓存框架,专门管理热点元数据,均衡不断变化的负载.与已有的元数据负载均衡架构相比,这种两层的负载均衡架构灵活度更高,对负载的感知能力更强,并且避免了热点元数据重新分布、迁移引起的元数据命名空间结构被破坏的情况.经观察分析,元数据尺寸小、数量大,预取错误元数据带来的代价远远小于预取错误数据带来的代价.针对元数据的以上鲜明特点,提出一种元数据预取策略和基于预取机制的元数据缓存替换算法,加强了上述分布式缓存层的性能,这种两层的元数据负载均衡框架同时考虑了缓存一致性的问题.最后,在一个真实的分布式文件系统中验证了框架及方法的有效性.     

基于可扩展、高性能分布式文件系统的网络存储方式的研究与实现

本文首先比较了当前几种网络存储方式,针对网络中单个服务器存储需求紧张而同时局域网中存在存储资源闲置的情况,提出了一种基于可扩展、高性能分布式文件系统的网络存储的构建方式,该种构建方式能够为用户提供一个高效、完整、大容量的存储空间。     

分布式文件系统管理策略研究

随着云计算的发展,出现了越来越多的应用需求.作为云计算的基础,分布式文件系统的作用显得尤为重要.文章重点分析了典型的分布式文件系统在应用中存在的一些问题,最后提出一种元数据服务器设计方法.     

基于可扩展、高性能分布式文件系统的网络存储方式的研究与实习

本文首先比较了当前几种网络存储方式，针对网络中单个服务器存储需求紧张而同时局域网中学在存储资源闲置的情况，提出了一种基于可扩展、高性能分布式文件系统的网络存储的构建方式。该种构建方式能够为用户提供一个高效、完整、大容量的存储空间。     

一种基于授权机制的分布式文件系统小文件访问优化策略

针对分布式文件系统应用于海量小文件访问模式时, 元数据请求过多导致系统性能下降的问题, 提出了客户端元数据缓存授权机制的解决方案. 客户端从服务器读取元数据时, 申请相应类型的授权, 服务器分析请求并决定是否授予此客户端所访问的元数据的授权. 若客户端成功获取授权, 则将其与本地缓存的元数据相关联, 作为缓冲有效性的凭证. 当再次访问本地缓存的元数据时, 若有相关授权, 则可以直接从本地获取元数据, 无需向服务器发送缓存数据的有效性验证RPC. 仿真实验表明, 文中的方法有效的降低了客户端发送元数据请求RPC的数量, 节省了宝贵的网络带宽资源, 降低了元数据服务器的负载.     

蓝鲸分布式文件系统的客户端元数据缓存模型

在蓝鲸分布式文件系统中,客户端的所有元数据操作都是通过远程过程调用由元数据服务器完成,所有数据读写都是直接与存储服务器交换完成的.由于通信延迟,在客户端进行频繁数据读写时,元数据信息交换影响了整个系统的性能.我们设计了一种在客户端尽量缓存文件元数据信息的模型,有效地减少了元数据通信,缩短了整个读写过程的延迟,极大地提高了蓝鲸分布式文件系统的性能.     

分布式文件系统BDDFS中网络通讯的设计与实现

ＢＤＤＦＳ是一个基于ＤＯＳ的分布式文件系统。网络通讯是实现分布式文件的基础和关键所在。本文着重论述了利用ＩＰＸ进行工作站间的对等通信来实现ＢＤＤＦＳ的网络通讯，并给出了应用实例。     

基于Web服务的分布式文件系统模型

文章研究了面向服务架构的高性能网络海量文件存储系统。文中采用具有高可扩展性的Web服务体系,将Internet上大量分散的文件服务器组织成一个逻辑整体,形成一个遍布Internet的大规模分布式系统,各文件服务器相互协作,共同对外提供文件服务。文中探讨了分布式体系结构中的高扩展性能和提高广域网范围文件访问性能的方法。     

分布式文件系统KFS的架构与性能分析

分布式文件系统能够解决日益增加的海量存储需求,从而成为研究的热点。KFS就是一款优秀的分布式文件系统。介绍了KFS的架构以及一些实现细节,并对其读写性能进行了测试分析。     

一种面向分布式文件系统的文件预取模型的设计与实现

如何为上层应用和计算提供稳定高效的文件I/O性能,是分布式文件系统性能研究的热点。文中分析分布式文件系统在设计机理上的共同特征,基于此提出一种通用型的启发式文件预取模型,并选取HDFS平台进行系统实现。启发式文件预取对上层应用透明,采用在文件系统内部建立预取线程池的方法,以组成文件块的数据存储文件为预取单位,在分布式文件系统内部实现。这种设计思路具有一定的普适性,适合推广应用于多种分布式文件系统。实验结果表明,所述的启发式文件预取,能够有效提升分布式文件系统的I/O性能。     

分布式UNLX文件安全检测系统的设计与实现

文件系统是UNIX系统的核心,针对UNIX文件系统提出了一套基于分布式网络的UNIX文件安全检测方案。首先我们介绍了UNIX文件系统及UNIX文件系统的常用安全技术,比较了传统的文件监测方法与本方案的异同,然后给出了本方案的具体实现。     

基于EXT2的加密文件系统的设计与实现

Linux操作系统具有开放性、稳定性、高效率等特点,得到了越来越广泛的应用。如今,Linux已经深入到了我们生活中的各个方面。然而,在文件访问安全方面,Linux操作系统存在一些缺点和漏洞。因此,需要进一步加强Linux文件访问的安全性。详细分析和研究了Linux文件系统工作原理,提出了一种加强文件系统安全性的可行性方案,并给出具体的实现过程。     

分布式文件系统数据安全机制研究

在介绍几种分布式文件系统在解决数据安全方面采用的手段和存在的不足基础上,根据分布式文件系统的特点,设计并实现一个OFS安全框架。通过引入PKI身份认证机制、文件加密访问机制、数据完整性验证机制,研究设计一种OFS安全框架,并对设计的OFS安全框架进行分析。     

云环境下分布式文件系统负载均衡研究

Hadoop分布式文件系统（Hadoop Distributed File System,HDFS）是一种适合在通用硬件上运行的低成本、高度容错性的分布式文件系统,能提供高吞吐量的数据访问,适合针对大规模数据集上的应用。然而,HDFS中还面临一些性能优化问题,如负载均衡不足。虽然Hadoop系统自带的负载均衡器可以实现均衡调整,但需要用户预先给出静态的阈值。为了解决阈值的固定性和主观性,通过对磁盘空间使用率、CPU利用率、内存利用率、磁盘I/O占用率、网络带宽占用率等参数的分析评估优化,形成对阈值的计算表达式,并通过理论分析和仿真实验对阈值的计算和负载均衡进行验证。实验结果表明,相比较Hadoop静态的输入阈值的算法,该方法达到了更好的平衡效果,提高了计算资源的利用率。     

基于策略机制的分布式文件保护系统PFICS

根据基于策略机制的文件保护模型,实现了一个文件保护系统PFICS。该系统能够根据用户制定的文件保护策略检查文件系统中违反策略的行为,采取相应的保护措施进行文件的实时恢复,进而维护文件系统的完整性。PFICS采用一个服务器保护多个主机的文件系统,构成了一个分布式的实时文件保护系统。该文介绍了系统的体系结构和实现方法,并对系统性能进行了分析。     

体全息存储文件系统的设计

分析了体全息存储的有关特点,对支持体全息存储的文件系统进行了研究和设计。阐述了文件存储的整体结构、存储编址方式、物理存储块的分配、页面的缓冲及数据一致性等方面的设计方案,并在体全息存储高速通道的基础上开发了文件系统的原型系统,经过仿真运行,效果较好。     

Dynamic core affinity for high-performance file upload on Hadoop Distributed File System

The MapReduce programming model, in which the data nodes perform both the data storing and the computation, was introduced for big-data processing. Thus, we need to understand the different resource requirements of data storing and computation tasks and schedule these efficiently over multi-core processors. In particular, the provision of high-performance data storing has become more critical because of the continuously increasing volume of data uploaded to distributed file systems and database servers. However, the analysis of the performance characteristics of the processes that store upstream data is very intricate, because both network and disk inputs/outputs (I/O) are heavily involved in their operations. In this paper, we analyze the impact of core affinity on both network and disk I/O performance and propose a novel approach for dynamic core affinity for high-throughput file upload. We consider the dynamic changes in the processor load and the intensiveness of the file upload at run-time, and accordingly decide the core affinity for service threads, with the objective of maximizing the parallelism, data locality, and resource efficiency. We apply the dynamic core affinity to Hadoop Distributed File System (HDFS). Measurement results show that our implementation can improve the file upload throughput of end applications by more than 30% as compared with the default HDFS, and provide better scalability.