曙光机群文件系统DCFS负载平衡策略

目前机群文件系统(ClusterFileSystem)已经成为打破I/O瓶颈的重要工具。文章着重研究了曙光机群文件系统多服务器间的负载平衡策略,并介绍了其实现机制,其中着重介绍了DCFS中优化文件分布FLO(FileLayoutOpti-mization)基于环的负载平衡维护结构RLA(RingbasedLoadbalanceArchitecture)。     

基于SSD的机群文件系统元数据存储系统

随着数据量的增加和元数据操作性能需求的提高,传统基于磁盘(HDD)存储架构的机群文件系统元数据存储系统由于HDD成为性能瓶颈而无法满足需求.将SSD应用到元数据存储中,设计实现了一个基于SSD+HDD的异构元数据存储系统Hybrid MDSL.针对SSD的I/O特性设计了基于追加写的元数据存储组织,并通过基于访问热度的数据迁移机制提高SSD空间利用率.测试结果表明,Hybrid MDSL明显提高了元数据I/O的性能.     

一种SAN环境下集群文件系统的元数据缓存研究

为了发挥SAN环境的存储访问优势,阐明了一种以CIFS协议为原型的集群文件系统,通过考察此架构下数据和元数据相互独立又彼此制约的特殊关系,提出了一种元数据缓存方法;为了减少因元数据获取而给数据读写带来的性能损失,对元数据缓存舍弃了原有的管理方法,尽可能地保证其在客户端是可缓冲的;针对可能引起客户端与服务器端元数据不一致的情况进行了分析,并提出了解决方法;最后通过测试进行了初步验证.     

机群文件系统DCFS2的高可用性研究与实现

对DCFS2采用的高可用技术进行了介绍,主要对DCFS2的客户端高可用的问题进行了分析,解决了在DCFS2的结构下的客户端失效的恢复问题。对DCFS2的性能测试表明,DCFS2可提供具有竞争性的带宽和元数据性能和高可用性。     

存储虚拟化系统的元数据副本一致性管理模型

本文提出一种简洁实用的元数据副本一致性管理新模型MRCC,该模型引入调度器对元数据服务器进行集中管理,不仅可以使系统达到更好的扩展性和可用性,而且可以灵活地实现对元数据副本的一致性控制,更好地发挥元数据副本容错和负载均衡的作用。     

基于描述逻辑的数据挖掘元数据的一致性检验

针对目前数据挖掘元模型DMM的自然语言和图形化方式缺乏精确的语义,基于DMM的数据挖掘元数据集成中的冲突问题难以发现,提出一种描述逻辑家族的形式逻辑DLRDM,给出DLRDM的语法和语义,使用DLRDM形式化数据挖掘元模型和元数据.证明DLRDM上的推理问题可以规约到ABox上的一致性检验问题.利用描述逻辑推理引擎RacerPro,对基于DLRDM的数据挖掘元数据进行推理检测以发现不一致信息,结果表明DLRoM在处理数据挖掘元数据一致性检验问题上的正确性与有效性.     

一种机群文件系统的缓存模型

提出了一种新的机群文件系统缓存模型，它充分利用机群系统累积的系统资源和高速的互联网络，将文件系统元数据和内容数据分离，分别使用分布式元数据缓存和统一缓存模型进行管理。元数据缓存使用改进的广播一致性协议和LRU替换算法。内容数据统一缓存则将磁盘缓存整个文件和内存缓存文件块相结合组成一个单一映像的多层次分布协作缓存，并使用单拷贝优先LRU和向前传递调度缓存块替换算法以及一种贪心的数据预取方法。实验结果表明，这两种缓存机制结合使用能极大地提高机群文件系统的性能。     

基于一致性Hash的电力企业MDS集群高质量元数据管理模型

本文基于一致性Hash设计了电力企业动态化MDS集群高质量元数据管理模型。首先详细分析一致性Hash算法,其次设计数据集成化元数据框架,再次构建一致性Hash集群数据管理模型,最后进行实验验证。实验结果表明,此模型不仅可提高元数据分布均衡性,还可基于备份结点策略保留MDS失效数据信息,同时利用数据延迟处理方式促使集群变化数据迁移量减少,从而实现数据存储的元数据优化管理与扩展。     

两级元服务器机群文件系统的负载平衡策略

提出了一种两级元数据服务器机群文件系统的负载平衡策略,高级元服务器依据与二级元服务器性能最密切相关的负载信息将任务快速分配,在存储文件时,提出了一种能正确反映各存储节点I/O流量和存储量的方法：计算文件热量值,并据此对待存文件进行了合理的分配存储。实验结果表明,该策略提高了系统的性能,缩短了任务执行时间,取得了较好的效果。     

元数据管理的一致性和可靠性保障策略研究

随着企业的快速发展,企业内外部数据也越来越丰富,此时元数据管理就成为了很多公司的关键问题。元数据管理的一致性和可靠性保障对于元数据中的操作请求来讲是非常重要的。本文主要对元数据管理的一致性保证策略以及元数据管理的可靠性保证策略进行分析。     

分布式文件系统中元数据操作的优化研究

分析了PVFS2中的元数据操作流程,以remove操作为例,通过测试发现其瓶颈之处,提出一种将判断过程放置到服务器端来减少通信次数的优化方法,这些方法同样可以应用于其他元数据操作。在PVFS2中实现了该优化方法,并将其同原来的remove操作耗时进行了对比,结果表明,该元数据操作的性能提高了10%左右。     

蓝鲸分布式文件系统元数据服务

文件系统元数据请求占据了所有请求50%以上的比例,文件系统元数据服务对整个文件系统有着重要的影响。该文介绍了蓝鲸分布式文件系统的元数据服务器集群(BWMMS)的设计方法。BWMMS通过高扩展的系统结构和简单灵活的元数据请求处理协议,完成元数据服务的协同处理过程。初步评估表明,BWMMS的元数据管理机制能够提供较好的元数据处理性能,具有较高的扩展能力。     

面向海量空间数据存储的元数据管理机制

为了有效管理海量空间数据存储的元数据,引入了一种基于一致性哈希的分布式元数据服务器管理架构,并在此基础上提出了一种元数据轮式备份策略,将经过一致性哈希算法散列后存储元数据的节点按轮转方式进行数据备份,有效缓解了元数据管理的单点问题与访问瓶颈.最后对轮式备份策略进行测试,得出最佳元数据节点个数备份方案,与单点元数据服务器相比提高了元数据的安全性,降低了访问延迟,并结合虚拟节点改善了分布式元数据服务器的负载均衡.     

分布式文件系统副本一致性检测研究

在大规模分布式文件系统中,副本一致性的实现既需要一致性协议模型的保障,也需要系统能够及时检测出已产生的不一致并予以修复.这里主要研究副本一致性的在线检测技术,全面分析了基于对象存储的大规模分布式文件系统中副本不一致的所有可能情况,深入阐述了在线一致性检测所面临的3个关键问题,即如何减小检测过程对系统性能的影响、保证检测的及时性、以及保证检测的准确性.针对这3个关键问题,总结提出了相应的解决方法.其中,模拟存储状态的方法,减轻了检测过程给系统带来的负荷;预检测的方法,增强了检测出系统不一致错误的及时性;检测静态数据的方法,有效避免了误检和漏检,保证了在线检测的准确性.     

A Non-Forced-Write Atomic Commit Protocol for Cluster File Systems

Distributed metadata consistency is one of the critical issues of metadata clusters in distributed file systems. Existing methods to maintain metadata consistency generally need several log forced write operations. Since synchronous disk IO is very inefficient, the average response time of metadata operations is greatly increased. In this paper, an asynchronous atomic commit protocol （ACP） named Dual-Log （DL） is presented. It does not need any log forced write operations. Optimizing for distributed metadata operations involving only two metadata servers, DL mutually records the redo log in counterpart metadata servers by transferring through the low latency network. A crashed metadata server can redo the metadata operation with the redundant redo log. Since the latency of the network is much lower than the latency of disk IO, DL can improve the performance of distributed metadata service significantly. The prototype of DL is implemented based on local journal. The performance is tested by comparing with two widely used protocols, EP and S2PC-MP, and the results show that the average response time of distributed metadata operations is reduced by about 40%-60%, and the recovery time is only I second under 10 thousands uncompleted distributed metadata operations.     

可扩展的分布式元数据管理系统设计

为解决高能物理海量存储系统由于存储规模不断扩大所面临的问题,设计一种分布式元数据管理系统,包括元数据管理、元数据服务、缓存服务以及监控信息采集4个部分,在此基础上提出自适应目录子树划分算法,以目录为粒度进行元数据划分,根据集群负载情况调整目录子树,实现元数据信息在元数据集群中的合理存储和分布。实验结果证明,该算法能提高元数据的访问和检索性能,提供可扩展及动态负载均衡的元数据服务,以保证该元数据管理系统的可用性、扩展性及I/O性能不会因存储规模扩大而受到影响,满足高能物理实验日益增长的存储需求。     

分布式文件系统元数据服务的负载均衡框架

请求负载均衡,是分布式文件系统元数据管理需要面对的核心问题.以最大化元数据服务器集群吞吐量为目标,在已有元数据管理层之上设计实现了一种分布式缓存框架,专门管理热点元数据,均衡不断变化的负载.与已有的元数据负载均衡架构相比,这种两层的负载均衡架构灵活度更高,对负载的感知能力更强,并且避免了热点元数据重新分布、迁移引起的元数据命名空间结构被破坏的情况.经观察分析,元数据尺寸小、数量大,预取错误元数据带来的代价远远小于预取错误数据带来的代价.针对元数据的以上鲜明特点,提出一种元数据预取策略和基于预取机制的元数据缓存替换算法,加强了上述分布式缓存层的性能,这种两层的元数据负载均衡框架同时考虑了缓存一致性的问题.最后,在一个真实的分布式文件系统中验证了框架及方法的有效性.     

大规模分布式文件系统元数据管理综述

文件系统的元数据主要是用来描述它的命名空间,访问权限和数据定位等信息的数据。由于50%～80%的文件系统访问要涉及到元数据,元数据服务的性能将极大地影响整个分布式文件系统的性能。为此,文章重点讨论元数据管理面临的问题,从元数据服务的高可扩展技术、高性能技术和高可用技术三个主要方向进行综述,重点分析了各自的主要问题以及目前发展起来的一些主流技术,同时对未来分布式文件系统的元数据管理一些值得关注的问题进行了梳理和展望,为相关研究提供一定的参考。