LCFS中元数据服务器的可靠性分析模型

可靠性问题是研究大规模集群存储系统的一个重要方面，元数据服务器是大规模集群存储的中心。本文针对基于镜像复制和共享存储的服务器实现方案，采用马尔可夫补偿模型研究元数据服务器的状态迁移概率，分析了元数据服务器集群的可靠性以及数据一致性对可靠性的影响，对实现大规模集群文件系统中的元数据服务器有重要的指导意义。     

小规模集群文件系统中两级元数据服务器的设计与实现

在集群文件系统中,元数据服务器是整个系统正常运转的核心,它的可靠性和性能是设计系统时需要着重考虑的问题之一.本文设计了一个具有高可靠性、高性能的两级元数据服务器系统,兼顾了集中式元数据管理和分布式元数据管理的优点.系统中高级元数据服务器负责维护文件系统全局的目录结构和管理整个文件系统的命名空间,双元数据服务器负责维护文件元数据的分布信息,并采用了马尔可夫回报模型对两级元数据服务器系统进行了可靠性分析.实验数据表明,具有两级元数据服务器的集群文件系统能提供高吞吐量.     

数据网格中一种基于副本和缓存的元数据管理系统

元数据管理是数据网格的关键技术之一．对全局分布式存储系统GDSS(global distributed storage system)中的元数据管理进行了改进，提出了一种基于副本和缓存的分布式元数据管理系统RCMMS(replication and cache based distributed metadata management system)，缓存设置在GDSS系统中的存储服务点SSP(storage senice point)端．还讨论了RCMMS的设计、实现以及测试．RCMMS提供了动态管理元数据副本的有效算法．分析和测试表明，副本结合缓存的元数据管理方案在性能上超过了GDSS现有的元数据管理系统，有着较好的可靠性．     

大规模集群文件系统LCFS的元数据管理与访问机制

文件系统的元数据包括文件基本属性信息和目录结构信息。在基于集群技术的大规模文件系统中，有效的元数据管理是系统实现的核心。本文在设计了与元数据管理相关的三类协议的基础上，提出了集群化的元数据服务器实现模型，并分析和比较了各种实现方式的优缺点。     

空间元数据系统的研究与设计

本文介绍了空间元数据的基本概念，分析了空间元数据标准和空间元数据系统研究的现状和面临的困难，提出了一种有效的空间元数据系统模型，用于采集、管理、维护和发布空间元数据，并实现空间元数据的快速查询和准确定位。     

基于Erasure Code的分布式文件存储系统

在局域网环境下,实现一种基于Erasure Code的分布式文件存储系统。该系统由元数据服务器和多个文件存储节点组成,通过对元数据与文件数据分离存储以提高文件访问效率,将Erasure Code有效冗余存储技术应用于文件编解码以增强可靠性,采用MD5消息摘要技术保证文件完整性。对30 MB~600 MB大小的文件测试结果表明,该系统具有更高的可靠性、安全性以及资源利用率。     

元数据管理的一致性和可靠性保障策略研究

随着企业的快速发展,企业内外部数据也越来越丰富,此时元数据管理就成为了很多公司的关键问题。元数据管理的一致性和可靠性保障对于元数据中的操作请求来讲是非常重要的。本文主要对元数据管理的一致性保证策略以及元数据管理的可靠性保证策略进行分析。     

BWMMS元数据分布信息缓存管理

BWMMS是BWFS的分布式文件系统元数据服务子系统。它充分利用系统访问负载的动态性和局部性特征，通过简单的集中决策机制管理元数据请求负载在多个元数据服务器的分布。为降低集中决策点可能的瓶颈限制，集中决策点位于元数据请求处理路径的末端。本文介绍各个元数据服务器上用来降低对后端集中决策点的压力，提高元数据访问效率的元数据分布信息缓存，并通过测试数据评估缓存命中率对后端集中决策点和元数据访问效率的影响。     

基于元数据驱动的企业级数据仓库系统

通过对元数据建设和维护及其管理系统结构的深入研究,提出一种基于元数据驱动的企业级数据仓库系统架构。该系统架构采用关系模型数据结构,并通过元数据接口和元数据驱动引擎的设计开发将数据仓库中各模块的反馈信息与其元数据存储进行交互,实现由元数据驱动数据仓库系统的运作机制,解决了一直以来元数据难以更新维护、数据质量检查效率低的问题,提升了对企业级数据仓库的管控能力。     

存储虚拟化系统的元数据副本一致性管理模型

本文提出一种简洁实用的元数据副本一致性管理新模型MRCC，该模型引入调度器对元数据服务器进行集中管理，不仅可以使系统达到更好的扩展性和可用性，而且可以灵活地实现对元数据副本的一致性控制，更好地发挥元数据副本容错和负载均衡的作用。     

Dr. Hadoop: an infinite scalable metadata management for Hadoop—How the baby elephant becomes immortal

In this Exa byte scale era, data increases at an exponential rate. This is in turn generating a massive amount of metadata in the file system. Hadoop is the most widely used framework to deal with big data. Due to this growth of huge amount of metadata, however, the efficiency of Hadoop is questioned numerous times by many researchers. Therefore, it is essential to create an efficient and scalable metadata management for Hadoop. Hash-based mapping and subtree partitioning are suitable in distributed metadata management schemes. Subtree partitioning does not uniformly distribute workload among the metadata servers, and metadata needs to be migrated to keep the load roughly balanced. Hash-based mapping suffers from a constraint on the locality of metadata, though it uniformly distributes the load among NameNodes, which are the metadata servers of Hadoop. In this paper, we present a circular metadata management mechanism named dynamic circular metadata splitting (DCMS). DCMS preserves metadata locality using consistent hashing and locality-preserving hashing, keeps replicated metadata for excellent reliability, and dynamically distributes metadata among the NameNodes to keep load balancing. NameNode is a centralized heart of the Hadoop. Keeping the directory tree of all files, failure of which causes the single point of failure (SPOF). DCMS removes Hadoop’s SPOF and provides an efficient and scalable metadata management. The new framework is named ‘Dr. Hadoop’ after the name of the authors.     

基于CWM的元数据的形式化推理框架研究

在基于公共仓库元模型(CWM)建立元数据的过程中,参与建立元数据的团体的不同经验以及描述数据的不同视角不可避免地带来元数据的冲突和冗余等问题,然而CWM的图形化特点使之缺乏精确的语义,所以如何在其上进行推理以自动发现这些问题至今没有得到很好的解决.研究了利用描述逻辑--一个一阶谓词逻辑的可判定子集形式化CWM元模型和元数据并进行推理的方法,将一致性检测分为水平一致性和演化一致性分别处理,在处理演化一致性的过程中对CWM元模型进行了扩展,使之支持元数据的版本能力从而能够推理由于演化引起的不一致问题,然后利用推理引擎LOOM对两种情形进行推理检测以发现不一致信息,取得了令人满意的结果,表明提出的方法是可行的.     

eMMC可靠性分析与增强对策研究

eMMC是可以自我管理的闪存（NAND flash）芯片,内部集成了控制器,实现了多芯片封装,简化了应用接口设计,节省了板级空间,在移动终端领域得到了广泛应用。然而,基于flash的存储器件在掉电时容易出现比特位损坏、元数据损坏、非串行写、甚至器件不可用等可靠性问题。针对如何提高eMMC的可靠性进行了研究,提出了一些可靠性增强措施。首先,全面梳理了eMMC规范提供的可靠性特性,包括分区管理、写保护管理、可靠写、数据标签、断电通知等。继而对现有的各种可靠性措施进行了综合分析,并提出了一些提升可靠性的措施,包括,文件系统感知的磨损均衡、根据数据属性映射到合理分区、减少写入次数降低写放大效应,面向手机应用的元数据去冗、应用差异化细粒度控制可靠性、确保一致性的前提下减少日志等。     

元数据驱动ETL的研究

对原始数据的提取、转换、加载(ETL)是数据仓库开发的重要步骤。一个稳定而可靠的ETL系统取决于它的总体设计。在原有ETL基础上,提出了元数据驱动ETL的思想,利用包引擎和SQL引擎以及相关算法,对传统ETL的方法进行改进,目的是提高ETL系统的稳定性和可靠性,使用户通过对元数据的维护来控制ETL的执行过程。     

叙词表及其管理系统在 CERN 生态学数据资源检索中的应用

为了更好地利用 CERN 数据管理与信息共享系统技术平台为广大科研人员提供 CERN 生态学数据资源服务,CERN 需要不断完善平台性能,其中包括提高用户搜索 CERN 数据资源的效率和可靠性.本文分析了导航式搜索、主题式搜索、关键词搜索等三种不同检索方式的优缺点,着重讨论了在关键词搜索方式中,如何引入叙词表的技术来提高检索结果的查全率、查准率和响应速度.本文介绍了叙词表的概念与 CERN 生态学叙词表的构建方法,以及如何将开源的叙词表管理系统 TemaTres 进行汉化,包括关键词浏览功能、关键词扩展功能、关键词自动填完功能、利用扩展后的关键词去搜索 CERN 生态学数据资源元数据功能的汉化实现过程.通过建设并运行 TemaTres 汉化版叙词表管理信息系统,增强了 CERN 生态学元数据中关键词编撰的可控性和规范性,并且在 CERN 数据资源元数据检索中引入了关键词之间的某些简单的语义关系,比如等级关系、等同关系 (即同义词)、相关关系,从而改善了搜索效率,同时为下一步构建生态学本体打下良好基础.     

分布式文件系统元数据服务的负载均衡框架

请求负载均衡,是分布式文件系统元数据管理需要面对的核心问题.以最大化元数据服务器集群吞吐量为目标,在已有元数据管理层之上设计实现了一种分布式缓存框架,专门管理热点元数据,均衡不断变化的负载.与已有的元数据负载均衡架构相比,这种两层的负载均衡架构灵活度更高,对负载的感知能力更强,并且避免了热点元数据重新分布、迁移引起的元数据命名空间结构被破坏的情况.经观察分析,元数据尺寸小、数量大,预取错误元数据带来的代价远远小于预取错误数据带来的代价.针对元数据的以上鲜明特点,提出一种元数据预取策略和基于预取机制的元数据缓存替换算法,加强了上述分布式缓存层的性能,这种两层的元数据负载均衡框架同时考虑了缓存一致性的问题.最后,在一个真实的分布式文件系统中验证了框架及方法的有效性.     

Optimal metadata replications and request balancing strategy on cloud data centers

In large-scale cloud data centers, metadata accesses will very likely become a severe performance bottleneck as metadata-based transactions account for over 50% of all file system operations. Clusters of Metadata Servers (MDS) that provide metadata searching service can improve the system performance significantly. For a data stored in cloud data centers, there may be several MDS storing the metadata replicas. Therefore, when a data request arrives, it has many potential metadata paths, one of which shall be chosen to obtain the best performance. In this paper, we attempt to determine the number of MDS that each data object in the system shall have and the request rates that each MDS shall serve, in order to achieve the minimum mean response time (MRT) of all the metadata requests. The target optimal constrained function has been formulated and a novel metadata request balancing algorithm based on request arrival rates has been proposed, which can find near-optimal solutions by a theoretical proof. In our experiments, we compare our algorithm with widely used hashing functions that have 0, 1, 2, 3 replicas, respectively. We validate our findings via simulations with respect to several influencing factors and prove that our proposed strategy is scalable, flexible and efficient for the real-life applications. Some interesting perspectives of the work are also presented at the end of this paper.