云计算环境中高效可扩展的元数据管理方法

针对现有可扩展的元数据管理方法存在性能较低问题,提出一种高效可扩展的元数据管理方法,它首先采用动态二叉映射树来实现元数据服务器精确定位,然后采用延迟更新方法来动态更新二叉映射树,最后提出动态K叉编码树的元数据组织方法以提高元数据服务器扩展时选择迁移元数据的速度。实验结果表明,它有效提高了云计算环境中可扩展元数据管理方法的效率。     

云计算环境中高效可扩展的元数据管理方法

针对现有元数据管理方法存在可扩展性差或访问效率低的问题,提出一种高效可扩展的元数据管理方法.基于可扩展哈希方法实现元数据系统动态可扩展,使用并行定位方法实现元数据服务器高效定位,提出动态K叉树的元数据组织方法以提高元数据服务器扩展时选择迁移元数据的速度.实验结果表明,该方法具有近似线性扩展性能,其选择迁移元数据的时间几乎为零,有效解决了云计算环境中元数据管理系统的高效动态可扩展问题.     

蛋白质组学元数据仓库的管理与维护

在针对生物数据源具有的分布、异构和动态等特性下,建立的蛋白质组学元数据仓库的基础上,本文给出了删除元数据的方法,以及解决了由于删除元数据和生物数据源更新而带来的元仓库中元数据的变化,而引起的用户模式与元数据的映射不匹配等问题。     

一种集群文件系统元数据管理技术

本文研究集群文件系统的特征，提出了一种分布式元数据管理技术。该技术通过哈希方式分布元数据对象、自侦测自适应和连续相邻节点备份的方法，实现了元数据的动态扩展和高可用。在我们研制的HANDY文件系统中采用了这项技术。测试结果说明，HANDY的元数据扩展性是令人满意的。实现了动态可扩展和高可用的设计目标。     

支持动态标准的政务元数据管理的研究与应用

针对电子政务信息资源目录体系中的对不同元数据标准的目录系统存在重复建设的问题,通过总结政务信息资源元数据标准的一般规律,提出动态政务信息资源元数据标准下的元数据统一管理策略,并给出了具体实现方法.该方法已成功应用于北京市政务信息资源共享交换平台,实践证明动态标准下的元数据管理具有很好的应用价值.     

信息网格中具有动态变更适应性的元数据发布策略

信息源元数据的动态变更可能造成应用对信息源引用关系不一致，在不改应用程序的条件下，用户不能正确访问信息源。基于网格地址空间模型，使得应用程序通过虚拟层元数据，即应用领域元数据，来间接使用信息源元数据；当信息源元数据变更时，不是改应用程序而是通过调整信息源元数据和应用领域元数据之间的映射来保证应用对信息源引用关系的一致性，从元数据发布的角度出发，提出了一个具有动态适应性的元数据发布算法(Vega adaptive mapping)，通过此算法自动调整信息源元数据和应用领域元数据之间的映射；并将此算法相应的方法和现有的元数据发布方法进行了比较，比较结果表明此方法在适应元数据变更性方面具有一定的优越性。     

基于目录路径的元数据管理方法

提出目录路径属性与目录对象分离的元数据管理方法,扩展了现有的对象存储结构.该方法能够有效避免因为目录属性修改而导致的大量元数据更新与迁移;通过减少前缀目录的重迭缓存提高了元数据服务器Cache的利用率和命中率;通过减少遍历目录路径的开销和充分开发目录的存储局部性,减少了磁盘I/O次数;通过元数据服务器的动态负载均衡避免单个服务器过载.实验结果表明,该方法在提高系统性能、均衡元数据分布以及减少元数据迁移等方面具有明显的优势.     

OCFS：一种基于对象存储结构的可伸缩高性能集群文件系统

提出了一种基于确定性随机分布算法分布元数据和数据对象的可伸缩集群文件系统结构。其中目录路径属性与目录对象分离的元数据管理方法，在提高系统性能、均衡元数据分布和减少元数据迁移等方面具有明显优势。提出的基于动态区间映射的数据对象布局算法，支持权重分布和副本，在均衡数据分布和最少迁移数据方面都具有统计意义上的最优性，有效解决了动态存储系统的数据均衡分布与可伸缩性问题。     

基于分层元数据的通用软件设计方法

提出一种基于分层元数据的通用软件设计方法,并设计了基于分层元数据的通用软件结构模型.该模型的核心思想是在元数据层和应用数据层之间加入一个动态元数据层,以适应系统环境变化.通过在鞍钢铁运公司灵山现车管理系统项目中的具体应用和实现,证明该方法成功地解决了调车作业控制组件设计的通用性问题,有效地提高了软件的开发效率,降低了开发成本.     

基于元数据的解释型MIS的设计与实现

传统的MIS在设计实现时与具体的数据库结合紧密,应用程序往往是一种特定产品,灵活性和扩展性较差。为提高MIS的灵活性和扩展性,提出了一种基于元数据的解释型MIS的设计方法,通过定义一组符合一定规则的元数据,设计基于这种规则元数据的程序,使MIS主程序的运行不绑定特定的数据库表和字段,而是根据元数据动态实现,实现了MIS程序由元数据驱动,从而大大提高了MIS的灵活性和扩展性。     

一种基于网格服务的数据库元数据管理框架

该文主要针对数据网格的分布式异构数据库环境,提出一种基于网格服务来实现数据库元数据采集、存储、查询功能的参考框架。文章讨论了对于异构数据库的元数据,如何实现动/静态信息的管理。通过扩展GlobusToolkit中的MDS(MonitoringandDiscoverService)目录服务模块,使其支持后台关系型数据库,来存储静态元数据,而利用信息采集程序(InformationProvider)来生成动态元数据。整个系统框架建立在网格服务(GridService)基础之上,以网格服务方式提供元数据的访问功能。     

基于层次结构的元数据动态管理方法的研究

在大规模分布式存储系统中,元数据高性能服务和扩展性已成为一个重要的研究热点.在元数据服务器(metadata server,MDS)中,将元数据分解为目录对象和文件对象.目录对象为定位性元数据,提供文件所在位置和访问控制;文件对象为描述性元数据,描述文件的数据特性.每个MDS负责所有目录对象和自身的文件对象,同时,以目录对象ID和文件名为关键字的Hash值作为局部元数据查找表的索引,通过Bloom Filter算法将每个MDS的局部元数据查找表压缩成一个摘要,这样既可利用MDS中Cache,提高Cache的命中率,减少磁盘I/O次数,动态扩展MDS,又能够实现快速的元数据查找.     

基于对象存储的新型元数据管理策略

在对已有对象存储元数据管理策略进行研究的基础上,提出一种基于对象存储的新型元数据管理策略。该策略将命名空间的目录子树分割为等粒度的中子树,将中子树的根目录名和文件名的组合作为哈希参数进行哈希运算,元数据服务器根据其所得哈希值确定存储路径。实验结果表明,该策略在处理元数据重命名操作和修改文件名时,可以避免大量元数据迁移及网络开销问题。     

Optimal metadata replications and request balancing strategy on cloud data centers

In large-scale cloud data centers, metadata accesses will very likely become a severe performance bottleneck as metadata-based transactions account for over 50% of all file system operations. Clusters of Metadata Servers (MDS) that provide metadata searching service can improve the system performance significantly. For a data stored in cloud data centers, there may be several MDS storing the metadata replicas. Therefore, when a data request arrives, it has many potential metadata paths, one of which shall be chosen to obtain the best performance. In this paper, we attempt to determine the number of MDS that each data object in the system shall have and the request rates that each MDS shall serve, in order to achieve the minimum mean response time (MRT) of all the metadata requests. The target optimal constrained function has been formulated and a novel metadata request balancing algorithm based on request arrival rates has been proposed, which can find near-optimal solutions by a theoretical proof. In our experiments, we compare our algorithm with widely used hashing functions that have 0, 1, 2, 3 replicas, respectively. We validate our findings via simulations with respect to several influencing factors and prove that our proposed strategy is scalable, flexible and efficient for the real-life applications. Some interesting perspectives of the work are also presented at the end of this paper.     

蓝鲸分布式文件系统元数据服务

文件系统元数据请求占据了所有请求50%以上的比例,文件系统元数据服务对整个文件系统有着重要的影响。该文介绍了蓝鲸分布式文件系统的元数据服务器集群(BWMMS)的设计方法。BWMMS通过高扩展的系统结构和简单灵活的元数据请求处理协议,完成元数据服务的协同处理过程。初步评估表明,BWMMS的元数据管理机制能够提供较好的元数据处理性能,具有较高的扩展能力。     

Adaptive metadata rebalance in exascale file system

This paper presents an effective method of metadata rebalance in exascale distributed file systems. Exponential data growth has led to the need for an adaptive and robust distributed file system whose typical architecture is composed of a large cluster of metadata servers and data servers. Though each metadata server can have an equally divided subset from the entire metadata set at first, there will eventually be a global imbalance in the placement of metadata among metadata servers, and this imbalance worsens over time. To ensure that disproportionate metadata placement will not have a negative effect on the intrinsic performance of a metadata server cluster, it is necessary to recover the balanced performance of the cluster periodically. However, this cannot be easily done because rebalancing seriously hampers the normal operation of a file system. This situation continues to get worse with both an ever-present heavy workload on the file system and frequent failures of server components at exascale. As one of the primary reasons for such a degraded performance, file system clients frequently fail to look up metadata from the metadata server cluster during the period of metadata rebalance; thus, metadata operations cannot proceed at their normal speed. We propose a metadata rebalance model that minimizes failures of metadata operations during the metadata rebalance period and validate the proposed model through a cost analysis. The analysis results demonstrate that our model supports the feasibility of online metadata rebalance without the normal operation obstruction and increases the chances of maintaining balance in a huge cluster of metadata servers.     

MHS: A distributed metadata management strategy

This paper proposes a novel distributed metadata management strategy to efficiently handle different metadata workloads. It can deliver high performance and scalable metadata service through four techniques, including directory conversion metadata, mimic hierarchical directory structure, flexible partition methods targeted different kinds of metadata of diverse characteristics, and the application of database to metadata backend. Using micro-benchmarks and a prototype system, we firstly demonstrate the performance superiority of our strategy compared to Lazy Hybrid, and then present the detailed performance results and analysis of our strategy on different MDS scales.     

空间数据存储对象的元数据可伸缩性管理*

基于空间数据面向对象存储思想和云存储可扩展架构,将控制信息集中在元数据服务器集群中管理,而实际的空间数据基于对象存储分布到存储设备集群中,实现控制信息路径与数据传输路径的分离,并缓存热点空间数据对象接口,以减少元数据访问次数和降低其服务器负载;基于对象存储设备的并行性和CDMI标准对元数据进行自上而下的功能分层管理,增...